be616ea11660a8b926d84afb7f30c5224bfebc88
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #define FCALL *f
36
37 #ifdef __Lynx__
38 /* Missing proto on LynxOS */
39   char *gconvert(double, int, int,  char *);
40 #endif
41
42 #ifdef PERL_UTF8_CACHE_ASSERT
43 /* if adding more checks watch out for the following tests:
44  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
45  *   lib/utf8.t lib/Unicode/Collate/t/index.t
46  * --jhi
47  */
48 #   define ASSERT_UTF8_CACHE(cache) \
49     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
50                               assert((cache)[2] <= (cache)[3]); \
51                               assert((cache)[3] <= (cache)[1]);} \
52                               } STMT_END
53 #else
54 #   define ASSERT_UTF8_CACHE(cache) NOOP
55 #endif
56
57 #ifdef PERL_OLD_COPY_ON_WRITE
58 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
59 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
60 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
61    on-write.  */
62 #endif
63
64 /* ============================================================================
65
66 =head1 Allocation and deallocation of SVs.
67
68 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
69 sv, av, hv...) contains type and reference count information, and for
70 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
71 contains fields specific to each type.  Some types store all they need
72 in the head, so don't have a body.
73
74 In all but the most memory-paranoid configuations (ex: PURIFY), heads
75 and bodies are allocated out of arenas, which by default are
76 approximately 4K chunks of memory parcelled up into N heads or bodies.
77 Sv-bodies are allocated by their sv-type, guaranteeing size
78 consistency needed to allocate safely from arrays.
79
80 For SV-heads, the first slot in each arena is reserved, and holds a
81 link to the next arena, some flags, and a note of the number of slots.
82 Snaked through each arena chain is a linked list of free items; when
83 this becomes empty, an extra arena is allocated and divided up into N
84 items which are threaded into the free list.
85
86 SV-bodies are similar, but they use arena-sets by default, which
87 separate the link and info from the arena itself, and reclaim the 1st
88 slot in the arena.  SV-bodies are further described later.
89
90 The following global variables are associated with arenas:
91
92     PL_sv_arenaroot     pointer to list of SV arenas
93     PL_sv_root          pointer to list of free SV structures
94
95     PL_body_arenas      head of linked-list of body arenas
96     PL_body_roots[]     array of pointers to list of free bodies of svtype
97                         arrays are indexed by the svtype needed
98
99 A few special SV heads are not allocated from an arena, but are
100 instead directly created in the interpreter structure, eg PL_sv_undef.
101 The size of arenas can be changed from the default by setting
102 PERL_ARENA_SIZE appropriately at compile time.
103
104 The SV arena serves the secondary purpose of allowing still-live SVs
105 to be located and destroyed during final cleanup.
106
107 At the lowest level, the macros new_SV() and del_SV() grab and free
108 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
109 to return the SV to the free list with error checking.) new_SV() calls
110 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
111 SVs in the free list have their SvTYPE field set to all ones.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 The function visit() scans the SV arenas list, and calls a specified
118 function for each SV it finds which is still live - ie which has an SvTYPE
119 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
120 following functions (specified as [function that calls visit()] / [function
121 called by visit() for each SV]):
122
123     sv_report_used() / do_report_used()
124                         dump all remaining SVs (debugging aid)
125
126     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
127                         Attempt to free all objects pointed to by RVs,
128                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
129                         try to do the same for all objects indirectly
130                         referenced by typeglobs too.  Called once from
131                         perl_destruct(), prior to calling sv_clean_all()
132                         below.
133
134     sv_clean_all() / do_clean_all()
135                         SvREFCNT_dec(sv) each remaining SV, possibly
136                         triggering an sv_free(). It also sets the
137                         SVf_BREAK flag on the SV to indicate that the
138                         refcnt has been artificially lowered, and thus
139                         stopping sv_free() from giving spurious warnings
140                         about SVs which unexpectedly have a refcnt
141                         of zero.  called repeatedly from perl_destruct()
142                         until there are no SVs left.
143
144 =head2 Arena allocator API Summary
145
146 Private API to rest of sv.c
147
148     new_SV(),  del_SV(),
149
150     new_XIV(), del_XIV(),
151     new_XNV(), del_XNV(),
152     etc
153
154 Public API:
155
156     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
157
158 =cut
159
160  * ========================================================================= */
161
162 /*
163  * "A time to plant, and a time to uproot what was planted..."
164  */
165
166 void
167 Perl_offer_nice_chunk(pTHX_ void *const chunk, const U32 chunk_size)
168 {
169     dVAR;
170     void *new_chunk;
171     U32 new_chunk_size;
172
173     PERL_ARGS_ASSERT_OFFER_NICE_CHUNK;
174
175     new_chunk = (void *)(chunk);
176     new_chunk_size = (chunk_size);
177     if (new_chunk_size > PL_nice_chunk_size) {
178         Safefree(PL_nice_chunk);
179         PL_nice_chunk = (char *) new_chunk;
180         PL_nice_chunk_size = new_chunk_size;
181     } else {
182         Safefree(chunk);
183     }
184 }
185
186 #ifdef PERL_MEM_LOG
187 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
188             Perl_mem_log_new_sv(sv, file, line, func)
189 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
190             Perl_mem_log_del_sv(sv, file, line, func)
191 #else
192 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
193 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
194 #endif
195
196 #ifdef DEBUG_LEAKING_SCALARS
197 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
198 #  define DEBUG_SV_SERIAL(sv)                                               \
199     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
200             PTR2UV(sv), (long)(sv)->sv_debug_serial))
201 #else
202 #  define FREE_SV_DEBUG_FILE(sv)
203 #  define DEBUG_SV_SERIAL(sv)   NOOP
204 #endif
205
206 #ifdef PERL_POISON
207 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
208 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
209 /* Whilst I'd love to do this, it seems that things like to check on
210    unreferenced scalars
211 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
212 */
213 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
214                                 PoisonNew(&SvREFCNT(sv), 1, U32)
215 #else
216 #  define SvARENA_CHAIN(sv)     SvANY(sv)
217 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
218 #  define POSION_SV_HEAD(sv)
219 #endif
220
221 /* Mark an SV head as unused, and add to free list.
222  *
223  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
224  * its refcount artificially decremented during global destruction, so
225  * there may be dangling pointers to it. The last thing we want in that
226  * case is for it to be reused. */
227
228 #define plant_SV(p) \
229     STMT_START {                                        \
230         const U32 old_flags = SvFLAGS(p);                       \
231         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
232         DEBUG_SV_SERIAL(p);                             \
233         FREE_SV_DEBUG_FILE(p);                          \
234         POSION_SV_HEAD(p);                              \
235         SvFLAGS(p) = SVTYPEMASK;                        \
236         if (!(old_flags & SVf_BREAK)) {         \
237             SvARENA_CHAIN_SET(p, PL_sv_root);   \
238             PL_sv_root = (p);                           \
239         }                                               \
240         --PL_sv_count;                                  \
241     } STMT_END
242
243 #define uproot_SV(p) \
244     STMT_START {                                        \
245         (p) = PL_sv_root;                               \
246         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
247         ++PL_sv_count;                                  \
248     } STMT_END
249
250
251 /* make some more SVs by adding another arena */
252
253 STATIC SV*
254 S_more_sv(pTHX)
255 {
256     dVAR;
257     SV* sv;
258
259     if (PL_nice_chunk) {
260         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
261         PL_nice_chunk = NULL;
262         PL_nice_chunk_size = 0;
263     }
264     else {
265         char *chunk;                /* must use New here to match call to */
266         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
267         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
268     }
269     uproot_SV(sv);
270     return sv;
271 }
272
273 /* new_SV(): return a new, empty SV head */
274
275 #ifdef DEBUG_LEAKING_SCALARS
276 /* provide a real function for a debugger to play with */
277 STATIC SV*
278 S_new_SV(pTHX_ const char *file, int line, const char *func)
279 {
280     SV* sv;
281
282     if (PL_sv_root)
283         uproot_SV(sv);
284     else
285         sv = S_more_sv(aTHX);
286     SvANY(sv) = 0;
287     SvREFCNT(sv) = 1;
288     SvFLAGS(sv) = 0;
289     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
290     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
291                 ? PL_parser->copline
292                 :  PL_curcop
293                     ? CopLINE(PL_curcop)
294                     : 0
295             );
296     sv->sv_debug_inpad = 0;
297     sv->sv_debug_cloned = 0;
298     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
299
300     sv->sv_debug_serial = PL_sv_serial++;
301
302     MEM_LOG_NEW_SV(sv, file, line, func);
303     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
304             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
305
306     return sv;
307 }
308 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
309
310 #else
311 #  define new_SV(p) \
312     STMT_START {                                        \
313         if (PL_sv_root)                                 \
314             uproot_SV(p);                               \
315         else                                            \
316             (p) = S_more_sv(aTHX);                      \
317         SvANY(p) = 0;                                   \
318         SvREFCNT(p) = 1;                                \
319         SvFLAGS(p) = 0;                                 \
320         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
321     } STMT_END
322 #endif
323
324
325 /* del_SV(): return an empty SV head to the free list */
326
327 #ifdef DEBUGGING
328
329 #define del_SV(p) \
330     STMT_START {                                        \
331         if (DEBUG_D_TEST)                               \
332             del_sv(p);                                  \
333         else                                            \
334             plant_SV(p);                                \
335     } STMT_END
336
337 STATIC void
338 S_del_sv(pTHX_ SV *p)
339 {
340     dVAR;
341
342     PERL_ARGS_ASSERT_DEL_SV;
343
344     if (DEBUG_D_TEST) {
345         SV* sva;
346         bool ok = 0;
347         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
348             const SV * const sv = sva + 1;
349             const SV * const svend = &sva[SvREFCNT(sva)];
350             if (p >= sv && p < svend) {
351                 ok = 1;
352                 break;
353             }
354         }
355         if (!ok) {
356             if (ckWARN_d(WARN_INTERNAL))        
357                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
358                             "Attempt to free non-arena SV: 0x%"UVxf
359                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
360             return;
361         }
362     }
363     plant_SV(p);
364 }
365
366 #else /* ! DEBUGGING */
367
368 #define del_SV(p)   plant_SV(p)
369
370 #endif /* DEBUGGING */
371
372
373 /*
374 =head1 SV Manipulation Functions
375
376 =for apidoc sv_add_arena
377
378 Given a chunk of memory, link it to the head of the list of arenas,
379 and split it into a list of free SVs.
380
381 =cut
382 */
383
384 static void
385 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
386 {
387     dVAR;
388     SV *const sva = MUTABLE_SV(ptr);
389     register SV* sv;
390     register SV* svend;
391
392     PERL_ARGS_ASSERT_SV_ADD_ARENA;
393
394     /* The first SV in an arena isn't an SV. */
395     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
396     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
397     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
398
399     PL_sv_arenaroot = sva;
400     PL_sv_root = sva + 1;
401
402     svend = &sva[SvREFCNT(sva) - 1];
403     sv = sva + 1;
404     while (sv < svend) {
405         SvARENA_CHAIN_SET(sv, (sv + 1));
406 #ifdef DEBUGGING
407         SvREFCNT(sv) = 0;
408 #endif
409         /* Must always set typemask because it's always checked in on cleanup
410            when the arenas are walked looking for objects.  */
411         SvFLAGS(sv) = SVTYPEMASK;
412         sv++;
413     }
414     SvARENA_CHAIN_SET(sv, 0);
415 #ifdef DEBUGGING
416     SvREFCNT(sv) = 0;
417 #endif
418     SvFLAGS(sv) = SVTYPEMASK;
419 }
420
421 /* visit(): call the named function for each non-free SV in the arenas
422  * whose flags field matches the flags/mask args. */
423
424 STATIC I32
425 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
426 {
427     dVAR;
428     SV* sva;
429     I32 visited = 0;
430
431     PERL_ARGS_ASSERT_VISIT;
432
433     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
434         register const SV * const svend = &sva[SvREFCNT(sva)];
435         register SV* sv;
436         for (sv = sva + 1; sv < svend; ++sv) {
437             if (SvTYPE(sv) != SVTYPEMASK
438                     && (sv->sv_flags & mask) == flags
439                     && SvREFCNT(sv))
440             {
441                 (FCALL)(aTHX_ sv);
442                 ++visited;
443             }
444         }
445     }
446     return visited;
447 }
448
449 #ifdef DEBUGGING
450
451 /* called by sv_report_used() for each live SV */
452
453 static void
454 do_report_used(pTHX_ SV *const sv)
455 {
456     if (SvTYPE(sv) != SVTYPEMASK) {
457         PerlIO_printf(Perl_debug_log, "****\n");
458         sv_dump(sv);
459     }
460 }
461 #endif
462
463 /*
464 =for apidoc sv_report_used
465
466 Dump the contents of all SVs not yet freed. (Debugging aid).
467
468 =cut
469 */
470
471 void
472 Perl_sv_report_used(pTHX)
473 {
474 #ifdef DEBUGGING
475     visit(do_report_used, 0, 0);
476 #else
477     PERL_UNUSED_CONTEXT;
478 #endif
479 }
480
481 /* called by sv_clean_objs() for each live SV */
482
483 static void
484 do_clean_objs(pTHX_ SV *const ref)
485 {
486     dVAR;
487     assert (SvROK(ref));
488     {
489         SV * const target = SvRV(ref);
490         if (SvOBJECT(target)) {
491             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
492             if (SvWEAKREF(ref)) {
493                 sv_del_backref(target, ref);
494                 SvWEAKREF_off(ref);
495                 SvRV_set(ref, NULL);
496             } else {
497                 SvROK_off(ref);
498                 SvRV_set(ref, NULL);
499                 SvREFCNT_dec(target);
500             }
501         }
502     }
503
504     /* XXX Might want to check arrays, etc. */
505 }
506
507 /* called by sv_clean_objs() for each live SV */
508
509 #ifndef DISABLE_DESTRUCTOR_KLUDGE
510 static void
511 do_clean_named_objs(pTHX_ SV *const sv)
512 {
513     dVAR;
514     assert(SvTYPE(sv) == SVt_PVGV);
515     assert(isGV_with_GP(sv));
516     if (GvGP(sv)) {
517         if ((
518 #ifdef PERL_DONT_CREATE_GVSV
519              GvSV(sv) &&
520 #endif
521              SvOBJECT(GvSV(sv))) ||
522              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
523              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
524              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
525              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
526              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
527         {
528             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
529             SvFLAGS(sv) |= SVf_BREAK;
530             SvREFCNT_dec(sv);
531         }
532     }
533 }
534 #endif
535
536 /*
537 =for apidoc sv_clean_objs
538
539 Attempt to destroy all objects not yet freed
540
541 =cut
542 */
543
544 void
545 Perl_sv_clean_objs(pTHX)
546 {
547     dVAR;
548     PL_in_clean_objs = TRUE;
549     visit(do_clean_objs, SVf_ROK, SVf_ROK);
550 #ifndef DISABLE_DESTRUCTOR_KLUDGE
551     /* some barnacles may yet remain, clinging to typeglobs */
552     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
553 #endif
554     PL_in_clean_objs = FALSE;
555 }
556
557 /* called by sv_clean_all() for each live SV */
558
559 static void
560 do_clean_all(pTHX_ SV *const sv)
561 {
562     dVAR;
563     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
564         /* don't clean pid table and strtab */
565         return;
566     }
567     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
568     SvFLAGS(sv) |= SVf_BREAK;
569     SvREFCNT_dec(sv);
570 }
571
572 /*
573 =for apidoc sv_clean_all
574
575 Decrement the refcnt of each remaining SV, possibly triggering a
576 cleanup. This function may have to be called multiple times to free
577 SVs which are in complex self-referential hierarchies.
578
579 =cut
580 */
581
582 I32
583 Perl_sv_clean_all(pTHX)
584 {
585     dVAR;
586     I32 cleaned;
587     PL_in_clean_all = TRUE;
588     cleaned = visit(do_clean_all, 0,0);
589     PL_in_clean_all = FALSE;
590     return cleaned;
591 }
592
593 /*
594   ARENASETS: a meta-arena implementation which separates arena-info
595   into struct arena_set, which contains an array of struct
596   arena_descs, each holding info for a single arena.  By separating
597   the meta-info from the arena, we recover the 1st slot, formerly
598   borrowed for list management.  The arena_set is about the size of an
599   arena, avoiding the needless malloc overhead of a naive linked-list.
600
601   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
602   memory in the last arena-set (1/2 on average).  In trade, we get
603   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
604   smaller types).  The recovery of the wasted space allows use of
605   small arenas for large, rare body types, by changing array* fields
606   in body_details_by_type[] below.
607 */
608 struct arena_desc {
609     char       *arena;          /* the raw storage, allocated aligned */
610     size_t      size;           /* its size ~4k typ */
611     U32         misc;           /* type, and in future other things. */
612 };
613
614 struct arena_set;
615
616 /* Get the maximum number of elements in set[] such that struct arena_set
617    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
618    therefore likely to be 1 aligned memory page.  */
619
620 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
621                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
622
623 struct arena_set {
624     struct arena_set* next;
625     unsigned int   set_size;    /* ie ARENAS_PER_SET */
626     unsigned int   curr;        /* index of next available arena-desc */
627     struct arena_desc set[ARENAS_PER_SET];
628 };
629
630 /*
631 =for apidoc sv_free_arenas
632
633 Deallocate the memory used by all arenas. Note that all the individual SV
634 heads and bodies within the arenas must already have been freed.
635
636 =cut
637 */
638 void
639 Perl_sv_free_arenas(pTHX)
640 {
641     dVAR;
642     SV* sva;
643     SV* svanext;
644     unsigned int i;
645
646     /* Free arenas here, but be careful about fake ones.  (We assume
647        contiguity of the fake ones with the corresponding real ones.) */
648
649     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
650         svanext = MUTABLE_SV(SvANY(sva));
651         while (svanext && SvFAKE(svanext))
652             svanext = MUTABLE_SV(SvANY(svanext));
653
654         if (!SvFAKE(sva))
655             Safefree(sva);
656     }
657
658     {
659         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
660
661         while (aroot) {
662             struct arena_set *current = aroot;
663             i = aroot->curr;
664             while (i--) {
665                 assert(aroot->set[i].arena);
666                 Safefree(aroot->set[i].arena);
667             }
668             aroot = aroot->next;
669             Safefree(current);
670         }
671     }
672     PL_body_arenas = 0;
673
674     i = PERL_ARENA_ROOTS_SIZE;
675     while (i--)
676         PL_body_roots[i] = 0;
677
678     Safefree(PL_nice_chunk);
679     PL_nice_chunk = NULL;
680     PL_nice_chunk_size = 0;
681     PL_sv_arenaroot = 0;
682     PL_sv_root = 0;
683 }
684
685 /*
686   Here are mid-level routines that manage the allocation of bodies out
687   of the various arenas.  There are 5 kinds of arenas:
688
689   1. SV-head arenas, which are discussed and handled above
690   2. regular body arenas
691   3. arenas for reduced-size bodies
692   4. Hash-Entry arenas
693   5. pte arenas (thread related)
694
695   Arena types 2 & 3 are chained by body-type off an array of
696   arena-root pointers, which is indexed by svtype.  Some of the
697   larger/less used body types are malloced singly, since a large
698   unused block of them is wasteful.  Also, several svtypes dont have
699   bodies; the data fits into the sv-head itself.  The arena-root
700   pointer thus has a few unused root-pointers (which may be hijacked
701   later for arena types 4,5)
702
703   3 differs from 2 as an optimization; some body types have several
704   unused fields in the front of the structure (which are kept in-place
705   for consistency).  These bodies can be allocated in smaller chunks,
706   because the leading fields arent accessed.  Pointers to such bodies
707   are decremented to point at the unused 'ghost' memory, knowing that
708   the pointers are used with offsets to the real memory.
709
710   HE, HEK arenas are managed separately, with separate code, but may
711   be merge-able later..
712
713   PTE arenas are not sv-bodies, but they share these mid-level
714   mechanics, so are considered here.  The new mid-level mechanics rely
715   on the sv_type of the body being allocated, so we just reserve one
716   of the unused body-slots for PTEs, then use it in those (2) PTE
717   contexts below (line ~10k)
718 */
719
720 /* get_arena(size): this creates custom-sized arenas
721    TBD: export properly for hv.c: S_more_he().
722 */
723 void*
724 Perl_get_arena(pTHX_ const size_t arena_size, const U32 misc)
725 {
726     dVAR;
727     struct arena_desc* adesc;
728     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
729     unsigned int curr;
730
731     /* shouldnt need this
732     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
733     */
734
735     /* may need new arena-set to hold new arena */
736     if (!aroot || aroot->curr >= aroot->set_size) {
737         struct arena_set *newroot;
738         Newxz(newroot, 1, struct arena_set);
739         newroot->set_size = ARENAS_PER_SET;
740         newroot->next = aroot;
741         aroot = newroot;
742         PL_body_arenas = (void *) newroot;
743         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
744     }
745
746     /* ok, now have arena-set with at least 1 empty/available arena-desc */
747     curr = aroot->curr++;
748     adesc = &(aroot->set[curr]);
749     assert(!adesc->arena);
750     
751     Newx(adesc->arena, arena_size, char);
752     adesc->size = arena_size;
753     adesc->misc = misc;
754     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
755                           curr, (void*)adesc->arena, (UV)arena_size));
756
757     return adesc->arena;
758 }
759
760
761 /* return a thing to the free list */
762
763 #define del_body(thing, root)                   \
764     STMT_START {                                \
765         void ** const thing_copy = (void **)thing;\
766         *thing_copy = *root;                    \
767         *root = (void*)thing_copy;              \
768     } STMT_END
769
770 /* 
771
772 =head1 SV-Body Allocation
773
774 Allocation of SV-bodies is similar to SV-heads, differing as follows;
775 the allocation mechanism is used for many body types, so is somewhat
776 more complicated, it uses arena-sets, and has no need for still-live
777 SV detection.
778
779 At the outermost level, (new|del)_X*V macros return bodies of the
780 appropriate type.  These macros call either (new|del)_body_type or
781 (new|del)_body_allocated macro pairs, depending on specifics of the
782 type.  Most body types use the former pair, the latter pair is used to
783 allocate body types with "ghost fields".
784
785 "ghost fields" are fields that are unused in certain types, and
786 consequently don't need to actually exist.  They are declared because
787 they're part of a "base type", which allows use of functions as
788 methods.  The simplest examples are AVs and HVs, 2 aggregate types
789 which don't use the fields which support SCALAR semantics.
790
791 For these types, the arenas are carved up into appropriately sized
792 chunks, we thus avoid wasted memory for those unaccessed members.
793 When bodies are allocated, we adjust the pointer back in memory by the
794 size of the part not allocated, so it's as if we allocated the full
795 structure.  (But things will all go boom if you write to the part that
796 is "not there", because you'll be overwriting the last members of the
797 preceding structure in memory.)
798
799 We calculate the correction using the STRUCT_OFFSET macro on the first
800 member present. If the allocated structure is smaller (no initial NV
801 actually allocated) then the net effect is to subtract the size of the NV
802 from the pointer, to return a new pointer as if an initial NV were actually
803 allocated. (We were using structures named *_allocated for this, but
804 this turned out to be a subtle bug, because a structure without an NV
805 could have a lower alignment constraint, but the compiler is allowed to
806 optimised accesses based on the alignment constraint of the actual pointer
807 to the full structure, for example, using a single 64 bit load instruction
808 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
809
810 This is the same trick as was used for NV and IV bodies. Ironically it
811 doesn't need to be used for NV bodies any more, because NV is now at
812 the start of the structure. IV bodies don't need it either, because
813 they are no longer allocated.
814
815 In turn, the new_body_* allocators call S_new_body(), which invokes
816 new_body_inline macro, which takes a lock, and takes a body off the
817 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
818 necessary to refresh an empty list.  Then the lock is released, and
819 the body is returned.
820
821 S_more_bodies calls get_arena(), and carves it up into an array of N
822 bodies, which it strings into a linked list.  It looks up arena-size
823 and body-size from the body_details table described below, thus
824 supporting the multiple body-types.
825
826 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
827 the (new|del)_X*V macros are mapped directly to malloc/free.
828
829 */
830
831 /* 
832
833 For each sv-type, struct body_details bodies_by_type[] carries
834 parameters which control these aspects of SV handling:
835
836 Arena_size determines whether arenas are used for this body type, and if
837 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
838 zero, forcing individual mallocs and frees.
839
840 Body_size determines how big a body is, and therefore how many fit into
841 each arena.  Offset carries the body-pointer adjustment needed for
842 "ghost fields", and is used in *_allocated macros.
843
844 But its main purpose is to parameterize info needed in
845 Perl_sv_upgrade().  The info here dramatically simplifies the function
846 vs the implementation in 5.8.8, making it table-driven.  All fields
847 are used for this, except for arena_size.
848
849 For the sv-types that have no bodies, arenas are not used, so those
850 PL_body_roots[sv_type] are unused, and can be overloaded.  In
851 something of a special case, SVt_NULL is borrowed for HE arenas;
852 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
853 bodies_by_type[SVt_NULL] slot is not used, as the table is not
854 available in hv.c.
855
856 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
857 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
858 just use the same allocation semantics.  At first, PTEs were also
859 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
860 bugs, so was simplified by claiming a new slot.  This choice has no
861 consequence at this time.
862
863 */
864
865 struct body_details {
866     U8 body_size;       /* Size to allocate  */
867     U8 copy;            /* Size of structure to copy (may be shorter)  */
868     U8 offset;
869     unsigned int type : 4;          /* We have space for a sanity check.  */
870     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
871     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
872     unsigned int arena : 1;         /* Allocated from an arena */
873     size_t arena_size;              /* Size of arena to allocate */
874 };
875
876 #define HADNV FALSE
877 #define NONV TRUE
878
879
880 #ifdef PURIFY
881 /* With -DPURFIY we allocate everything directly, and don't use arenas.
882    This seems a rather elegant way to simplify some of the code below.  */
883 #define HASARENA FALSE
884 #else
885 #define HASARENA TRUE
886 #endif
887 #define NOARENA FALSE
888
889 /* Size the arenas to exactly fit a given number of bodies.  A count
890    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
891    simplifying the default.  If count > 0, the arena is sized to fit
892    only that many bodies, allowing arenas to be used for large, rare
893    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
894    limited by PERL_ARENA_SIZE, so we can safely oversize the
895    declarations.
896  */
897 #define FIT_ARENA0(body_size)                           \
898     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
899 #define FIT_ARENAn(count,body_size)                     \
900     ( count * body_size <= PERL_ARENA_SIZE)             \
901     ? count * body_size                                 \
902     : FIT_ARENA0 (body_size)
903 #define FIT_ARENA(count,body_size)                      \
904     count                                               \
905     ? FIT_ARENAn (count, body_size)                     \
906     : FIT_ARENA0 (body_size)
907
908 /* Calculate the length to copy. Specifically work out the length less any
909    final padding the compiler needed to add.  See the comment in sv_upgrade
910    for why copying the padding proved to be a bug.  */
911
912 #define copy_length(type, last_member) \
913         STRUCT_OFFSET(type, last_member) \
914         + sizeof (((type*)SvANY((const SV *)0))->last_member)
915
916 static const struct body_details bodies_by_type[] = {
917     { sizeof(HE), 0, 0, SVt_NULL,
918       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
919
920     /* The bind placeholder pretends to be an RV for now.
921        Also it's marked as "can't upgrade" to stop anyone using it before it's
922        implemented.  */
923     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
924
925     /* IVs are in the head, so the allocation size is 0.
926        However, the slot is overloaded for PTEs.  */
927     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
928       sizeof(IV), /* This is used to copy out the IV body.  */
929       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
930       NOARENA /* IVS don't need an arena  */,
931       /* But PTEs need to know the size of their arena  */
932       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
933     },
934
935     /* 8 bytes on most ILP32 with IEEE doubles */
936     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
937       FIT_ARENA(0, sizeof(NV)) },
938
939     /* 8 bytes on most ILP32 with IEEE doubles */
940     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
941       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
942       + STRUCT_OFFSET(XPV, xpv_cur),
943       SVt_PV, FALSE, NONV, HASARENA,
944       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
945
946     /* 12 */
947     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
948       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
949       + STRUCT_OFFSET(XPVIV, xpv_cur),
950       SVt_PVIV, FALSE, NONV, HASARENA,
951       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
952
953     /* 20 */
954     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
955       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
956
957     /* 28 */
958     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
959       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
960
961     /* something big */
962     { sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
963       sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
964       + STRUCT_OFFSET(regexp, xpv_cur),
965       SVt_REGEXP, FALSE, NONV, HASARENA,
966       FIT_ARENA(0, sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur))
967     },
968
969     /* 48 */
970     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
971       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
972     
973     /* 64 */
974     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
975       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
976
977     { sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill),
978       copy_length(XPVAV, xmg_stash) - STRUCT_OFFSET(XPVAV, xav_fill),
979       + STRUCT_OFFSET(XPVAV, xav_fill),
980       SVt_PVAV, TRUE, NONV, HASARENA,
981       FIT_ARENA(0, sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill)) },
982
983     { sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill),
984       copy_length(XPVHV, xmg_stash) - STRUCT_OFFSET(XPVHV, xhv_fill),
985       + STRUCT_OFFSET(XPVHV, xhv_fill),
986       SVt_PVHV, TRUE, NONV, HASARENA,
987       FIT_ARENA(0, sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill)) },
988
989     /* 56 */
990     { sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
991       sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
992       + STRUCT_OFFSET(XPVCV, xpv_cur),
993       SVt_PVCV, TRUE, NONV, HASARENA,
994       FIT_ARENA(0, sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur)) },
995
996     { sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
997       sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
998       + STRUCT_OFFSET(XPVFM, xpv_cur),
999       SVt_PVFM, TRUE, NONV, NOARENA,
1000       FIT_ARENA(20, sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur)) },
1001
1002     /* XPVIO is 84 bytes, fits 48x */
1003     { sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1004       sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1005       + STRUCT_OFFSET(XPVIO, xpv_cur),
1006       SVt_PVIO, TRUE, NONV, HASARENA,
1007       FIT_ARENA(24, sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur)) },
1008 };
1009
1010 #define new_body_type(sv_type)          \
1011     (void *)((char *)S_new_body(aTHX_ sv_type))
1012
1013 #define del_body_type(p, sv_type)       \
1014     del_body(p, &PL_body_roots[sv_type])
1015
1016
1017 #define new_body_allocated(sv_type)             \
1018     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1019              - bodies_by_type[sv_type].offset)
1020
1021 #define del_body_allocated(p, sv_type)          \
1022     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
1023
1024
1025 #define my_safemalloc(s)        (void*)safemalloc(s)
1026 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
1027 #define my_safefree(p)  safefree((char*)p)
1028
1029 #ifdef PURIFY
1030
1031 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
1032 #define del_XNV(p)      my_safefree(p)
1033
1034 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
1035 #define del_XPVNV(p)    my_safefree(p)
1036
1037 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
1038 #define del_XPVAV(p)    my_safefree(p)
1039
1040 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
1041 #define del_XPVHV(p)    my_safefree(p)
1042
1043 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
1044 #define del_XPVMG(p)    my_safefree(p)
1045
1046 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
1047 #define del_XPVGV(p)    my_safefree(p)
1048
1049 #else /* !PURIFY */
1050
1051 #define new_XNV()       new_body_type(SVt_NV)
1052 #define del_XNV(p)      del_body_type(p, SVt_NV)
1053
1054 #define new_XPVNV()     new_body_type(SVt_PVNV)
1055 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1056
1057 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1058 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1059
1060 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1061 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1062
1063 #define new_XPVMG()     new_body_type(SVt_PVMG)
1064 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1065
1066 #define new_XPVGV()     new_body_type(SVt_PVGV)
1067 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1068
1069 #endif /* PURIFY */
1070
1071 /* no arena for you! */
1072
1073 #define new_NOARENA(details) \
1074         my_safemalloc((details)->body_size + (details)->offset)
1075 #define new_NOARENAZ(details) \
1076         my_safecalloc((details)->body_size + (details)->offset)
1077
1078 STATIC void *
1079 S_more_bodies (pTHX_ const svtype sv_type)
1080 {
1081     dVAR;
1082     void ** const root = &PL_body_roots[sv_type];
1083     const struct body_details * const bdp = &bodies_by_type[sv_type];
1084     const size_t body_size = bdp->body_size;
1085     char *start;
1086     const char *end;
1087     const size_t arena_size = Perl_malloc_good_size(bdp->arena_size);
1088 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1089     static bool done_sanity_check;
1090
1091     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1092      * variables like done_sanity_check. */
1093     if (!done_sanity_check) {
1094         unsigned int i = SVt_LAST;
1095
1096         done_sanity_check = TRUE;
1097
1098         while (i--)
1099             assert (bodies_by_type[i].type == i);
1100     }
1101 #endif
1102
1103     assert(bdp->arena_size);
1104
1105     start = (char*) Perl_get_arena(aTHX_ arena_size, sv_type);
1106
1107     end = start + arena_size - 2 * body_size;
1108
1109     /* computed count doesnt reflect the 1st slot reservation */
1110 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1111     DEBUG_m(PerlIO_printf(Perl_debug_log,
1112                           "arena %p end %p arena-size %d (from %d) type %d "
1113                           "size %d ct %d\n",
1114                           (void*)start, (void*)end, (int)arena_size,
1115                           (int)bdp->arena_size, sv_type, (int)body_size,
1116                           (int)arena_size / (int)body_size));
1117 #else
1118     DEBUG_m(PerlIO_printf(Perl_debug_log,
1119                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1120                           (void*)start, (void*)end,
1121                           (int)bdp->arena_size, sv_type, (int)body_size,
1122                           (int)bdp->arena_size / (int)body_size));
1123 #endif
1124     *root = (void *)start;
1125
1126     while (start <= end) {
1127         char * const next = start + body_size;
1128         *(void**) start = (void *)next;
1129         start = next;
1130     }
1131     *(void **)start = 0;
1132
1133     return *root;
1134 }
1135
1136 /* grab a new thing from the free list, allocating more if necessary.
1137    The inline version is used for speed in hot routines, and the
1138    function using it serves the rest (unless PURIFY).
1139 */
1140 #define new_body_inline(xpv, sv_type) \
1141     STMT_START { \
1142         void ** const r3wt = &PL_body_roots[sv_type]; \
1143         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1144           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1145         *(r3wt) = *(void**)(xpv); \
1146     } STMT_END
1147
1148 #ifndef PURIFY
1149
1150 STATIC void *
1151 S_new_body(pTHX_ const svtype sv_type)
1152 {
1153     dVAR;
1154     void *xpv;
1155     new_body_inline(xpv, sv_type);
1156     return xpv;
1157 }
1158
1159 #endif
1160
1161 static const struct body_details fake_rv =
1162     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1163
1164 /*
1165 =for apidoc sv_upgrade
1166
1167 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1168 SV, then copies across as much information as possible from the old body.
1169 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1170
1171 =cut
1172 */
1173
1174 void
1175 Perl_sv_upgrade(pTHX_ register SV *const sv, svtype new_type)
1176 {
1177     dVAR;
1178     void*       old_body;
1179     void*       new_body;
1180     const svtype old_type = SvTYPE(sv);
1181     const struct body_details *new_type_details;
1182     const struct body_details *old_type_details
1183         = bodies_by_type + old_type;
1184     SV *referant = NULL;
1185
1186     PERL_ARGS_ASSERT_SV_UPGRADE;
1187
1188     if (old_type == new_type)
1189         return;
1190
1191     /* This clause was purposefully added ahead of the early return above to
1192        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1193        inference by Nick I-S that it would fix other troublesome cases. See
1194        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1195
1196        Given that shared hash key scalars are no longer PVIV, but PV, there is
1197        no longer need to unshare so as to free up the IVX slot for its proper
1198        purpose. So it's safe to move the early return earlier.  */
1199
1200     if (new_type != SVt_PV && SvIsCOW(sv)) {
1201         sv_force_normal_flags(sv, 0);
1202     }
1203
1204     old_body = SvANY(sv);
1205
1206     /* Copying structures onto other structures that have been neatly zeroed
1207        has a subtle gotcha. Consider XPVMG
1208
1209        +------+------+------+------+------+-------+-------+
1210        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1211        +------+------+------+------+------+-------+-------+
1212        0      4      8     12     16     20      24      28
1213
1214        where NVs are aligned to 8 bytes, so that sizeof that structure is
1215        actually 32 bytes long, with 4 bytes of padding at the end:
1216
1217        +------+------+------+------+------+-------+-------+------+
1218        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1219        +------+------+------+------+------+-------+-------+------+
1220        0      4      8     12     16     20      24      28     32
1221
1222        so what happens if you allocate memory for this structure:
1223
1224        +------+------+------+------+------+-------+-------+------+------+...
1225        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1226        +------+------+------+------+------+-------+-------+------+------+...
1227        0      4      8     12     16     20      24      28     32     36
1228
1229        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1230        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1231        started out as zero once, but it's quite possible that it isn't. So now,
1232        rather than a nicely zeroed GP, you have it pointing somewhere random.
1233        Bugs ensue.
1234
1235        (In fact, GP ends up pointing at a previous GP structure, because the
1236        principle cause of the padding in XPVMG getting garbage is a copy of
1237        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1238        this happens to be moot because XPVGV has been re-ordered, with GP
1239        no longer after STASH)
1240
1241        So we are careful and work out the size of used parts of all the
1242        structures.  */
1243
1244     switch (old_type) {
1245     case SVt_NULL:
1246         break;
1247     case SVt_IV:
1248         if (SvROK(sv)) {
1249             referant = SvRV(sv);
1250             old_type_details = &fake_rv;
1251             if (new_type == SVt_NV)
1252                 new_type = SVt_PVNV;
1253         } else {
1254             if (new_type < SVt_PVIV) {
1255                 new_type = (new_type == SVt_NV)
1256                     ? SVt_PVNV : SVt_PVIV;
1257             }
1258         }
1259         break;
1260     case SVt_NV:
1261         if (new_type < SVt_PVNV) {
1262             new_type = SVt_PVNV;
1263         }
1264         break;
1265     case SVt_PV:
1266         assert(new_type > SVt_PV);
1267         assert(SVt_IV < SVt_PV);
1268         assert(SVt_NV < SVt_PV);
1269         break;
1270     case SVt_PVIV:
1271         break;
1272     case SVt_PVNV:
1273         break;
1274     case SVt_PVMG:
1275         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1276            there's no way that it can be safely upgraded, because perl.c
1277            expects to Safefree(SvANY(PL_mess_sv))  */
1278         assert(sv != PL_mess_sv);
1279         /* This flag bit is used to mean other things in other scalar types.
1280            Given that it only has meaning inside the pad, it shouldn't be set
1281            on anything that can get upgraded.  */
1282         assert(!SvPAD_TYPED(sv));
1283         break;
1284     default:
1285         if (old_type_details->cant_upgrade)
1286             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1287                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1288     }
1289
1290     if (old_type > new_type)
1291         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1292                 (int)old_type, (int)new_type);
1293
1294     new_type_details = bodies_by_type + new_type;
1295
1296     SvFLAGS(sv) &= ~SVTYPEMASK;
1297     SvFLAGS(sv) |= new_type;
1298
1299     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1300        the return statements above will have triggered.  */
1301     assert (new_type != SVt_NULL);
1302     switch (new_type) {
1303     case SVt_IV:
1304         assert(old_type == SVt_NULL);
1305         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1306         SvIV_set(sv, 0);
1307         return;
1308     case SVt_NV:
1309         assert(old_type == SVt_NULL);
1310         SvANY(sv) = new_XNV();
1311         SvNV_set(sv, 0);
1312         return;
1313     case SVt_PVHV:
1314     case SVt_PVAV:
1315         assert(new_type_details->body_size);
1316
1317 #ifndef PURIFY  
1318         assert(new_type_details->arena);
1319         assert(new_type_details->arena_size);
1320         /* This points to the start of the allocated area.  */
1321         new_body_inline(new_body, new_type);
1322         Zero(new_body, new_type_details->body_size, char);
1323         new_body = ((char *)new_body) - new_type_details->offset;
1324 #else
1325         /* We always allocated the full length item with PURIFY. To do this
1326            we fake things so that arena is false for all 16 types..  */
1327         new_body = new_NOARENAZ(new_type_details);
1328 #endif
1329         SvANY(sv) = new_body;
1330         if (new_type == SVt_PVAV) {
1331             AvMAX(sv)   = -1;
1332             AvFILLp(sv) = -1;
1333             AvREAL_only(sv);
1334             if (old_type_details->body_size) {
1335                 AvALLOC(sv) = 0;
1336             } else {
1337                 /* It will have been zeroed when the new body was allocated.
1338                    Lets not write to it, in case it confuses a write-back
1339                    cache.  */
1340             }
1341         } else {
1342             assert(!SvOK(sv));
1343             SvOK_off(sv);
1344 #ifndef NODEFAULT_SHAREKEYS
1345             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1346 #endif
1347             HvMAX(sv) = 7; /* (start with 8 buckets) */
1348             if (old_type_details->body_size) {
1349                 HvFILL(sv) = 0;
1350             } else {
1351                 /* It will have been zeroed when the new body was allocated.
1352                    Lets not write to it, in case it confuses a write-back
1353                    cache.  */
1354             }
1355         }
1356
1357         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1358            The target created by newSVrv also is, and it can have magic.
1359            However, it never has SvPVX set.
1360         */
1361         if (old_type == SVt_IV) {
1362             assert(!SvROK(sv));
1363         } else if (old_type >= SVt_PV) {
1364             assert(SvPVX_const(sv) == 0);
1365         }
1366
1367         if (old_type >= SVt_PVMG) {
1368             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1369             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1370         } else {
1371             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1372         }
1373         break;
1374
1375
1376     case SVt_PVIV:
1377         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1378            no route from NV to PVIV, NOK can never be true  */
1379         assert(!SvNOKp(sv));
1380         assert(!SvNOK(sv));
1381     case SVt_PVIO:
1382     case SVt_PVFM:
1383     case SVt_PVGV:
1384     case SVt_PVCV:
1385     case SVt_PVLV:
1386     case SVt_REGEXP:
1387     case SVt_PVMG:
1388     case SVt_PVNV:
1389     case SVt_PV:
1390
1391         assert(new_type_details->body_size);
1392         /* We always allocated the full length item with PURIFY. To do this
1393            we fake things so that arena is false for all 16 types..  */
1394         if(new_type_details->arena) {
1395             /* This points to the start of the allocated area.  */
1396             new_body_inline(new_body, new_type);
1397             Zero(new_body, new_type_details->body_size, char);
1398             new_body = ((char *)new_body) - new_type_details->offset;
1399         } else {
1400             new_body = new_NOARENAZ(new_type_details);
1401         }
1402         SvANY(sv) = new_body;
1403
1404         if (old_type_details->copy) {
1405             /* There is now the potential for an upgrade from something without
1406                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1407             int offset = old_type_details->offset;
1408             int length = old_type_details->copy;
1409
1410             if (new_type_details->offset > old_type_details->offset) {
1411                 const int difference
1412                     = new_type_details->offset - old_type_details->offset;
1413                 offset += difference;
1414                 length -= difference;
1415             }
1416             assert (length >= 0);
1417                 
1418             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1419                  char);
1420         }
1421
1422 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1423         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1424          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1425          * NV slot, but the new one does, then we need to initialise the
1426          * freshly created NV slot with whatever the correct bit pattern is
1427          * for 0.0  */
1428         if (old_type_details->zero_nv && !new_type_details->zero_nv
1429             && !isGV_with_GP(sv))
1430             SvNV_set(sv, 0);
1431 #endif
1432
1433         if (new_type == SVt_PVIO) {
1434             IO * const io = MUTABLE_IO(sv);
1435             GV *iogv = gv_fetchpvs("FileHandle::", 0, SVt_PVHV);
1436
1437             SvOBJECT_on(io);
1438             /* Clear the stashcache because a new IO could overrule a package
1439                name */
1440             hv_clear(PL_stashcache);
1441
1442             /* unless exists($main::{FileHandle}) and
1443                defined(%main::FileHandle::) */
1444             if (!(iogv && GvHV(iogv) && HvARRAY(GvHV(iogv))))
1445                 iogv = gv_fetchpvs("IO::Handle::", GV_ADD, SVt_PVHV);
1446             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1447             IoPAGE_LEN(sv) = 60;
1448         }
1449         if (old_type < SVt_PV) {
1450             /* referant will be NULL unless the old type was SVt_IV emulating
1451                SVt_RV */
1452             sv->sv_u.svu_rv = referant;
1453         }
1454         break;
1455     default:
1456         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1457                    (unsigned long)new_type);
1458     }
1459
1460     if (old_type_details->arena) {
1461         /* If there was an old body, then we need to free it.
1462            Note that there is an assumption that all bodies of types that
1463            can be upgraded came from arenas. Only the more complex non-
1464            upgradable types are allowed to be directly malloc()ed.  */
1465 #ifdef PURIFY
1466         my_safefree(old_body);
1467 #else
1468         del_body((void*)((char*)old_body + old_type_details->offset),
1469                  &PL_body_roots[old_type]);
1470 #endif
1471     }
1472 }
1473
1474 /*
1475 =for apidoc sv_backoff
1476
1477 Remove any string offset. You should normally use the C<SvOOK_off> macro
1478 wrapper instead.
1479
1480 =cut
1481 */
1482
1483 int
1484 Perl_sv_backoff(pTHX_ register SV *const sv)
1485 {
1486     STRLEN delta;
1487     const char * const s = SvPVX_const(sv);
1488
1489     PERL_ARGS_ASSERT_SV_BACKOFF;
1490     PERL_UNUSED_CONTEXT;
1491
1492     assert(SvOOK(sv));
1493     assert(SvTYPE(sv) != SVt_PVHV);
1494     assert(SvTYPE(sv) != SVt_PVAV);
1495
1496     SvOOK_offset(sv, delta);
1497     
1498     SvLEN_set(sv, SvLEN(sv) + delta);
1499     SvPV_set(sv, SvPVX(sv) - delta);
1500     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1501     SvFLAGS(sv) &= ~SVf_OOK;
1502     return 0;
1503 }
1504
1505 /*
1506 =for apidoc sv_grow
1507
1508 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1509 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1510 Use the C<SvGROW> wrapper instead.
1511
1512 =cut
1513 */
1514
1515 char *
1516 Perl_sv_grow(pTHX_ register SV *const sv, register STRLEN newlen)
1517 {
1518     register char *s;
1519
1520     PERL_ARGS_ASSERT_SV_GROW;
1521
1522     if (PL_madskills && newlen >= 0x100000) {
1523         PerlIO_printf(Perl_debug_log,
1524                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1525     }
1526 #ifdef HAS_64K_LIMIT
1527     if (newlen >= 0x10000) {
1528         PerlIO_printf(Perl_debug_log,
1529                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1530         my_exit(1);
1531     }
1532 #endif /* HAS_64K_LIMIT */
1533     if (SvROK(sv))
1534         sv_unref(sv);
1535     if (SvTYPE(sv) < SVt_PV) {
1536         sv_upgrade(sv, SVt_PV);
1537         s = SvPVX_mutable(sv);
1538     }
1539     else if (SvOOK(sv)) {       /* pv is offset? */
1540         sv_backoff(sv);
1541         s = SvPVX_mutable(sv);
1542         if (newlen > SvLEN(sv))
1543             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1544 #ifdef HAS_64K_LIMIT
1545         if (newlen >= 0x10000)
1546             newlen = 0xFFFF;
1547 #endif
1548     }
1549     else
1550         s = SvPVX_mutable(sv);
1551
1552     if (newlen > SvLEN(sv)) {           /* need more room? */
1553 #ifndef Perl_safesysmalloc_size
1554         newlen = PERL_STRLEN_ROUNDUP(newlen);
1555 #endif
1556         if (SvLEN(sv) && s) {
1557             s = (char*)saferealloc(s, newlen);
1558         }
1559         else {
1560             s = (char*)safemalloc(newlen);
1561             if (SvPVX_const(sv) && SvCUR(sv)) {
1562                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1563             }
1564         }
1565         SvPV_set(sv, s);
1566 #ifdef Perl_safesysmalloc_size
1567         /* Do this here, do it once, do it right, and then we will never get
1568            called back into sv_grow() unless there really is some growing
1569            needed.  */
1570         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1571 #else
1572         SvLEN_set(sv, newlen);
1573 #endif
1574     }
1575     return s;
1576 }
1577
1578 /*
1579 =for apidoc sv_setiv
1580
1581 Copies an integer into the given SV, upgrading first if necessary.
1582 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1583
1584 =cut
1585 */
1586
1587 void
1588 Perl_sv_setiv(pTHX_ register SV *const sv, const IV i)
1589 {
1590     dVAR;
1591
1592     PERL_ARGS_ASSERT_SV_SETIV;
1593
1594     SV_CHECK_THINKFIRST_COW_DROP(sv);
1595     switch (SvTYPE(sv)) {
1596     case SVt_NULL:
1597     case SVt_NV:
1598         sv_upgrade(sv, SVt_IV);
1599         break;
1600     case SVt_PV:
1601         sv_upgrade(sv, SVt_PVIV);
1602         break;
1603
1604     case SVt_PVGV:
1605         if (!isGV_with_GP(sv))
1606             break;
1607     case SVt_PVAV:
1608     case SVt_PVHV:
1609     case SVt_PVCV:
1610     case SVt_PVFM:
1611     case SVt_PVIO:
1612         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1613                    OP_DESC(PL_op));
1614     default: NOOP;
1615     }
1616     (void)SvIOK_only(sv);                       /* validate number */
1617     SvIV_set(sv, i);
1618     SvTAINT(sv);
1619 }
1620
1621 /*
1622 =for apidoc sv_setiv_mg
1623
1624 Like C<sv_setiv>, but also handles 'set' magic.
1625
1626 =cut
1627 */
1628
1629 void
1630 Perl_sv_setiv_mg(pTHX_ register SV *const sv, const IV i)
1631 {
1632     PERL_ARGS_ASSERT_SV_SETIV_MG;
1633
1634     sv_setiv(sv,i);
1635     SvSETMAGIC(sv);
1636 }
1637
1638 /*
1639 =for apidoc sv_setuv
1640
1641 Copies an unsigned integer into the given SV, upgrading first if necessary.
1642 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1643
1644 =cut
1645 */
1646
1647 void
1648 Perl_sv_setuv(pTHX_ register SV *const sv, const UV u)
1649 {
1650     PERL_ARGS_ASSERT_SV_SETUV;
1651
1652     /* With these two if statements:
1653        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1654
1655        without
1656        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1657
1658        If you wish to remove them, please benchmark to see what the effect is
1659     */
1660     if (u <= (UV)IV_MAX) {
1661        sv_setiv(sv, (IV)u);
1662        return;
1663     }
1664     sv_setiv(sv, 0);
1665     SvIsUV_on(sv);
1666     SvUV_set(sv, u);
1667 }
1668
1669 /*
1670 =for apidoc sv_setuv_mg
1671
1672 Like C<sv_setuv>, but also handles 'set' magic.
1673
1674 =cut
1675 */
1676
1677 void
1678 Perl_sv_setuv_mg(pTHX_ register SV *const sv, const UV u)
1679 {
1680     PERL_ARGS_ASSERT_SV_SETUV_MG;
1681
1682     sv_setuv(sv,u);
1683     SvSETMAGIC(sv);
1684 }
1685
1686 /*
1687 =for apidoc sv_setnv
1688
1689 Copies a double into the given SV, upgrading first if necessary.
1690 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1691
1692 =cut
1693 */
1694
1695 void
1696 Perl_sv_setnv(pTHX_ register SV *const sv, const NV num)
1697 {
1698     dVAR;
1699
1700     PERL_ARGS_ASSERT_SV_SETNV;
1701
1702     SV_CHECK_THINKFIRST_COW_DROP(sv);
1703     switch (SvTYPE(sv)) {
1704     case SVt_NULL:
1705     case SVt_IV:
1706         sv_upgrade(sv, SVt_NV);
1707         break;
1708     case SVt_PV:
1709     case SVt_PVIV:
1710         sv_upgrade(sv, SVt_PVNV);
1711         break;
1712
1713     case SVt_PVGV:
1714         if (!isGV_with_GP(sv))
1715             break;
1716     case SVt_PVAV:
1717     case SVt_PVHV:
1718     case SVt_PVCV:
1719     case SVt_PVFM:
1720     case SVt_PVIO:
1721         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1722                    OP_NAME(PL_op));
1723     default: NOOP;
1724     }
1725     SvNV_set(sv, num);
1726     (void)SvNOK_only(sv);                       /* validate number */
1727     SvTAINT(sv);
1728 }
1729
1730 /*
1731 =for apidoc sv_setnv_mg
1732
1733 Like C<sv_setnv>, but also handles 'set' magic.
1734
1735 =cut
1736 */
1737
1738 void
1739 Perl_sv_setnv_mg(pTHX_ register SV *const sv, const NV num)
1740 {
1741     PERL_ARGS_ASSERT_SV_SETNV_MG;
1742
1743     sv_setnv(sv,num);
1744     SvSETMAGIC(sv);
1745 }
1746
1747 /* Print an "isn't numeric" warning, using a cleaned-up,
1748  * printable version of the offending string
1749  */
1750
1751 STATIC void
1752 S_not_a_number(pTHX_ SV *const sv)
1753 {
1754      dVAR;
1755      SV *dsv;
1756      char tmpbuf[64];
1757      const char *pv;
1758
1759      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1760
1761      if (DO_UTF8(sv)) {
1762           dsv = newSVpvs_flags("", SVs_TEMP);
1763           pv = sv_uni_display(dsv, sv, 10, 0);
1764      } else {
1765           char *d = tmpbuf;
1766           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1767           /* each *s can expand to 4 chars + "...\0",
1768              i.e. need room for 8 chars */
1769         
1770           const char *s = SvPVX_const(sv);
1771           const char * const end = s + SvCUR(sv);
1772           for ( ; s < end && d < limit; s++ ) {
1773                int ch = *s & 0xFF;
1774                if (ch & 128 && !isPRINT_LC(ch)) {
1775                     *d++ = 'M';
1776                     *d++ = '-';
1777                     ch &= 127;
1778                }
1779                if (ch == '\n') {
1780                     *d++ = '\\';
1781                     *d++ = 'n';
1782                }
1783                else if (ch == '\r') {
1784                     *d++ = '\\';
1785                     *d++ = 'r';
1786                }
1787                else if (ch == '\f') {
1788                     *d++ = '\\';
1789                     *d++ = 'f';
1790                }
1791                else if (ch == '\\') {
1792                     *d++ = '\\';
1793                     *d++ = '\\';
1794                }
1795                else if (ch == '\0') {
1796                     *d++ = '\\';
1797                     *d++ = '0';
1798                }
1799                else if (isPRINT_LC(ch))
1800                     *d++ = ch;
1801                else {
1802                     *d++ = '^';
1803                     *d++ = toCTRL(ch);
1804                }
1805           }
1806           if (s < end) {
1807                *d++ = '.';
1808                *d++ = '.';
1809                *d++ = '.';
1810           }
1811           *d = '\0';
1812           pv = tmpbuf;
1813     }
1814
1815     if (PL_op)
1816         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1817                     "Argument \"%s\" isn't numeric in %s", pv,
1818                     OP_DESC(PL_op));
1819     else
1820         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1821                     "Argument \"%s\" isn't numeric", pv);
1822 }
1823
1824 /*
1825 =for apidoc looks_like_number
1826
1827 Test if the content of an SV looks like a number (or is a number).
1828 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1829 non-numeric warning), even if your atof() doesn't grok them.
1830
1831 =cut
1832 */
1833
1834 I32
1835 Perl_looks_like_number(pTHX_ SV *const sv)
1836 {
1837     register const char *sbegin;
1838     STRLEN len;
1839
1840     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1841
1842     if (SvPOK(sv)) {
1843         sbegin = SvPVX_const(sv);
1844         len = SvCUR(sv);
1845     }
1846     else if (SvPOKp(sv))
1847         sbegin = SvPV_const(sv, len);
1848     else
1849         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1850     return grok_number(sbegin, len, NULL);
1851 }
1852
1853 STATIC bool
1854 S_glob_2number(pTHX_ GV * const gv)
1855 {
1856     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1857     SV *const buffer = sv_newmortal();
1858
1859     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1860
1861     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1862        is on.  */
1863     SvFAKE_off(gv);
1864     gv_efullname3(buffer, gv, "*");
1865     SvFLAGS(gv) |= wasfake;
1866
1867     /* We know that all GVs stringify to something that is not-a-number,
1868         so no need to test that.  */
1869     if (ckWARN(WARN_NUMERIC))
1870         not_a_number(buffer);
1871     /* We just want something true to return, so that S_sv_2iuv_common
1872         can tail call us and return true.  */
1873     return TRUE;
1874 }
1875
1876 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1877    until proven guilty, assume that things are not that bad... */
1878
1879 /*
1880    NV_PRESERVES_UV:
1881
1882    As 64 bit platforms often have an NV that doesn't preserve all bits of
1883    an IV (an assumption perl has been based on to date) it becomes necessary
1884    to remove the assumption that the NV always carries enough precision to
1885    recreate the IV whenever needed, and that the NV is the canonical form.
1886    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1887    precision as a side effect of conversion (which would lead to insanity
1888    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1889    1) to distinguish between IV/UV/NV slots that have cached a valid
1890       conversion where precision was lost and IV/UV/NV slots that have a
1891       valid conversion which has lost no precision
1892    2) to ensure that if a numeric conversion to one form is requested that
1893       would lose precision, the precise conversion (or differently
1894       imprecise conversion) is also performed and cached, to prevent
1895       requests for different numeric formats on the same SV causing
1896       lossy conversion chains. (lossless conversion chains are perfectly
1897       acceptable (still))
1898
1899
1900    flags are used:
1901    SvIOKp is true if the IV slot contains a valid value
1902    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1903    SvNOKp is true if the NV slot contains a valid value
1904    SvNOK  is true only if the NV value is accurate
1905
1906    so
1907    while converting from PV to NV, check to see if converting that NV to an
1908    IV(or UV) would lose accuracy over a direct conversion from PV to
1909    IV(or UV). If it would, cache both conversions, return NV, but mark
1910    SV as IOK NOKp (ie not NOK).
1911
1912    While converting from PV to IV, check to see if converting that IV to an
1913    NV would lose accuracy over a direct conversion from PV to NV. If it
1914    would, cache both conversions, flag similarly.
1915
1916    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1917    correctly because if IV & NV were set NV *always* overruled.
1918    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1919    changes - now IV and NV together means that the two are interchangeable:
1920    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1921
1922    The benefit of this is that operations such as pp_add know that if
1923    SvIOK is true for both left and right operands, then integer addition
1924    can be used instead of floating point (for cases where the result won't
1925    overflow). Before, floating point was always used, which could lead to
1926    loss of precision compared with integer addition.
1927
1928    * making IV and NV equal status should make maths accurate on 64 bit
1929      platforms
1930    * may speed up maths somewhat if pp_add and friends start to use
1931      integers when possible instead of fp. (Hopefully the overhead in
1932      looking for SvIOK and checking for overflow will not outweigh the
1933      fp to integer speedup)
1934    * will slow down integer operations (callers of SvIV) on "inaccurate"
1935      values, as the change from SvIOK to SvIOKp will cause a call into
1936      sv_2iv each time rather than a macro access direct to the IV slot
1937    * should speed up number->string conversion on integers as IV is
1938      favoured when IV and NV are equally accurate
1939
1940    ####################################################################
1941    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1942    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1943    On the other hand, SvUOK is true iff UV.
1944    ####################################################################
1945
1946    Your mileage will vary depending your CPU's relative fp to integer
1947    performance ratio.
1948 */
1949
1950 #ifndef NV_PRESERVES_UV
1951 #  define IS_NUMBER_UNDERFLOW_IV 1
1952 #  define IS_NUMBER_UNDERFLOW_UV 2
1953 #  define IS_NUMBER_IV_AND_UV    2
1954 #  define IS_NUMBER_OVERFLOW_IV  4
1955 #  define IS_NUMBER_OVERFLOW_UV  5
1956
1957 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1958
1959 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1960 STATIC int
1961 S_sv_2iuv_non_preserve(pTHX_ register SV *const sv
1962 #  ifdef DEBUGGING
1963                        , I32 numtype
1964 #  endif
1965                        )
1966 {
1967     dVAR;
1968
1969     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1970
1971     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1972     if (SvNVX(sv) < (NV)IV_MIN) {
1973         (void)SvIOKp_on(sv);
1974         (void)SvNOK_on(sv);
1975         SvIV_set(sv, IV_MIN);
1976         return IS_NUMBER_UNDERFLOW_IV;
1977     }
1978     if (SvNVX(sv) > (NV)UV_MAX) {
1979         (void)SvIOKp_on(sv);
1980         (void)SvNOK_on(sv);
1981         SvIsUV_on(sv);
1982         SvUV_set(sv, UV_MAX);
1983         return IS_NUMBER_OVERFLOW_UV;
1984     }
1985     (void)SvIOKp_on(sv);
1986     (void)SvNOK_on(sv);
1987     /* Can't use strtol etc to convert this string.  (See truth table in
1988        sv_2iv  */
1989     if (SvNVX(sv) <= (UV)IV_MAX) {
1990         SvIV_set(sv, I_V(SvNVX(sv)));
1991         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1992             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1993         } else {
1994             /* Integer is imprecise. NOK, IOKp */
1995         }
1996         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1997     }
1998     SvIsUV_on(sv);
1999     SvUV_set(sv, U_V(SvNVX(sv)));
2000     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2001         if (SvUVX(sv) == UV_MAX) {
2002             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2003                possibly be preserved by NV. Hence, it must be overflow.
2004                NOK, IOKp */
2005             return IS_NUMBER_OVERFLOW_UV;
2006         }
2007         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2008     } else {
2009         /* Integer is imprecise. NOK, IOKp */
2010     }
2011     return IS_NUMBER_OVERFLOW_IV;
2012 }
2013 #endif /* !NV_PRESERVES_UV*/
2014
2015 STATIC bool
2016 S_sv_2iuv_common(pTHX_ SV *const sv)
2017 {
2018     dVAR;
2019
2020     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2021
2022     if (SvNOKp(sv)) {
2023         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2024          * without also getting a cached IV/UV from it at the same time
2025          * (ie PV->NV conversion should detect loss of accuracy and cache
2026          * IV or UV at same time to avoid this. */
2027         /* IV-over-UV optimisation - choose to cache IV if possible */
2028
2029         if (SvTYPE(sv) == SVt_NV)
2030             sv_upgrade(sv, SVt_PVNV);
2031
2032         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2033         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2034            certainly cast into the IV range at IV_MAX, whereas the correct
2035            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2036            cases go to UV */
2037 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2038         if (Perl_isnan(SvNVX(sv))) {
2039             SvUV_set(sv, 0);
2040             SvIsUV_on(sv);
2041             return FALSE;
2042         }
2043 #endif
2044         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2045             SvIV_set(sv, I_V(SvNVX(sv)));
2046             if (SvNVX(sv) == (NV) SvIVX(sv)
2047 #ifndef NV_PRESERVES_UV
2048                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2049                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2050                 /* Don't flag it as "accurately an integer" if the number
2051                    came from a (by definition imprecise) NV operation, and
2052                    we're outside the range of NV integer precision */
2053 #endif
2054                 ) {
2055                 if (SvNOK(sv))
2056                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2057                 else {
2058                     /* scalar has trailing garbage, eg "42a" */
2059                 }
2060                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2061                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2062                                       PTR2UV(sv),
2063                                       SvNVX(sv),
2064                                       SvIVX(sv)));
2065
2066             } else {
2067                 /* IV not precise.  No need to convert from PV, as NV
2068                    conversion would already have cached IV if it detected
2069                    that PV->IV would be better than PV->NV->IV
2070                    flags already correct - don't set public IOK.  */
2071                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2072                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2073                                       PTR2UV(sv),
2074                                       SvNVX(sv),
2075                                       SvIVX(sv)));
2076             }
2077             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2078                but the cast (NV)IV_MIN rounds to a the value less (more
2079                negative) than IV_MIN which happens to be equal to SvNVX ??
2080                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2081                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2082                (NV)UVX == NVX are both true, but the values differ. :-(
2083                Hopefully for 2s complement IV_MIN is something like
2084                0x8000000000000000 which will be exact. NWC */
2085         }
2086         else {
2087             SvUV_set(sv, U_V(SvNVX(sv)));
2088             if (
2089                 (SvNVX(sv) == (NV) SvUVX(sv))
2090 #ifndef  NV_PRESERVES_UV
2091                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2092                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2093                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2094                 /* Don't flag it as "accurately an integer" if the number
2095                    came from a (by definition imprecise) NV operation, and
2096                    we're outside the range of NV integer precision */
2097 #endif
2098                 && SvNOK(sv)
2099                 )
2100                 SvIOK_on(sv);
2101             SvIsUV_on(sv);
2102             DEBUG_c(PerlIO_printf(Perl_debug_log,
2103                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2104                                   PTR2UV(sv),
2105                                   SvUVX(sv),
2106                                   SvUVX(sv)));
2107         }
2108     }
2109     else if (SvPOKp(sv) && SvLEN(sv)) {
2110         UV value;
2111         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2112         /* We want to avoid a possible problem when we cache an IV/ a UV which
2113            may be later translated to an NV, and the resulting NV is not
2114            the same as the direct translation of the initial string
2115            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2116            be careful to ensure that the value with the .456 is around if the
2117            NV value is requested in the future).
2118         
2119            This means that if we cache such an IV/a UV, we need to cache the
2120            NV as well.  Moreover, we trade speed for space, and do not
2121            cache the NV if we are sure it's not needed.
2122          */
2123
2124         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2125         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2126              == IS_NUMBER_IN_UV) {
2127             /* It's definitely an integer, only upgrade to PVIV */
2128             if (SvTYPE(sv) < SVt_PVIV)
2129                 sv_upgrade(sv, SVt_PVIV);
2130             (void)SvIOK_on(sv);
2131         } else if (SvTYPE(sv) < SVt_PVNV)
2132             sv_upgrade(sv, SVt_PVNV);
2133
2134         /* If NVs preserve UVs then we only use the UV value if we know that
2135            we aren't going to call atof() below. If NVs don't preserve UVs
2136            then the value returned may have more precision than atof() will
2137            return, even though value isn't perfectly accurate.  */
2138         if ((numtype & (IS_NUMBER_IN_UV
2139 #ifdef NV_PRESERVES_UV
2140                         | IS_NUMBER_NOT_INT
2141 #endif
2142             )) == IS_NUMBER_IN_UV) {
2143             /* This won't turn off the public IOK flag if it was set above  */
2144             (void)SvIOKp_on(sv);
2145
2146             if (!(numtype & IS_NUMBER_NEG)) {
2147                 /* positive */;
2148                 if (value <= (UV)IV_MAX) {
2149                     SvIV_set(sv, (IV)value);
2150                 } else {
2151                     /* it didn't overflow, and it was positive. */
2152                     SvUV_set(sv, value);
2153                     SvIsUV_on(sv);
2154                 }
2155             } else {
2156                 /* 2s complement assumption  */
2157                 if (value <= (UV)IV_MIN) {
2158                     SvIV_set(sv, -(IV)value);
2159                 } else {
2160                     /* Too negative for an IV.  This is a double upgrade, but
2161                        I'm assuming it will be rare.  */
2162                     if (SvTYPE(sv) < SVt_PVNV)
2163                         sv_upgrade(sv, SVt_PVNV);
2164                     SvNOK_on(sv);
2165                     SvIOK_off(sv);
2166                     SvIOKp_on(sv);
2167                     SvNV_set(sv, -(NV)value);
2168                     SvIV_set(sv, IV_MIN);
2169                 }
2170             }
2171         }
2172         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2173            will be in the previous block to set the IV slot, and the next
2174            block to set the NV slot.  So no else here.  */
2175         
2176         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2177             != IS_NUMBER_IN_UV) {
2178             /* It wasn't an (integer that doesn't overflow the UV). */
2179             SvNV_set(sv, Atof(SvPVX_const(sv)));
2180
2181             if (! numtype && ckWARN(WARN_NUMERIC))
2182                 not_a_number(sv);
2183
2184 #if defined(USE_LONG_DOUBLE)
2185             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2186                                   PTR2UV(sv), SvNVX(sv)));
2187 #else
2188             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2189                                   PTR2UV(sv), SvNVX(sv)));
2190 #endif
2191
2192 #ifdef NV_PRESERVES_UV
2193             (void)SvIOKp_on(sv);
2194             (void)SvNOK_on(sv);
2195             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2196                 SvIV_set(sv, I_V(SvNVX(sv)));
2197                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2198                     SvIOK_on(sv);
2199                 } else {
2200                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2201                 }
2202                 /* UV will not work better than IV */
2203             } else {
2204                 if (SvNVX(sv) > (NV)UV_MAX) {
2205                     SvIsUV_on(sv);
2206                     /* Integer is inaccurate. NOK, IOKp, is UV */
2207                     SvUV_set(sv, UV_MAX);
2208                 } else {
2209                     SvUV_set(sv, U_V(SvNVX(sv)));
2210                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2211                        NV preservse UV so can do correct comparison.  */
2212                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2213                         SvIOK_on(sv);
2214                     } else {
2215                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2216                     }
2217                 }
2218                 SvIsUV_on(sv);
2219             }
2220 #else /* NV_PRESERVES_UV */
2221             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2222                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2223                 /* The IV/UV slot will have been set from value returned by
2224                    grok_number above.  The NV slot has just been set using
2225                    Atof.  */
2226                 SvNOK_on(sv);
2227                 assert (SvIOKp(sv));
2228             } else {
2229                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2230                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2231                     /* Small enough to preserve all bits. */
2232                     (void)SvIOKp_on(sv);
2233                     SvNOK_on(sv);
2234                     SvIV_set(sv, I_V(SvNVX(sv)));
2235                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2236                         SvIOK_on(sv);
2237                     /* Assumption: first non-preserved integer is < IV_MAX,
2238                        this NV is in the preserved range, therefore: */
2239                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2240                           < (UV)IV_MAX)) {
2241                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2242                     }
2243                 } else {
2244                     /* IN_UV NOT_INT
2245                          0      0       already failed to read UV.
2246                          0      1       already failed to read UV.
2247                          1      0       you won't get here in this case. IV/UV
2248                                         slot set, public IOK, Atof() unneeded.
2249                          1      1       already read UV.
2250                        so there's no point in sv_2iuv_non_preserve() attempting
2251                        to use atol, strtol, strtoul etc.  */
2252 #  ifdef DEBUGGING
2253                     sv_2iuv_non_preserve (sv, numtype);
2254 #  else
2255                     sv_2iuv_non_preserve (sv);
2256 #  endif
2257                 }
2258             }
2259 #endif /* NV_PRESERVES_UV */
2260         /* It might be more code efficient to go through the entire logic above
2261            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2262            gets complex and potentially buggy, so more programmer efficient
2263            to do it this way, by turning off the public flags:  */
2264         if (!numtype)
2265             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2266         }
2267     }
2268     else  {
2269         if (isGV_with_GP(sv))
2270             return glob_2number(MUTABLE_GV(sv));
2271
2272         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2273             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2274                 report_uninit(sv);
2275         }
2276         if (SvTYPE(sv) < SVt_IV)
2277             /* Typically the caller expects that sv_any is not NULL now.  */
2278             sv_upgrade(sv, SVt_IV);
2279         /* Return 0 from the caller.  */
2280         return TRUE;
2281     }
2282     return FALSE;
2283 }
2284
2285 /*
2286 =for apidoc sv_2iv_flags
2287
2288 Return the integer value of an SV, doing any necessary string
2289 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2290 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2291
2292 =cut
2293 */
2294
2295 IV
2296 Perl_sv_2iv_flags(pTHX_ register SV *const sv, const I32 flags)
2297 {
2298     dVAR;
2299     if (!sv)
2300         return 0;
2301     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2302         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2303            cache IVs just in case. In practice it seems that they never
2304            actually anywhere accessible by user Perl code, let alone get used
2305            in anything other than a string context.  */
2306         if (flags & SV_GMAGIC)
2307             mg_get(sv);
2308         if (SvIOKp(sv))
2309             return SvIVX(sv);
2310         if (SvNOKp(sv)) {
2311             return I_V(SvNVX(sv));
2312         }
2313         if (SvPOKp(sv) && SvLEN(sv)) {
2314             UV value;
2315             const int numtype
2316                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2317
2318             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2319                 == IS_NUMBER_IN_UV) {
2320                 /* It's definitely an integer */
2321                 if (numtype & IS_NUMBER_NEG) {
2322                     if (value < (UV)IV_MIN)
2323                         return -(IV)value;
2324                 } else {
2325                     if (value < (UV)IV_MAX)
2326                         return (IV)value;
2327                 }
2328             }
2329             if (!numtype) {
2330                 if (ckWARN(WARN_NUMERIC))
2331                     not_a_number(sv);
2332             }
2333             return I_V(Atof(SvPVX_const(sv)));
2334         }
2335         if (SvROK(sv)) {
2336             goto return_rok;
2337         }
2338         assert(SvTYPE(sv) >= SVt_PVMG);
2339         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2340     } else if (SvTHINKFIRST(sv)) {
2341         if (SvROK(sv)) {
2342         return_rok:
2343             if (SvAMAGIC(sv)) {
2344                 SV * const tmpstr=AMG_CALLun(sv,numer);
2345                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2346                     return SvIV(tmpstr);
2347                 }
2348             }
2349             return PTR2IV(SvRV(sv));
2350         }
2351         if (SvIsCOW(sv)) {
2352             sv_force_normal_flags(sv, 0);
2353         }
2354         if (SvREADONLY(sv) && !SvOK(sv)) {
2355             if (ckWARN(WARN_UNINITIALIZED))
2356                 report_uninit(sv);
2357             return 0;
2358         }
2359     }
2360     if (!SvIOKp(sv)) {
2361         if (S_sv_2iuv_common(aTHX_ sv))
2362             return 0;
2363     }
2364     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2365         PTR2UV(sv),SvIVX(sv)));
2366     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2367 }
2368
2369 /*
2370 =for apidoc sv_2uv_flags
2371
2372 Return the unsigned integer value of an SV, doing any necessary string
2373 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2374 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2375
2376 =cut
2377 */
2378
2379 UV
2380 Perl_sv_2uv_flags(pTHX_ register SV *const sv, const I32 flags)
2381 {
2382     dVAR;
2383     if (!sv)
2384         return 0;
2385     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2386         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2387            cache IVs just in case.  */
2388         if (flags & SV_GMAGIC)
2389             mg_get(sv);
2390         if (SvIOKp(sv))
2391             return SvUVX(sv);
2392         if (SvNOKp(sv))
2393             return U_V(SvNVX(sv));
2394         if (SvPOKp(sv) && SvLEN(sv)) {
2395             UV value;
2396             const int numtype
2397                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2398
2399             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2400                 == IS_NUMBER_IN_UV) {
2401                 /* It's definitely an integer */
2402                 if (!(numtype & IS_NUMBER_NEG))
2403                     return value;
2404             }
2405             if (!numtype) {
2406                 if (ckWARN(WARN_NUMERIC))
2407                     not_a_number(sv);
2408             }
2409             return U_V(Atof(SvPVX_const(sv)));
2410         }
2411         if (SvROK(sv)) {
2412             goto return_rok;
2413         }
2414         assert(SvTYPE(sv) >= SVt_PVMG);
2415         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2416     } else if (SvTHINKFIRST(sv)) {
2417         if (SvROK(sv)) {
2418         return_rok:
2419             if (SvAMAGIC(sv)) {
2420                 SV *const tmpstr = AMG_CALLun(sv,numer);
2421                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2422                     return SvUV(tmpstr);
2423                 }
2424             }
2425             return PTR2UV(SvRV(sv));
2426         }
2427         if (SvIsCOW(sv)) {
2428             sv_force_normal_flags(sv, 0);
2429         }
2430         if (SvREADONLY(sv) && !SvOK(sv)) {
2431             if (ckWARN(WARN_UNINITIALIZED))
2432                 report_uninit(sv);
2433             return 0;
2434         }
2435     }
2436     if (!SvIOKp(sv)) {
2437         if (S_sv_2iuv_common(aTHX_ sv))
2438             return 0;
2439     }
2440
2441     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2442                           PTR2UV(sv),SvUVX(sv)));
2443     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2444 }
2445
2446 /*
2447 =for apidoc sv_2nv
2448
2449 Return the num value of an SV, doing any necessary string or integer
2450 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2451 macros.
2452
2453 =cut
2454 */
2455
2456 NV
2457 Perl_sv_2nv(pTHX_ register SV *const sv)
2458 {
2459     dVAR;
2460     if (!sv)
2461         return 0.0;
2462     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2463         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2464            cache IVs just in case.  */
2465         mg_get(sv);
2466         if (SvNOKp(sv))
2467             return SvNVX(sv);
2468         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2469             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2470                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2471                 not_a_number(sv);
2472             return Atof(SvPVX_const(sv));
2473         }
2474         if (SvIOKp(sv)) {
2475             if (SvIsUV(sv))
2476                 return (NV)SvUVX(sv);
2477             else
2478                 return (NV)SvIVX(sv);
2479         }
2480         if (SvROK(sv)) {
2481             goto return_rok;
2482         }
2483         assert(SvTYPE(sv) >= SVt_PVMG);
2484         /* This falls through to the report_uninit near the end of the
2485            function. */
2486     } else if (SvTHINKFIRST(sv)) {
2487         if (SvROK(sv)) {
2488         return_rok:
2489             if (SvAMAGIC(sv)) {
2490                 SV *const tmpstr = AMG_CALLun(sv,numer);
2491                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2492                     return SvNV(tmpstr);
2493                 }
2494             }
2495             return PTR2NV(SvRV(sv));
2496         }
2497         if (SvIsCOW(sv)) {
2498             sv_force_normal_flags(sv, 0);
2499         }
2500         if (SvREADONLY(sv) && !SvOK(sv)) {
2501             if (ckWARN(WARN_UNINITIALIZED))
2502                 report_uninit(sv);
2503             return 0.0;
2504         }
2505     }
2506     if (SvTYPE(sv) < SVt_NV) {
2507         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2508         sv_upgrade(sv, SVt_NV);
2509 #ifdef USE_LONG_DOUBLE
2510         DEBUG_c({
2511             STORE_NUMERIC_LOCAL_SET_STANDARD();
2512             PerlIO_printf(Perl_debug_log,
2513                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2514                           PTR2UV(sv), SvNVX(sv));
2515             RESTORE_NUMERIC_LOCAL();
2516         });
2517 #else
2518         DEBUG_c({
2519             STORE_NUMERIC_LOCAL_SET_STANDARD();
2520             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2521                           PTR2UV(sv), SvNVX(sv));
2522             RESTORE_NUMERIC_LOCAL();
2523         });
2524 #endif
2525     }
2526     else if (SvTYPE(sv) < SVt_PVNV)
2527         sv_upgrade(sv, SVt_PVNV);
2528     if (SvNOKp(sv)) {
2529         return SvNVX(sv);
2530     }
2531     if (SvIOKp(sv)) {
2532         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2533 #ifdef NV_PRESERVES_UV
2534         if (SvIOK(sv))
2535             SvNOK_on(sv);
2536         else
2537             SvNOKp_on(sv);
2538 #else
2539         /* Only set the public NV OK flag if this NV preserves the IV  */
2540         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2541         if (SvIOK(sv) &&
2542             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2543                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2544             SvNOK_on(sv);
2545         else
2546             SvNOKp_on(sv);
2547 #endif
2548     }
2549     else if (SvPOKp(sv) && SvLEN(sv)) {
2550         UV value;
2551         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2552         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2553             not_a_number(sv);
2554 #ifdef NV_PRESERVES_UV
2555         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2556             == IS_NUMBER_IN_UV) {
2557             /* It's definitely an integer */
2558             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2559         } else
2560             SvNV_set(sv, Atof(SvPVX_const(sv)));
2561         if (numtype)
2562             SvNOK_on(sv);
2563         else
2564             SvNOKp_on(sv);
2565 #else
2566         SvNV_set(sv, Atof(SvPVX_const(sv)));
2567         /* Only set the public NV OK flag if this NV preserves the value in
2568            the PV at least as well as an IV/UV would.
2569            Not sure how to do this 100% reliably. */
2570         /* if that shift count is out of range then Configure's test is
2571            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2572            UV_BITS */
2573         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2574             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2575             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2576         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2577             /* Can't use strtol etc to convert this string, so don't try.
2578                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2579             SvNOK_on(sv);
2580         } else {
2581             /* value has been set.  It may not be precise.  */
2582             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2583                 /* 2s complement assumption for (UV)IV_MIN  */
2584                 SvNOK_on(sv); /* Integer is too negative.  */
2585             } else {
2586                 SvNOKp_on(sv);
2587                 SvIOKp_on(sv);
2588
2589                 if (numtype & IS_NUMBER_NEG) {
2590                     SvIV_set(sv, -(IV)value);
2591                 } else if (value <= (UV)IV_MAX) {
2592                     SvIV_set(sv, (IV)value);
2593                 } else {
2594                     SvUV_set(sv, value);
2595                     SvIsUV_on(sv);
2596                 }
2597
2598                 if (numtype & IS_NUMBER_NOT_INT) {
2599                     /* I believe that even if the original PV had decimals,
2600                        they are lost beyond the limit of the FP precision.
2601                        However, neither is canonical, so both only get p
2602                        flags.  NWC, 2000/11/25 */
2603                     /* Both already have p flags, so do nothing */
2604                 } else {
2605                     const NV nv = SvNVX(sv);
2606                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2607                         if (SvIVX(sv) == I_V(nv)) {
2608                             SvNOK_on(sv);
2609                         } else {
2610                             /* It had no "." so it must be integer.  */
2611                         }
2612                         SvIOK_on(sv);
2613                     } else {
2614                         /* between IV_MAX and NV(UV_MAX).
2615                            Could be slightly > UV_MAX */
2616
2617                         if (numtype & IS_NUMBER_NOT_INT) {
2618                             /* UV and NV both imprecise.  */
2619                         } else {
2620                             const UV nv_as_uv = U_V(nv);
2621
2622                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2623                                 SvNOK_on(sv);
2624                             }
2625                             SvIOK_on(sv);
2626                         }
2627                     }
2628                 }
2629             }
2630         }
2631         /* It might be more code efficient to go through the entire logic above
2632            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2633            gets complex and potentially buggy, so more programmer efficient
2634            to do it this way, by turning off the public flags:  */
2635         if (!numtype)
2636             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2637 #endif /* NV_PRESERVES_UV */
2638     }
2639     else  {
2640         if (isGV_with_GP(sv)) {
2641             glob_2number(MUTABLE_GV(sv));
2642             return 0.0;
2643         }
2644
2645         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2646             report_uninit(sv);
2647         assert (SvTYPE(sv) >= SVt_NV);
2648         /* Typically the caller expects that sv_any is not NULL now.  */
2649         /* XXX Ilya implies that this is a bug in callers that assume this
2650            and ideally should be fixed.  */
2651         return 0.0;
2652     }
2653 #if defined(USE_LONG_DOUBLE)
2654     DEBUG_c({
2655         STORE_NUMERIC_LOCAL_SET_STANDARD();
2656         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2657                       PTR2UV(sv), SvNVX(sv));
2658         RESTORE_NUMERIC_LOCAL();
2659     });
2660 #else
2661     DEBUG_c({
2662         STORE_NUMERIC_LOCAL_SET_STANDARD();
2663         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2664                       PTR2UV(sv), SvNVX(sv));
2665         RESTORE_NUMERIC_LOCAL();
2666     });
2667 #endif
2668     return SvNVX(sv);
2669 }
2670
2671 /*
2672 =for apidoc sv_2num
2673
2674 Return an SV with the numeric value of the source SV, doing any necessary
2675 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2676 access this function.
2677
2678 =cut
2679 */
2680
2681 SV *
2682 Perl_sv_2num(pTHX_ register SV *const sv)
2683 {
2684     PERL_ARGS_ASSERT_SV_2NUM;
2685
2686     if (!SvROK(sv))
2687         return sv;
2688     if (SvAMAGIC(sv)) {
2689         SV * const tmpsv = AMG_CALLun(sv,numer);
2690         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2691             return sv_2num(tmpsv);
2692     }
2693     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2694 }
2695
2696 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2697  * UV as a string towards the end of buf, and return pointers to start and
2698  * end of it.
2699  *
2700  * We assume that buf is at least TYPE_CHARS(UV) long.
2701  */
2702
2703 static char *
2704 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2705 {
2706     char *ptr = buf + TYPE_CHARS(UV);
2707     char * const ebuf = ptr;
2708     int sign;
2709
2710     PERL_ARGS_ASSERT_UIV_2BUF;
2711
2712     if (is_uv)
2713         sign = 0;
2714     else if (iv >= 0) {
2715         uv = iv;
2716         sign = 0;
2717     } else {
2718         uv = -iv;
2719         sign = 1;
2720     }
2721     do {
2722         *--ptr = '0' + (char)(uv % 10);
2723     } while (uv /= 10);
2724     if (sign)
2725         *--ptr = '-';
2726     *peob = ebuf;
2727     return ptr;
2728 }
2729
2730 /*
2731 =for apidoc sv_2pv_flags
2732
2733 Returns a pointer to the string value of an SV, and sets *lp to its length.
2734 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2735 if necessary.
2736 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2737 usually end up here too.
2738
2739 =cut
2740 */
2741
2742 char *
2743 Perl_sv_2pv_flags(pTHX_ register SV *const sv, STRLEN *const lp, const I32 flags)
2744 {
2745     dVAR;
2746     register char *s;
2747
2748     if (!sv) {
2749         if (lp)
2750             *lp = 0;
2751         return (char *)"";
2752     }
2753     if (SvGMAGICAL(sv)) {
2754         if (flags & SV_GMAGIC)
2755             mg_get(sv);
2756         if (SvPOKp(sv)) {
2757             if (lp)
2758                 *lp = SvCUR(sv);
2759             if (flags & SV_MUTABLE_RETURN)
2760                 return SvPVX_mutable(sv);
2761             if (flags & SV_CONST_RETURN)
2762                 return (char *)SvPVX_const(sv);
2763             return SvPVX(sv);
2764         }
2765         if (SvIOKp(sv) || SvNOKp(sv)) {
2766             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2767             STRLEN len;
2768
2769             if (SvIOKp(sv)) {
2770                 len = SvIsUV(sv)
2771                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2772                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2773             } else {
2774                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2775                 len = strlen(tbuf);
2776             }
2777             assert(!SvROK(sv));
2778             {
2779                 dVAR;
2780
2781 #ifdef FIXNEGATIVEZERO
2782                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2783                     tbuf[0] = '0';
2784                     tbuf[1] = 0;
2785                     len = 1;
2786                 }
2787 #endif
2788                 SvUPGRADE(sv, SVt_PV);
2789                 if (lp)
2790                     *lp = len;
2791                 s = SvGROW_mutable(sv, len + 1);
2792                 SvCUR_set(sv, len);
2793                 SvPOKp_on(sv);
2794                 return (char*)memcpy(s, tbuf, len + 1);
2795             }
2796         }
2797         if (SvROK(sv)) {
2798             goto return_rok;
2799         }
2800         assert(SvTYPE(sv) >= SVt_PVMG);
2801         /* This falls through to the report_uninit near the end of the
2802            function. */
2803     } else if (SvTHINKFIRST(sv)) {
2804         if (SvROK(sv)) {
2805         return_rok:
2806             if (SvAMAGIC(sv)) {
2807                 SV *const tmpstr = AMG_CALLun(sv,string);
2808                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2809                     /* Unwrap this:  */
2810                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2811                      */
2812
2813                     char *pv;
2814                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2815                         if (flags & SV_CONST_RETURN) {
2816                             pv = (char *) SvPVX_const(tmpstr);
2817                         } else {
2818                             pv = (flags & SV_MUTABLE_RETURN)
2819                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2820                         }
2821                         if (lp)
2822                             *lp = SvCUR(tmpstr);
2823                     } else {
2824                         pv = sv_2pv_flags(tmpstr, lp, flags);
2825                     }
2826                     if (SvUTF8(tmpstr))
2827                         SvUTF8_on(sv);
2828                     else
2829                         SvUTF8_off(sv);
2830                     return pv;
2831                 }
2832             }
2833             {
2834                 STRLEN len;
2835                 char *retval;
2836                 char *buffer;
2837                 SV *const referent = SvRV(sv);
2838
2839                 if (!referent) {
2840                     len = 7;
2841                     retval = buffer = savepvn("NULLREF", len);
2842                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2843                     REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2844                     I32 seen_evals = 0;
2845
2846                     assert(re);
2847                         
2848                     /* If the regex is UTF-8 we want the containing scalar to
2849                        have an UTF-8 flag too */
2850                     if (RX_UTF8(re))
2851                         SvUTF8_on(sv);
2852                     else
2853                         SvUTF8_off(sv); 
2854
2855                     if ((seen_evals = RX_SEEN_EVALS(re)))
2856                         PL_reginterp_cnt += seen_evals;
2857
2858                     if (lp)
2859                         *lp = RX_WRAPLEN(re);
2860  
2861                     return RX_WRAPPED(re);
2862                 } else {
2863                     const char *const typestr = sv_reftype(referent, 0);
2864                     const STRLEN typelen = strlen(typestr);
2865                     UV addr = PTR2UV(referent);
2866                     const char *stashname = NULL;
2867                     STRLEN stashnamelen = 0; /* hush, gcc */
2868                     const char *buffer_end;
2869
2870                     if (SvOBJECT(referent)) {
2871                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2872
2873                         if (name) {
2874                             stashname = HEK_KEY(name);
2875                             stashnamelen = HEK_LEN(name);
2876
2877                             if (HEK_UTF8(name)) {
2878                                 SvUTF8_on(sv);
2879                             } else {
2880                                 SvUTF8_off(sv);
2881                             }
2882                         } else {
2883                             stashname = "__ANON__";
2884                             stashnamelen = 8;
2885                         }
2886                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2887                             + 2 * sizeof(UV) + 2 /* )\0 */;
2888                     } else {
2889                         len = typelen + 3 /* (0x */
2890                             + 2 * sizeof(UV) + 2 /* )\0 */;
2891                     }
2892
2893                     Newx(buffer, len, char);
2894                     buffer_end = retval = buffer + len;
2895
2896                     /* Working backwards  */
2897                     *--retval = '\0';
2898                     *--retval = ')';
2899                     do {
2900                         *--retval = PL_hexdigit[addr & 15];
2901                     } while (addr >>= 4);
2902                     *--retval = 'x';
2903                     *--retval = '0';
2904                     *--retval = '(';
2905
2906                     retval -= typelen;
2907                     memcpy(retval, typestr, typelen);
2908
2909                     if (stashname) {
2910                         *--retval = '=';
2911                         retval -= stashnamelen;
2912                         memcpy(retval, stashname, stashnamelen);
2913                     }
2914                     /* retval may not neccesarily have reached the start of the
2915                        buffer here.  */
2916                     assert (retval >= buffer);
2917
2918                     len = buffer_end - retval - 1; /* -1 for that \0  */
2919                 }
2920                 if (lp)
2921                     *lp = len;
2922                 SAVEFREEPV(buffer);
2923                 return retval;
2924             }
2925         }
2926         if (SvREADONLY(sv) && !SvOK(sv)) {
2927             if (lp)
2928                 *lp = 0;
2929             if (flags & SV_UNDEF_RETURNS_NULL)
2930                 return NULL;
2931             if (ckWARN(WARN_UNINITIALIZED))
2932                 report_uninit(sv);
2933             return (char *)"";
2934         }
2935     }
2936     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2937         /* I'm assuming that if both IV and NV are equally valid then
2938            converting the IV is going to be more efficient */
2939         const U32 isUIOK = SvIsUV(sv);
2940         char buf[TYPE_CHARS(UV)];
2941         char *ebuf, *ptr;
2942         STRLEN len;
2943
2944         if (SvTYPE(sv) < SVt_PVIV)
2945             sv_upgrade(sv, SVt_PVIV);
2946         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2947         len = ebuf - ptr;
2948         /* inlined from sv_setpvn */
2949         s = SvGROW_mutable(sv, len + 1);
2950         Move(ptr, s, len, char);
2951         s += len;
2952         *s = '\0';
2953     }
2954     else if (SvNOKp(sv)) {
2955         dSAVE_ERRNO;
2956         if (SvTYPE(sv) < SVt_PVNV)
2957             sv_upgrade(sv, SVt_PVNV);
2958         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2959         s = SvGROW_mutable(sv, NV_DIG + 20);
2960         /* some Xenix systems wipe out errno here */
2961 #ifdef apollo
2962         if (SvNVX(sv) == 0.0)
2963             my_strlcpy(s, "0", SvLEN(sv));
2964         else
2965 #endif /*apollo*/
2966         {
2967             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2968         }
2969         RESTORE_ERRNO;
2970 #ifdef FIXNEGATIVEZERO
2971         if (*s == '-' && s[1] == '0' && !s[2]) {
2972             s[0] = '0';
2973             s[1] = 0;
2974         }
2975 #endif
2976         while (*s) s++;
2977 #ifdef hcx
2978         if (s[-1] == '.')
2979             *--s = '\0';
2980 #endif
2981     }
2982     else {
2983         if (isGV_with_GP(sv)) {
2984             GV *const gv = MUTABLE_GV(sv);
2985             const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
2986             SV *const buffer = sv_newmortal();
2987
2988             /* FAKE globs can get coerced, so need to turn this off temporarily
2989                if it is on.  */
2990             SvFAKE_off(gv);
2991             gv_efullname3(buffer, gv, "*");
2992             SvFLAGS(gv) |= wasfake;
2993
2994             assert(SvPOK(buffer));
2995             if (lp) {
2996                 *lp = SvCUR(buffer);
2997             }
2998             return SvPVX(buffer);
2999         }
3000
3001         if (lp)
3002             *lp = 0;
3003         if (flags & SV_UNDEF_RETURNS_NULL)
3004             return NULL;
3005         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
3006             report_uninit(sv);
3007         if (SvTYPE(sv) < SVt_PV)
3008             /* Typically the caller expects that sv_any is not NULL now.  */
3009             sv_upgrade(sv, SVt_PV);
3010         return (char *)"";
3011     }
3012     {
3013         const STRLEN len = s - SvPVX_const(sv);
3014         if (lp) 
3015             *lp = len;
3016         SvCUR_set(sv, len);
3017     }
3018     SvPOK_on(sv);
3019     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3020                           PTR2UV(sv),SvPVX_const(sv)));
3021     if (flags & SV_CONST_RETURN)
3022         return (char *)SvPVX_const(sv);
3023     if (flags & SV_MUTABLE_RETURN)
3024         return SvPVX_mutable(sv);
3025     return SvPVX(sv);
3026 }
3027
3028 /*
3029 =for apidoc sv_copypv
3030
3031 Copies a stringified representation of the source SV into the
3032 destination SV.  Automatically performs any necessary mg_get and
3033 coercion of numeric values into strings.  Guaranteed to preserve
3034 UTF8 flag even from overloaded objects.  Similar in nature to
3035 sv_2pv[_flags] but operates directly on an SV instead of just the
3036 string.  Mostly uses sv_2pv_flags to do its work, except when that
3037 would lose the UTF-8'ness of the PV.
3038
3039 =cut
3040 */
3041
3042 void
3043 Perl_sv_copypv(pTHX_ SV *const dsv, register SV *const ssv)
3044 {
3045     STRLEN len;
3046     const char * const s = SvPV_const(ssv,len);
3047
3048     PERL_ARGS_ASSERT_SV_COPYPV;
3049
3050     sv_setpvn(dsv,s,len);
3051     if (SvUTF8(ssv))
3052         SvUTF8_on(dsv);
3053     else
3054         SvUTF8_off(dsv);
3055 }
3056
3057 /*
3058 =for apidoc sv_2pvbyte
3059
3060 Return a pointer to the byte-encoded representation of the SV, and set *lp
3061 to its length.  May cause the SV to be downgraded from UTF-8 as a
3062 side-effect.
3063
3064 Usually accessed via the C<SvPVbyte> macro.
3065
3066 =cut
3067 */
3068
3069 char *
3070 Perl_sv_2pvbyte(pTHX_ register SV *const sv, STRLEN *const lp)
3071 {
3072     PERL_ARGS_ASSERT_SV_2PVBYTE;
3073
3074     sv_utf8_downgrade(sv,0);
3075     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3076 }
3077
3078 /*
3079 =for apidoc sv_2pvutf8
3080
3081 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3082 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3083
3084 Usually accessed via the C<SvPVutf8> macro.
3085
3086 =cut
3087 */
3088
3089 char *
3090 Perl_sv_2pvutf8(pTHX_ register SV *const sv, STRLEN *const lp)
3091 {
3092     PERL_ARGS_ASSERT_SV_2PVUTF8;
3093
3094     sv_utf8_upgrade(sv);
3095     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3096 }
3097
3098
3099 /*
3100 =for apidoc sv_2bool
3101
3102 This function is only called on magical items, and is only used by
3103 sv_true() or its macro equivalent.
3104
3105 =cut
3106 */
3107
3108 bool
3109 Perl_sv_2bool(pTHX_ register SV *const sv)
3110 {
3111     dVAR;
3112
3113     PERL_ARGS_ASSERT_SV_2BOOL;
3114
3115     SvGETMAGIC(sv);
3116
3117     if (!SvOK(sv))
3118         return 0;
3119     if (SvROK(sv)) {
3120         if (SvAMAGIC(sv)) {
3121             SV * const tmpsv = AMG_CALLun(sv,bool_);
3122             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3123                 return (bool)SvTRUE(tmpsv);
3124         }
3125         return SvRV(sv) != 0;
3126     }
3127     if (SvPOKp(sv)) {
3128         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
3129         if (Xpvtmp &&
3130                 (*sv->sv_u.svu_pv > '0' ||
3131                 Xpvtmp->xpv_cur > 1 ||
3132                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
3133             return 1;
3134         else
3135             return 0;
3136     }
3137     else {
3138         if (SvIOKp(sv))
3139             return SvIVX(sv) != 0;
3140         else {
3141             if (SvNOKp(sv))
3142                 return SvNVX(sv) != 0.0;
3143             else {
3144                 if (isGV_with_GP(sv))
3145                     return TRUE;
3146                 else
3147                     return FALSE;
3148             }
3149         }
3150     }
3151 }
3152
3153 /*
3154 =for apidoc sv_utf8_upgrade
3155
3156 Converts the PV of an SV to its UTF-8-encoded form.
3157 Forces the SV to string form if it is not already.
3158 Will C<mg_get> on C<sv> if appropriate.
3159 Always sets the SvUTF8 flag to avoid future validity checks even
3160 if the whole string is the same in UTF-8 as not.
3161 Returns the number of bytes in the converted string
3162
3163 This is not as a general purpose byte encoding to Unicode interface:
3164 use the Encode extension for that.
3165
3166 =for apidoc sv_utf8_upgrade_nomg
3167
3168 Like sv_utf8_upgrade, but doesn't do magic on C<sv>
3169
3170 =for apidoc sv_utf8_upgrade_flags
3171
3172 Converts the PV of an SV to its UTF-8-encoded form.
3173 Forces the SV to string form if it is not already.
3174 Always sets the SvUTF8 flag to avoid future validity checks even
3175 if all the bytes are invariant in UTF-8. If C<flags> has C<SV_GMAGIC> bit set,
3176 will C<mg_get> on C<sv> if appropriate, else not.
3177 Returns the number of bytes in the converted string
3178 C<sv_utf8_upgrade> and
3179 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3180
3181 This is not as a general purpose byte encoding to Unicode interface:
3182 use the Encode extension for that.
3183
3184 =cut
3185
3186 The grow version is currently not externally documented.  It adds a parameter,
3187 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3188 have free after it upon return.  This allows the caller to reserve extra space
3189 that it intends to fill, to avoid extra grows.
3190
3191 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3192 which can be used to tell this function to not first check to see if there are
3193 any characters that are different in UTF-8 (variant characters) which would
3194 force it to allocate a new string to sv, but to assume there are.  Typically
3195 this flag is used by a routine that has already parsed the string to find that
3196 there are such characters, and passes this information on so that the work
3197 doesn't have to be repeated.
3198
3199 (One might think that the calling routine could pass in the position of the
3200 first such variant, so it wouldn't have to be found again.  But that is not the
3201 case, because typically when the caller is likely to use this flag, it won't be
3202 calling this routine unless it finds something that won't fit into a byte.
3203 Otherwise it tries to not upgrade and just use bytes.  But some things that
3204 do fit into a byte are variants in utf8, and the caller may not have been
3205 keeping track of these.)
3206
3207 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3208 isn't guaranteed due to having other routines do the work in some input cases,
3209 or if the input is already flagged as being in utf8.
3210
3211 The speed of this could perhaps be improved for many cases if someone wanted to
3212 write a fast function that counts the number of variant characters in a string,
3213 especially if it could return the position of the first one.
3214
3215 */
3216
3217 STRLEN
3218 Perl_sv_utf8_upgrade_flags_grow(pTHX_ register SV *const sv, const I32 flags, STRLEN extra)
3219 {
3220     dVAR;
3221
3222     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3223
3224     if (sv == &PL_sv_undef)
3225         return 0;
3226     if (!SvPOK(sv)) {
3227         STRLEN len = 0;
3228         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3229             (void) sv_2pv_flags(sv,&len, flags);
3230             if (SvUTF8(sv)) {
3231                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3232                 return len;
3233             }
3234         } else {
3235             (void) SvPV_force(sv,len);
3236         }
3237     }
3238
3239     if (SvUTF8(sv)) {
3240         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3241         return SvCUR(sv);
3242     }
3243
3244     if (SvIsCOW(sv)) {
3245         sv_force_normal_flags(sv, 0);
3246     }
3247
3248     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3249         sv_recode_to_utf8(sv, PL_encoding);
3250         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3251         return SvCUR(sv);
3252     }
3253
3254     if (SvCUR(sv) > 0) { /* Assume Latin-1/EBCDIC */
3255         /* This function could be much more efficient if we
3256          * had a FLAG in SVs to signal if there are any variant
3257          * chars in the PV.  Given that there isn't such a flag
3258          * make the loop as fast as possible (although there are certainly ways
3259          * to speed this up, eg. through vectorization) */
3260         U8 * s = (U8 *) SvPVX_const(sv);
3261         U8 * e = (U8 *) SvEND(sv);
3262         U8 *t = s;
3263         STRLEN two_byte_count = 0;
3264         
3265         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3266
3267         /* See if really will need to convert to utf8.  We mustn't rely on our
3268          * incoming SV being well formed and having a trailing '\0', as certain
3269          * code in pp_formline can send us partially built SVs. */
3270
3271         while (t < e) {
3272             const U8 ch = *t++;
3273             if (NATIVE_IS_INVARIANT(ch)) continue;
3274
3275             t--;    /* t already incremented; re-point to first variant */
3276             two_byte_count = 1;
3277             goto must_be_utf8;
3278         }
3279
3280         /* utf8 conversion not needed because all are invariants.  Mark as
3281          * UTF-8 even if no variant - saves scanning loop */
3282         SvUTF8_on(sv);
3283         return SvCUR(sv);
3284
3285 must_be_utf8:
3286
3287         /* Here, the string should be converted to utf8, either because of an
3288          * input flag (two_byte_count = 0), or because a character that
3289          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3290          * the beginning of the string (if we didn't examine anything), or to
3291          * the first variant.  In either case, everything from s to t - 1 will
3292          * occupy only 1 byte each on output.
3293          *
3294          * There are two main ways to convert.  One is to create a new string
3295          * and go through the input starting from the beginning, appending each
3296          * converted value onto the new string as we go along.  It's probably
3297          * best to allocate enough space in the string for the worst possible
3298          * case rather than possibly running out of space and having to
3299          * reallocate and then copy what we've done so far.  Since everything
3300          * from s to t - 1 is invariant, the destination can be initialized
3301          * with these using a fast memory copy
3302          *
3303          * The other way is to figure out exactly how big the string should be
3304          * by parsing the entire input.  Then you don't have to make it big
3305          * enough to handle the worst possible case, and more importantly, if
3306          * the string you already have is large enough, you don't have to
3307          * allocate a new string, you can copy the last character in the input
3308          * string to the final position(s) that will be occupied by the
3309          * converted string and go backwards, stopping at t, since everything
3310          * before that is invariant.
3311          *
3312          * There are advantages and disadvantages to each method.
3313          *
3314          * In the first method, we can allocate a new string, do the memory
3315          * copy from the s to t - 1, and then proceed through the rest of the
3316          * string byte-by-byte.
3317          *
3318          * In the second method, we proceed through the rest of the input
3319          * string just calculating how big the converted string will be.  Then
3320          * there are two cases:
3321          *  1)  if the string has enough extra space to handle the converted
3322          *      value.  We go backwards through the string, converting until we
3323          *      get to the position we are at now, and then stop.  If this
3324          *      position is far enough along in the string, this method is
3325          *      faster than the other method.  If the memory copy were the same
3326          *      speed as the byte-by-byte loop, that position would be about
3327          *      half-way, as at the half-way mark, parsing to the end and back
3328          *      is one complete string's parse, the same amount as starting
3329          *      over and going all the way through.  Actually, it would be
3330          *      somewhat less than half-way, as it's faster to just count bytes
3331          *      than to also copy, and we don't have the overhead of allocating
3332          *      a new string, changing the scalar to use it, and freeing the
3333          *      existing one.  But if the memory copy is fast, the break-even
3334          *      point is somewhere after half way.  The counting loop could be
3335          *      sped up by vectorization, etc, to move the break-even point
3336          *      further towards the beginning.
3337          *  2)  if the string doesn't have enough space to handle the converted
3338          *      value.  A new string will have to be allocated, and one might
3339          *      as well, given that, start from the beginning doing the first
3340          *      method.  We've spent extra time parsing the string and in
3341          *      exchange all we've gotten is that we know precisely how big to
3342          *      make the new one.  Perl is more optimized for time than space,
3343          *      so this case is a loser.
3344          * So what I've decided to do is not use the 2nd method unless it is
3345          * guaranteed that a new string won't have to be allocated, assuming
3346          * the worst case.  I also decided not to put any more conditions on it
3347          * than this, for now.  It seems likely that, since the worst case is
3348          * twice as big as the unknown portion of the string (plus 1), we won't
3349          * be guaranteed enough space, causing us to go to the first method,
3350          * unless the string is short, or the first variant character is near
3351          * the end of it.  In either of these cases, it seems best to use the
3352          * 2nd method.  The only circumstance I can think of where this would
3353          * be really slower is if the string had once had much more data in it
3354          * than it does now, but there is still a substantial amount in it  */
3355
3356         {
3357             STRLEN invariant_head = t - s;
3358             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3359             if (SvLEN(sv) < size) {
3360
3361                 /* Here, have decided to allocate a new string */
3362
3363                 U8 *dst;
3364                 U8 *d;
3365
3366                 Newx(dst, size, U8);
3367
3368                 /* If no known invariants at the beginning of the input string,
3369                  * set so starts from there.  Otherwise, can use memory copy to
3370                  * get up to where we are now, and then start from here */
3371
3372                 if (invariant_head <= 0) {
3373                     d = dst;
3374                 } else {
3375                     Copy(s, dst, invariant_head, char);
3376                     d = dst + invariant_head;
3377                 }
3378
3379                 while (t < e) {
3380                     const UV uv = NATIVE8_TO_UNI(*t++);
3381                     if (UNI_IS_INVARIANT(uv))
3382                         *d++ = (U8)UNI_TO_NATIVE(uv);
3383                     else {
3384                         *d++ = (U8)UTF8_EIGHT_BIT_HI(uv);
3385                         *d++ = (U8)UTF8_EIGHT_BIT_LO(uv);
3386                     }
3387                 }
3388                 *d = '\0';
3389                 SvPV_free(sv); /* No longer using pre-existing string */
3390                 SvPV_set(sv, (char*)dst);
3391                 SvCUR_set(sv, d - dst);
3392                 SvLEN_set(sv, size);
3393             } else {
3394
3395                 /* Here, have decided to get the exact size of the string.
3396                  * Currently this happens only when we know that there is
3397                  * guaranteed enough space to fit the converted string, so
3398                  * don't have to worry about growing.  If two_byte_count is 0,
3399                  * then t points to the first byte of the string which hasn't
3400                  * been examined yet.  Otherwise two_byte_count is 1, and t
3401                  * points to the first byte in the string that will expand to
3402                  * two.  Depending on this, start examining at t or 1 after t.
3403                  * */
3404
3405                 U8 *d = t + two_byte_count;
3406
3407
3408                 /* Count up the remaining bytes that expand to two */
3409
3410                 while (d < e) {
3411                     const U8 chr = *d++;
3412                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3413                 }
3414
3415                 /* The string will expand by just the number of bytes that
3416                  * occupy two positions.  But we are one afterwards because of
3417                  * the increment just above.  This is the place to put the
3418                  * trailing NUL, and to set the length before we decrement */
3419
3420                 d += two_byte_count;
3421                 SvCUR_set(sv, d - s);
3422                 *d-- = '\0';
3423
3424
3425                 /* Having decremented d, it points to the position to put the
3426                  * very last byte of the expanded string.  Go backwards through
3427                  * the string, copying and expanding as we go, stopping when we
3428                  * get to the part that is invariant the rest of the way down */
3429
3430                 e--;
3431                 while (e >= t) {
3432                     const U8 ch = NATIVE8_TO_UNI(*e--);
3433                     if (UNI_IS_INVARIANT(ch)) {
3434                         *d-- = UNI_TO_NATIVE(ch);
3435                     } else {
3436                         *d-- = (U8)UTF8_EIGHT_BIT_LO(ch);
3437                         *d-- = (U8)UTF8_EIGHT_BIT_HI(ch);
3438                     }
3439                 }
3440             }
3441         }
3442     }
3443
3444     /* Mark as UTF-8 even if no variant - saves scanning loop */
3445     SvUTF8_on(sv);
3446     return SvCUR(sv);
3447 }
3448
3449 /*
3450 =for apidoc sv_utf8_downgrade
3451
3452 Attempts to convert the PV of an SV from characters to bytes.
3453 If the PV contains a character that cannot fit
3454 in a byte, this conversion will fail;
3455 in this case, either returns false or, if C<fail_ok> is not
3456 true, croaks.
3457
3458 This is not as a general purpose Unicode to byte encoding interface:
3459 use the Encode extension for that.
3460
3461 =cut
3462 */
3463
3464 bool
3465 Perl_sv_utf8_downgrade(pTHX_ register SV *const sv, const bool fail_ok)
3466 {
3467     dVAR;
3468
3469     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3470
3471     if (SvPOKp(sv) && SvUTF8(sv)) {
3472         if (SvCUR(sv)) {
3473             U8 *s;
3474             STRLEN len;
3475
3476             if (SvIsCOW(sv)) {
3477                 sv_force_normal_flags(sv, 0);
3478             }
3479             s = (U8 *) SvPV(sv, len);
3480             if (!utf8_to_bytes(s, &len)) {
3481                 if (fail_ok)
3482                     return FALSE;
3483                 else {
3484                     if (PL_op)
3485                         Perl_croak(aTHX_ "Wide character in %s",
3486                                    OP_DESC(PL_op));
3487                     else
3488                         Perl_croak(aTHX_ "Wide character");
3489                 }
3490             }
3491             SvCUR_set(sv, len);
3492         }
3493     }
3494     SvUTF8_off(sv);
3495     return TRUE;
3496 }
3497
3498 /*
3499 =for apidoc sv_utf8_encode
3500
3501 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3502 flag off so that it looks like octets again.
3503
3504 =cut
3505 */
3506
3507 void
3508 Perl_sv_utf8_encode(pTHX_ register SV *const sv)
3509 {
3510     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3511
3512     if (SvIsCOW(sv)) {
3513         sv_force_normal_flags(sv, 0);
3514     }
3515     if (SvREADONLY(sv)) {
3516         Perl_croak(aTHX_ "%s", PL_no_modify);
3517     }
3518     (void) sv_utf8_upgrade(sv);
3519     SvUTF8_off(sv);
3520 }
3521
3522 /*
3523 =for apidoc sv_utf8_decode
3524
3525 If the PV of the SV is an octet sequence in UTF-8
3526 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3527 so that it looks like a character. If the PV contains only single-byte
3528 characters, the C<SvUTF8> flag stays being off.
3529 Scans PV for validity and returns false if the PV is invalid UTF-8.
3530
3531 =cut
3532 */
3533
3534 bool
3535 Perl_sv_utf8_decode(pTHX_ register SV *const sv)
3536 {
3537     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3538
3539     if (SvPOKp(sv)) {
3540         const U8 *c;
3541         const U8 *e;
3542
3543         /* The octets may have got themselves encoded - get them back as
3544          * bytes
3545          */
3546         if (!sv_utf8_downgrade(sv, TRUE))
3547             return FALSE;
3548
3549         /* it is actually just a matter of turning the utf8 flag on, but
3550          * we want to make sure everything inside is valid utf8 first.
3551          */
3552         c = (const U8 *) SvPVX_const(sv);
3553         if (!is_utf8_string(c, SvCUR(sv)+1))
3554             return FALSE;
3555         e = (const U8 *) SvEND(sv);
3556         while (c < e) {
3557             const U8 ch = *c++;
3558             if (!UTF8_IS_INVARIANT(ch)) {
3559                 SvUTF8_on(sv);
3560                 break;
3561             }
3562         }
3563     }
3564     return TRUE;
3565 }
3566
3567 /*
3568 =for apidoc sv_setsv
3569
3570 Copies the contents of the source SV C<ssv> into the destination SV
3571 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3572 function if the source SV needs to be reused. Does not handle 'set' magic.
3573 Loosely speaking, it performs a copy-by-value, obliterating any previous
3574 content of the destination.
3575
3576 You probably want to use one of the assortment of wrappers, such as
3577 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3578 C<SvSetMagicSV_nosteal>.
3579
3580 =for apidoc sv_setsv_flags
3581
3582 Copies the contents of the source SV C<ssv> into the destination SV
3583 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3584 function if the source SV needs to be reused. Does not handle 'set' magic.
3585 Loosely speaking, it performs a copy-by-value, obliterating any previous
3586 content of the destination.
3587 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3588 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3589 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3590 and C<sv_setsv_nomg> are implemented in terms of this function.
3591
3592 You probably want to use one of the assortment of wrappers, such as
3593 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3594 C<SvSetMagicSV_nosteal>.
3595
3596 This is the primary function for copying scalars, and most other
3597 copy-ish functions and macros use this underneath.
3598
3599 =cut
3600 */
3601
3602 static void
3603 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3604 {
3605     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3606
3607     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3608
3609     if (dtype != SVt_PVGV) {
3610         const char * const name = GvNAME(sstr);
3611         const STRLEN len = GvNAMELEN(sstr);
3612         {
3613             if (dtype >= SVt_PV) {
3614                 SvPV_free(dstr);
3615                 SvPV_set(dstr, 0);
3616                 SvLEN_set(dstr, 0);
3617                 SvCUR_set(dstr, 0);
3618             }
3619             SvUPGRADE(dstr, SVt_PVGV);
3620             (void)SvOK_off(dstr);
3621             /* FIXME - why are we doing this, then turning it off and on again
3622                below?  */
3623             isGV_with_GP_on(dstr);
3624         }
3625         GvSTASH(dstr) = GvSTASH(sstr);
3626         if (GvSTASH(dstr))
3627             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3628         gv_name_set(MUTABLE_GV(dstr), name, len, GV_ADD);
3629         SvFAKE_on(dstr);        /* can coerce to non-glob */
3630     }
3631
3632     if(GvGP(MUTABLE_GV(sstr))) {
3633         /* If source has method cache entry, clear it */
3634         if(GvCVGEN(sstr)) {
3635             SvREFCNT_dec(GvCV(sstr));
3636             GvCV(sstr) = NULL;
3637             GvCVGEN(sstr) = 0;
3638         }
3639         /* If source has a real method, then a method is
3640            going to change */
3641         else if(GvCV((const GV *)sstr)) {
3642             mro_changes = 1;
3643         }
3644     }
3645
3646     /* If dest already had a real method, that's a change as well */
3647     if(!mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)) {
3648         mro_changes = 1;
3649     }
3650
3651     if(strEQ(GvNAME((const GV *)dstr),"ISA"))
3652         mro_changes = 2;
3653
3654     gp_free(MUTABLE_GV(dstr));
3655     isGV_with_GP_off(dstr);
3656     (void)SvOK_off(dstr);
3657     isGV_with_GP_on(dstr);
3658     GvINTRO_off(dstr);          /* one-shot flag */
3659     GvGP(dstr) = gp_ref(GvGP(sstr));
3660     if (SvTAINTED(sstr))
3661         SvTAINT(dstr);
3662     if (GvIMPORTED(dstr) != GVf_IMPORTED
3663         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3664         {
3665             GvIMPORTED_on(dstr);
3666         }
3667     GvMULTI_on(dstr);
3668     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3669     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3670     return;
3671 }
3672
3673 static void
3674 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3675 {
3676     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3677     SV *dref = NULL;
3678     const int intro = GvINTRO(dstr);
3679     SV **location;
3680     U8 import_flag = 0;
3681     const U32 stype = SvTYPE(sref);
3682     bool mro_changes = FALSE;
3683
3684     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3685
3686     if (intro) {
3687         GvINTRO_off(dstr);      /* one-shot flag */
3688         GvLINE(dstr) = CopLINE(PL_curcop);
3689         GvEGV(dstr) = MUTABLE_GV(dstr);
3690     }
3691     GvMULTI_on(dstr);
3692     switch (stype) {
3693     case SVt_PVCV:
3694         location = (SV **) &GvCV(dstr);
3695         import_flag = GVf_IMPORTED_CV;
3696         goto common;
3697     case SVt_PVHV:
3698         location = (SV **) &GvHV(dstr);
3699         import_flag = GVf_IMPORTED_HV;
3700         goto common;
3701     case SVt_PVAV:
3702         location = (SV **) &GvAV(dstr);
3703         if (strEQ(GvNAME((GV*)dstr), "ISA"))
3704             mro_changes = TRUE;
3705         import_flag = GVf_IMPORTED_AV;
3706         goto common;
3707     case SVt_PVIO:
3708         location = (SV **) &GvIOp(dstr);
3709         goto common;
3710     case SVt_PVFM:
3711         location = (SV **) &GvFORM(dstr);
3712         goto common;
3713     default:
3714         location = &GvSV(dstr);
3715         import_flag = GVf_IMPORTED_SV;
3716     common:
3717         if (intro) {
3718             if (stype == SVt_PVCV) {
3719                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3720                 if (GvCVGEN(dstr)) {
3721                     SvREFCNT_dec(GvCV(dstr));
3722                     GvCV(dstr) = NULL;
3723                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3724                 }
3725             }
3726             SAVEGENERICSV(*location);
3727         }
3728         else
3729             dref = *location;
3730         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3731             CV* const cv = MUTABLE_CV(*location);
3732             if (cv) {
3733                 if (!GvCVGEN((const GV *)dstr) &&
3734                     (CvROOT(cv) || CvXSUB(cv)))
3735                     {
3736                         /* Redefining a sub - warning is mandatory if
3737                            it was a const and its value changed. */
3738                         if (CvCONST(cv) && CvCONST((const CV *)sref)
3739                             && cv_const_sv(cv)
3740                             == cv_const_sv((const CV *)sref)) {
3741                             NOOP;
3742                             /* They are 2 constant subroutines generated from
3743                                the same constant. This probably means that
3744                                they are really the "same" proxy subroutine
3745                                instantiated in 2 places. Most likely this is
3746                                when a constant is exported twice.  Don't warn.
3747                             */
3748                         }
3749                         else if (ckWARN(WARN_REDEFINE)
3750                                  || (CvCONST(cv)
3751                                      && (!CvCONST((const CV *)sref)
3752                                          || sv_cmp(cv_const_sv(cv),
3753                                                    cv_const_sv((const CV *)
3754                                                                sref))))) {
3755                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3756                                         (const char *)
3757                                         (CvCONST(cv)
3758                                          ? "Constant subroutine %s::%s redefined"
3759                                          : "Subroutine %s::%s redefined"),
3760                                         HvNAME_get(GvSTASH((const GV *)dstr)),
3761                                         GvENAME(MUTABLE_GV(dstr)));
3762                         }
3763                     }
3764                 if (!intro)
3765                     cv_ckproto_len(cv, (const GV *)dstr,
3766                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3767                                    SvPOK(sref) ? SvCUR(sref) : 0);
3768             }
3769             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3770             GvASSUMECV_on(dstr);
3771             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3772         }
3773         *location = sref;
3774         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3775             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3776             GvFLAGS(dstr) |= import_flag;
3777         }
3778         break;
3779     }
3780     SvREFCNT_dec(dref);
3781     if (SvTAINTED(sstr))
3782         SvTAINT(dstr);
3783     if (mro_changes) mro_isa_changed_in(GvSTASH(dstr));
3784     return;
3785 }
3786
3787 void
3788 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV* sstr, const I32 flags)
3789 {
3790     dVAR;
3791     register U32 sflags;
3792     register int dtype;
3793     register svtype stype;
3794
3795     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3796
3797     if (sstr == dstr)
3798         return;
3799
3800     if (SvIS_FREED(dstr)) {
3801         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3802                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3803     }
3804     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3805     if (!sstr)
3806         sstr = &PL_sv_undef;
3807     if (SvIS_FREED(sstr)) {
3808         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3809                    (void*)sstr, (void*)dstr);
3810     }
3811     stype = SvTYPE(sstr);
3812     dtype = SvTYPE(dstr);
3813
3814     (void)SvAMAGIC_off(dstr);
3815     if ( SvVOK(dstr) )
3816     {
3817         /* need to nuke the magic */
3818         mg_free(dstr);
3819     }
3820
3821     /* There's a lot of redundancy below but we're going for speed here */
3822
3823     switch (stype) {
3824     case SVt_NULL:
3825       undef_sstr:
3826         if (dtype != SVt_PVGV) {
3827             (void)SvOK_off(dstr);
3828             return;
3829         }
3830         break;
3831     case SVt_IV:
3832         if (SvIOK(sstr)) {
3833             switch (dtype) {
3834             case SVt_NULL:
3835                 sv_upgrade(dstr, SVt_IV);
3836                 break;
3837             case SVt_NV:
3838             case SVt_PV:
3839                 sv_upgrade(dstr, SVt_PVIV);
3840                 break;
3841             case SVt_PVGV:
3842                 goto end_of_first_switch;
3843             }
3844             (void)SvIOK_only(dstr);
3845             SvIV_set(dstr,  SvIVX(sstr));
3846             if (SvIsUV(sstr))
3847                 SvIsUV_on(dstr);
3848             /* SvTAINTED can only be true if the SV has taint magic, which in
3849                turn means that the SV type is PVMG (or greater). This is the
3850                case statement for SVt_IV, so this cannot be true (whatever gcov
3851                may say).  */
3852             assert(!SvTAINTED(sstr));
3853             return;
3854         }
3855         if (!SvROK(sstr))
3856             goto undef_sstr;
3857         if (dtype < SVt_PV && dtype != SVt_IV)
3858             sv_upgrade(dstr, SVt_IV);
3859         break;
3860
3861     case SVt_NV:
3862         if (SvNOK(sstr)) {
3863             switch (dtype) {
3864             case SVt_NULL:
3865             case SVt_IV:
3866                 sv_upgrade(dstr, SVt_NV);
3867                 break;
3868             case SVt_PV:
3869             case SVt_PVIV:
3870                 sv_upgrade(dstr, SVt_PVNV);
3871                 break;
3872             case SVt_PVGV:
3873                 goto end_of_first_switch;
3874             }
3875             SvNV_set(dstr, SvNVX(sstr));
3876             (void)SvNOK_only(dstr);
3877             /* SvTAINTED can only be true if the SV has taint magic, which in
3878                turn means that the SV type is PVMG (or greater). This is the
3879                case statement for SVt_NV, so this cannot be true (whatever gcov
3880                may say).  */
3881             assert(!SvTAINTED(sstr));
3882             return;
3883         }
3884         goto undef_sstr;
3885
3886     case SVt_PVFM:
3887 #ifdef PERL_OLD_COPY_ON_WRITE
3888         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3889             if (dtype < SVt_PVIV)
3890                 sv_upgrade(dstr, SVt_PVIV);
3891             break;
3892         }
3893         /* Fall through */
3894 #endif
3895     case SVt_REGEXP:
3896     case SVt_PV:
3897         if (dtype < SVt_PV)
3898             sv_upgrade(dstr, SVt_PV);
3899         break;
3900     case SVt_PVIV:
3901         if (dtype < SVt_PVIV)
3902             sv_upgrade(dstr, SVt_PVIV);
3903         break;
3904     case SVt_PVNV:
3905         if (dtype < SVt_PVNV)
3906             sv_upgrade(dstr, SVt_PVNV);
3907         break;
3908     default:
3909         {
3910         const char * const type = sv_reftype(sstr,0);
3911         if (PL_op)
3912             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3913         else
3914             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3915         }
3916         break;
3917
3918         /* case SVt_BIND: */
3919     case SVt_PVLV:
3920     case SVt_PVGV:
3921         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3922             glob_assign_glob(dstr, sstr, dtype);
3923             return;
3924         }
3925         /* SvVALID means that this PVGV is playing at being an FBM.  */
3926         /*FALLTHROUGH*/
3927
3928     case SVt_PVMG:
3929         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3930             mg_get(sstr);
3931             if (SvTYPE(sstr) != stype) {
3932                 stype = SvTYPE(sstr);
3933                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3934                     glob_assign_glob(dstr, sstr, dtype);
3935                     return;
3936                 }
3937             }
3938         }
3939         if (stype == SVt_PVLV)
3940             SvUPGRADE(dstr, SVt_PVNV);
3941         else
3942             SvUPGRADE(dstr, (svtype)stype);
3943     }
3944  end_of_first_switch:
3945
3946     /* dstr may have been upgraded.  */
3947     dtype = SvTYPE(dstr);
3948     sflags = SvFLAGS(sstr);
3949
3950     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3951         /* Assigning to a subroutine sets the prototype.  */
3952         if (SvOK(sstr)) {
3953             STRLEN len;
3954             const char *const ptr = SvPV_const(sstr, len);
3955
3956             SvGROW(dstr, len + 1);
3957             Copy(ptr, SvPVX(dstr), len + 1, char);
3958             SvCUR_set(dstr, len);
3959             SvPOK_only(dstr);
3960             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3961         } else {
3962             SvOK_off(dstr);
3963         }
3964     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3965         const char * const type = sv_reftype(dstr,0);
3966         if (PL_op)
3967             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3968         else
3969             Perl_croak(aTHX_ "Cannot copy to %s", type);
3970     } else if (sflags & SVf_ROK) {
3971         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3972             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
3973             sstr = SvRV(sstr);
3974             if (sstr == dstr) {
3975                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3976                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3977                 {
3978                     GvIMPORTED_on(dstr);
3979                 }
3980                 GvMULTI_on(dstr);
3981                 return;
3982             }
3983             glob_assign_glob(dstr, sstr, dtype);
3984             return;
3985         }
3986
3987         if (dtype >= SVt_PV) {
3988             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3989                 glob_assign_ref(dstr, sstr);
3990                 return;
3991             }
3992             if (SvPVX_const(dstr)) {
3993                 SvPV_free(dstr);
3994                 SvLEN_set(dstr, 0);
3995                 SvCUR_set(dstr, 0);
3996             }
3997         }
3998         (void)SvOK_off(dstr);
3999         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4000         SvFLAGS(dstr) |= sflags & SVf_ROK;
4001         assert(!(sflags & SVp_NOK));
4002         assert(!(sflags & SVp_IOK));
4003         assert(!(sflags & SVf_NOK));
4004         assert(!(sflags & SVf_IOK));
4005     }
4006     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
4007         if (!(sflags & SVf_OK)) {
4008             if (ckWARN(WARN_MISC))
4009                 Perl_warner(aTHX_ packWARN(WARN_MISC),
4010                             "Undefined value assigned to typeglob");
4011         }
4012         else {
4013             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
4014             if (dstr != (const SV *)gv) {
4015                 if (GvGP(dstr))
4016                     gp_free(MUTABLE_GV(dstr));
4017                 GvGP(dstr) = gp_ref(GvGP(gv));
4018             }
4019         }
4020     }
4021     else if (sflags & SVp_POK) {
4022         bool isSwipe = 0;
4023
4024         /*
4025          * Check to see if we can just swipe the string.  If so, it's a
4026          * possible small lose on short strings, but a big win on long ones.
4027          * It might even be a win on short strings if SvPVX_const(dstr)
4028          * has to be allocated and SvPVX_const(sstr) has to be freed.
4029          * Likewise if we can set up COW rather than doing an actual copy, we
4030          * drop to the else clause, as the swipe code and the COW setup code
4031          * have much in common.
4032          */
4033
4034         /* Whichever path we take through the next code, we want this true,
4035            and doing it now facilitates the COW check.  */
4036         (void)SvPOK_only(dstr);
4037
4038         if (
4039             /* If we're already COW then this clause is not true, and if COW
4040                is allowed then we drop down to the else and make dest COW 
4041                with us.  If caller hasn't said that we're allowed to COW
4042                shared hash keys then we don't do the COW setup, even if the
4043                source scalar is a shared hash key scalar.  */
4044             (((flags & SV_COW_SHARED_HASH_KEYS)
4045                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
4046                : 1 /* If making a COW copy is forbidden then the behaviour we
4047                        desire is as if the source SV isn't actually already
4048                        COW, even if it is.  So we act as if the source flags
4049                        are not COW, rather than actually testing them.  */
4050               )
4051 #ifndef PERL_OLD_COPY_ON_WRITE
4052              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4053                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4054                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4055                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4056                 but in turn, it's somewhat dead code, never expected to go
4057                 live, but more kept as a placeholder on how to do it better
4058                 in a newer implementation.  */
4059              /* If we are COW and dstr is a suitable target then we drop down
4060                 into the else and make dest a COW of us.  */
4061              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
4062 #endif
4063              )
4064             &&
4065             !(isSwipe =
4066                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4067                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4068                  (!(flags & SV_NOSTEAL)) &&
4069                                         /* and we're allowed to steal temps */
4070                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4071                  SvLEN(sstr)    &&        /* and really is a string */
4072                                 /* and won't be needed again, potentially */
4073               !(PL_op && PL_op->op_type == OP_AASSIGN))
4074 #ifdef PERL_OLD_COPY_ON_WRITE
4075             && ((flags & SV_COW_SHARED_HASH_KEYS)
4076                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4077                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4078                      && SvTYPE(sstr) >= SVt_PVIV && SvTYPE(sstr) != SVt_PVFM))
4079                 : 1)
4080 #endif
4081             ) {
4082             /* Failed the swipe test, and it's not a shared hash key either.
4083                Have to copy the string.  */
4084             STRLEN len = SvCUR(sstr);
4085             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
4086             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
4087             SvCUR_set(dstr, len);
4088             *SvEND(dstr) = '\0';
4089         } else {
4090             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4091                be true in here.  */
4092             /* Either it's a shared hash key, or it's suitable for
4093                copy-on-write or we can swipe the string.  */
4094             if (DEBUG_C_TEST) {
4095                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4096                 sv_dump(sstr);
4097                 sv_dump(dstr);
4098             }
4099 #ifdef PERL_OLD_COPY_ON_WRITE
4100             if (!isSwipe) {
4101                 if ((sflags & (SVf_FAKE | SVf_READONLY))
4102                     != (SVf_FAKE | SVf_READONLY)) {
4103                     SvREADONLY_on(sstr);
4104                     SvFAKE_on(sstr);
4105                     /* Make the source SV into a loop of 1.
4106                        (about to become 2) */
4107                     SV_COW_NEXT_SV_SET(sstr, sstr);
4108                 }
4109             }
4110 #endif
4111             /* Initial code is common.  */
4112             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4113                 SvPV_free(dstr);
4114             }
4115
4116             if (!isSwipe) {
4117                 /* making another shared SV.  */
4118                 STRLEN cur = SvCUR(sstr);
4119                 STRLEN len = SvLEN(sstr);
4120 #ifdef PERL_OLD_COPY_ON_WRITE
4121                 if (len) {
4122                     assert (SvTYPE(dstr) >= SVt_PVIV);
4123                     /* SvIsCOW_normal */
4124                     /* splice us in between source and next-after-source.  */
4125                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4126                     SV_COW_NEXT_SV_SET(sstr, dstr);
4127                     SvPV_set(dstr, SvPVX_mutable(sstr));
4128                 } else
4129 #endif
4130                 {
4131                     /* SvIsCOW_shared_hash */
4132                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4133                                           "Copy on write: Sharing hash\n"));
4134
4135                     assert (SvTYPE(dstr) >= SVt_PV);
4136                     SvPV_set(dstr,
4137                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4138                 }
4139                 SvLEN_set(dstr, len);
4140                 SvCUR_set(dstr, cur);
4141                 SvREADONLY_on(dstr);
4142                 SvFAKE_on(dstr);
4143             }
4144             else
4145                 {       /* Passes the swipe test.  */
4146                 SvPV_set(dstr, SvPVX_mutable(sstr));
4147                 SvLEN_set(dstr, SvLEN(sstr));
4148                 SvCUR_set(dstr, SvCUR(sstr));
4149
4150                 SvTEMP_off(dstr);
4151                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4152                 SvPV_set(sstr, NULL);
4153                 SvLEN_set(sstr, 0);
4154                 SvCUR_set(sstr, 0);
4155                 SvTEMP_off(sstr);
4156             }
4157         }
4158         if (sflags & SVp_NOK) {
4159             SvNV_set(dstr, SvNVX(sstr));
4160         }
4161         if (sflags & SVp_IOK) {
4162             SvIV_set(dstr, SvIVX(sstr));
4163             /* Must do this otherwise some other overloaded use of 0x80000000
4164                gets confused. I guess SVpbm_VALID */
4165             if (sflags & SVf_IVisUV)
4166                 SvIsUV_on(dstr);
4167         }
4168         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4169         {
4170             const MAGIC * const smg = SvVSTRING_mg(sstr);
4171             if (smg) {
4172                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4173                          smg->mg_ptr, smg->mg_len);
4174                 SvRMAGICAL_on(dstr);
4175             }
4176         }
4177     }
4178     else if (sflags & (SVp_IOK|SVp_NOK)) {
4179         (void)SvOK_off(dstr);
4180         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4181         if (sflags & SVp_IOK) {
4182             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4183             SvIV_set(dstr, SvIVX(sstr));
4184         }
4185         if (sflags & SVp_NOK) {
4186             SvNV_set(dstr, SvNVX(sstr));
4187         }
4188     }
4189     else {
4190         if (isGV_with_GP(sstr)) {
4191             /* This stringification rule for globs is spread in 3 places.
4192                This feels bad. FIXME.  */
4193             const U32 wasfake = sflags & SVf_FAKE;
4194
4195             /* FAKE globs can get coerced, so need to turn this off
4196                temporarily if it is on.  */
4197             SvFAKE_off(sstr);
4198             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4199             SvFLAGS(sstr) |= wasfake;
4200         }
4201         else
4202             (void)SvOK_off(dstr);
4203     }
4204     if (SvTAINTED(sstr))
4205         SvTAINT(dstr);
4206 }
4207
4208 /*
4209 =for apidoc sv_setsv_mg
4210
4211 Like C<sv_setsv>, but also handles 'set' magic.
4212
4213 =cut
4214 */
4215
4216 void
4217 Perl_sv_setsv_mg(pTHX_ SV *const dstr, register SV *const sstr)
4218 {
4219     PERL_ARGS_ASSERT_SV_SETSV_MG;
4220
4221     sv_setsv(dstr,sstr);
4222     SvSETMAGIC(dstr);
4223 }
4224
4225 #ifdef PERL_OLD_COPY_ON_WRITE
4226 SV *
4227 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4228 {
4229     STRLEN cur = SvCUR(sstr);
4230     STRLEN len = SvLEN(sstr);
4231     register char *new_pv;
4232
4233     PERL_ARGS_ASSERT_SV_SETSV_COW;
4234
4235     if (DEBUG_C_TEST) {
4236         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4237                       (void*)sstr, (void*)dstr);
4238         sv_dump(sstr);
4239         if (dstr)
4240                     sv_dump(dstr);
4241     }
4242
4243     if (dstr) {
4244         if (SvTHINKFIRST(dstr))
4245             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4246         else if (SvPVX_const(dstr))
4247             Safefree(SvPVX_const(dstr));
4248     }
4249     else
4250         new_SV(dstr);
4251     SvUPGRADE(dstr, SVt_PVIV);
4252
4253     assert (SvPOK(sstr));
4254     assert (SvPOKp(sstr));
4255     assert (!SvIOK(sstr));
4256     assert (!SvIOKp(sstr));
4257     assert (!SvNOK(sstr));
4258     assert (!SvNOKp(sstr));
4259
4260     if (SvIsCOW(sstr)) {
4261
4262         if (SvLEN(sstr) == 0) {
4263             /* source is a COW shared hash key.  */
4264             DEBUG_C(PerlIO_printf(Perl_debug_log,
4265                                   "Fast copy on write: Sharing hash\n"));
4266             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4267             goto common_exit;
4268         }
4269         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4270     } else {
4271         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4272         SvUPGRADE(sstr, SVt_PVIV);
4273         SvREADONLY_on(sstr);
4274         SvFAKE_on(sstr);
4275         DEBUG_C(PerlIO_printf(Perl_debug_log,
4276                               "Fast copy on write: Converting sstr to COW\n"));
4277         SV_COW_NEXT_SV_SET(dstr, sstr);
4278     }
4279     SV_COW_NEXT_SV_SET(sstr, dstr);
4280     new_pv = SvPVX_mutable(sstr);
4281
4282   common_exit:
4283     SvPV_set(dstr, new_pv);
4284     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
4285     if (SvUTF8(sstr))
4286         SvUTF8_on(dstr);
4287     SvLEN_set(dstr, len);
4288     SvCUR_set(dstr, cur);
4289     if (DEBUG_C_TEST) {
4290         sv_dump(dstr);
4291     }
4292     return dstr;
4293 }
4294 #endif
4295
4296 /*
4297 =for apidoc sv_setpvn
4298
4299 Copies a string into an SV.  The C<len> parameter indicates the number of
4300 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4301 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4302
4303 =cut
4304 */
4305
4306 void
4307 Perl_sv_setpvn(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4308 {
4309     dVAR;
4310     register char *dptr;
4311
4312     PERL_ARGS_ASSERT_SV_SETPVN;
4313
4314     SV_CHECK_THINKFIRST_COW_DROP(sv);
4315     if (!ptr) {
4316         (void)SvOK_off(sv);
4317         return;
4318     }
4319     else {
4320         /* len is STRLEN which is unsigned, need to copy to signed */
4321         const IV iv = len;
4322         if (iv < 0)
4323             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
4324     }
4325     SvUPGRADE(sv, SVt_PV);
4326
4327     dptr = SvGROW(sv, len + 1);
4328     Move(ptr,dptr,len,char);
4329     dptr[len] = '\0';
4330     SvCUR_set(sv, len);
4331     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4332     SvTAINT(sv);
4333 }
4334
4335 /*
4336 =for apidoc sv_setpvn_mg
4337
4338 Like C<sv_setpvn>, but also handles 'set' magic.
4339
4340 =cut
4341 */
4342
4343 void
4344 Perl_sv_setpvn_mg(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4345 {
4346     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4347
4348     sv_setpvn(sv,ptr,len);
4349     SvSETMAGIC(sv);
4350 }
4351
4352 /*
4353 =for apidoc sv_setpv
4354
4355 Copies a string into an SV.  The string must be null-terminated.  Does not
4356 handle 'set' magic.  See C<sv_setpv_mg>.
4357
4358 =cut
4359 */
4360
4361 void
4362 Perl_sv_setpv(pTHX_ register SV *const sv, register const char *const ptr)
4363 {
4364     dVAR;
4365     register STRLEN len;
4366
4367     PERL_ARGS_ASSERT_SV_SETPV;
4368
4369     SV_CHECK_THINKFIRST_COW_DROP(sv);
4370     if (!ptr) {
4371         (void)SvOK_off(sv);
4372         return;
4373     }
4374     len = strlen(ptr);
4375     SvUPGRADE(sv, SVt_PV);
4376
4377     SvGROW(sv, len + 1);
4378     Move(ptr,SvPVX(sv),len+1,char);
4379     SvCUR_set(sv, len);
4380     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4381     SvTAINT(sv);
4382 }
4383
4384 /*
4385 =for apidoc sv_setpv_mg
4386
4387 Like C<sv_setpv>, but also handles 'set' magic.
4388
4389 =cut
4390 */
4391
4392 void
4393 Perl_sv_setpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4394 {
4395     PERL_ARGS_ASSERT_SV_SETPV_MG;
4396
4397     sv_setpv(sv,ptr);
4398     SvSETMAGIC(sv);
4399 }
4400
4401 /*
4402 =for apidoc sv_usepvn_flags
4403
4404 Tells an SV to use C<ptr> to find its string value.  Normally the
4405 string is stored inside the SV but sv_usepvn allows the SV to use an
4406 outside string.  The C<ptr> should point to memory that was allocated
4407 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4408 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4409 so that pointer should not be freed or used by the programmer after
4410 giving it to sv_usepvn, and neither should any pointers from "behind"
4411 that pointer (e.g. ptr + 1) be used.
4412
4413 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4414 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4415 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4416 C<len>, and already meets the requirements for storing in C<SvPVX>)
4417
4418 =cut
4419 */
4420
4421 void
4422 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
4423 {
4424     dVAR;
4425     STRLEN allocate;
4426
4427     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
4428
4429     SV_CHECK_THINKFIRST_COW_DROP(sv);
4430     SvUPGRADE(sv, SVt_PV);
4431     if (!ptr) {
4432         (void)SvOK_off(sv);
4433         if (flags & SV_SMAGIC)
4434             SvSETMAGIC(sv);
4435         return;
4436     }
4437     if (SvPVX_const(sv))
4438         SvPV_free(sv);
4439
4440 #ifdef DEBUGGING
4441     if (flags & SV_HAS_TRAILING_NUL)
4442         assert(ptr[len] == '\0');
4443 #endif
4444
4445     allocate = (flags & SV_HAS_TRAILING_NUL)
4446         ? len + 1 :
4447 #ifdef Perl_safesysmalloc_size
4448         len + 1;
4449 #else 
4450         PERL_STRLEN_ROUNDUP(len + 1);
4451 #endif
4452     if (flags & SV_HAS_TRAILING_NUL) {
4453         /* It's long enough - do nothing.
4454            Specfically Perl_newCONSTSUB is relying on this.  */
4455     } else {
4456 #ifdef DEBUGGING
4457         /* Force a move to shake out bugs in callers.  */
4458         char *new_ptr = (char*)safemalloc(allocate);
4459         Copy(ptr, new_ptr, len, char);
4460         PoisonFree(ptr,len,char);
4461         Safefree(ptr);
4462         ptr = new_ptr;
4463 #else
4464         ptr = (char*) saferealloc (ptr, allocate);
4465 #endif
4466     }
4467 #ifdef Perl_safesysmalloc_size
4468     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
4469 #else
4470     SvLEN_set(sv, allocate);
4471 #endif
4472     SvCUR_set(sv, len);
4473     SvPV_set(sv, ptr);
4474     if (!(flags & SV_HAS_TRAILING_NUL)) {
4475         ptr[len] = '\0';
4476     }
4477     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4478     SvTAINT(sv);
4479     if (flags & SV_SMAGIC)
4480         SvSETMAGIC(sv);
4481 }
4482
4483 #ifdef PERL_OLD_COPY_ON_WRITE
4484 /* Need to do this *after* making the SV normal, as we need the buffer
4485    pointer to remain valid until after we've copied it.  If we let go too early,
4486    another thread could invalidate it by unsharing last of the same hash key
4487    (which it can do by means other than releasing copy-on-write Svs)
4488    or by changing the other copy-on-write SVs in the loop.  */
4489 STATIC void
4490 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4491 {
4492     PERL_ARGS_ASSERT_SV_RELEASE_COW;
4493
4494     { /* this SV was SvIsCOW_normal(sv) */
4495          /* we need to find the SV pointing to us.  */
4496         SV *current = SV_COW_NEXT_SV(after);
4497
4498         if (current == sv) {
4499             /* The SV we point to points back to us (there were only two of us
4500                in the loop.)
4501                Hence other SV is no longer copy on write either.  */
4502             SvFAKE_off(after);
4503             SvREADONLY_off(after);
4504         } else {
4505             /* We need to follow the pointers around the loop.  */
4506             SV *next;
4507             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4508                 assert (next);
4509                 current = next;
4510                  /* don't loop forever if the structure is bust, and we have
4511                     a pointer into a closed loop.  */
4512                 assert (current != after);
4513                 assert (SvPVX_const(current) == pvx);
4514             }
4515             /* Make the SV before us point to the SV after us.  */
4516             SV_COW_NEXT_SV_SET(current, after);
4517         }
4518     }
4519 }
4520 #endif
4521 /*
4522 =for apidoc sv_force_normal_flags
4523
4524 Undo various types of fakery on an SV: if the PV is a shared string, make
4525 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4526 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4527 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4528 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4529 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4530 set to some other value.) In addition, the C<flags> parameter gets passed to
4531 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4532 with flags set to 0.
4533
4534 =cut
4535 */
4536
4537 void
4538 Perl_sv_force_normal_flags(pTHX_ register SV *const sv, const U32 flags)
4539 {
4540     dVAR;
4541
4542     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
4543
4544 #ifdef PERL_OLD_COPY_ON_WRITE
4545     if (SvREADONLY(sv)) {
4546         if (SvFAKE(sv)) {
4547             const char * const pvx = SvPVX_const(sv);
4548             const STRLEN len = SvLEN(sv);
4549             const STRLEN cur = SvCUR(sv);
4550             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4551                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4552                we'll fail an assertion.  */
4553             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4554
4555             if (DEBUG_C_TEST) {
4556                 PerlIO_printf(Perl_debug_log,
4557                               "Copy on write: Force normal %ld\n",
4558                               (long) flags);
4559                 sv_dump(sv);
4560             }
4561             SvFAKE_off(sv);
4562             SvREADONLY_off(sv);
4563             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4564             SvPV_set(sv, NULL);
4565             SvLEN_set(sv, 0);
4566             if (flags & SV_COW_DROP_PV) {
4567                 /* OK, so we don't need to copy our buffer.  */
4568                 SvPOK_off(sv);
4569             } else {
4570                 SvGROW(sv, cur + 1);
4571                 Move(pvx,SvPVX(sv),cur,char);
4572                 SvCUR_set(sv, cur);
4573                 *SvEND(sv) = '\0';
4574             }
4575             if (len) {
4576                 sv_release_COW(sv, pvx, next);
4577             } else {
4578                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4579             }
4580             if (DEBUG_C_TEST) {
4581                 sv_dump(sv);
4582             }
4583         }
4584         else if (IN_PERL_RUNTIME)
4585             Perl_croak(aTHX_ "%s", PL_no_modify);
4586     }
4587 #else
4588     if (SvREADONLY(sv)) {
4589         if (SvFAKE(sv)) {
4590             const char * const pvx = SvPVX_const(sv);
4591             const STRLEN len = SvCUR(sv);
4592             SvFAKE_off(sv);
4593             SvREADONLY_off(sv);
4594             SvPV_set(sv, NULL);
4595             SvLEN_set(sv, 0);
4596             SvGROW(sv, len + 1);
4597             Move(pvx,SvPVX(sv),len,char);
4598             *SvEND(sv) = '\0';
4599             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4600         }
4601         else if (IN_PERL_RUNTIME)
4602             Perl_croak(aTHX_ "%s", PL_no_modify);
4603     }
4604 #endif
4605     if (SvROK(sv))
4606         sv_unref_flags(sv, flags);
4607     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4608         sv_unglob(sv);
4609 }
4610
4611 /*
4612 =for apidoc sv_chop
4613
4614 Efficient removal of characters from the beginning of the string buffer.
4615 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4616 the string buffer.  The C<ptr> becomes the first character of the adjusted
4617 string. Uses the "OOK hack".
4618 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4619 refer to the same chunk of data.
4620
4621 =cut
4622 */
4623
4624 void
4625 Perl_sv_chop(pTHX_ register SV *const sv, register const char *const ptr)
4626 {
4627     STRLEN delta;
4628     STRLEN old_delta;
4629     U8 *p;
4630 #ifdef DEBUGGING
4631     const U8 *real_start;
4632 #endif
4633     STRLEN max_delta;
4634
4635     PERL_ARGS_ASSERT_SV_CHOP;
4636
4637     if (!ptr || !SvPOKp(sv))
4638         return;
4639     delta = ptr - SvPVX_const(sv);
4640     if (!delta) {
4641         /* Nothing to do.  */
4642         return;
4643     }
4644     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), but after this line,
4645        nothing uses the value of ptr any more.  */
4646     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
4647     if (ptr <= SvPVX_const(sv))
4648         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
4649                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
4650     SV_CHECK_THINKFIRST(sv);
4651     if (delta > max_delta)
4652         Perl_croak(aTHX_ "panic: sv_chop ptr=%p (was %p), start=%p, end=%p",
4653                    SvPVX_const(sv) + delta, ptr, SvPVX_const(sv),
4654                    SvPVX_const(sv) + max_delta);
4655
4656     if (!SvOOK(sv)) {
4657         if (!SvLEN(sv)) { /* make copy of shared string */
4658             const char *pvx = SvPVX_const(sv);
4659             const STRLEN len = SvCUR(sv);
4660             SvGROW(sv, len + 1);
4661             Move(pvx,SvPVX(sv),len,char);
4662             *SvEND(sv) = '\0';
4663         }
4664         SvFLAGS(sv) |= SVf_OOK;
4665         old_delta = 0;
4666     } else {
4667         SvOOK_offset(sv, old_delta);
4668     }
4669     SvLEN_set(sv, SvLEN(sv) - delta);
4670     SvCUR_set(sv, SvCUR(sv) - delta);
4671     SvPV_set(sv, SvPVX(sv) + delta);
4672
4673     p = (U8 *)SvPVX_const(sv);
4674
4675     delta += old_delta;
4676
4677 #ifdef DEBUGGING
4678     real_start = p - delta;
4679 #endif
4680
4681     assert(delta);
4682     if (delta < 0x100) {
4683         *--p = (U8) delta;
4684     } else {
4685         *--p = 0;
4686         p -= sizeof(STRLEN);
4687         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
4688     }
4689
4690 #ifdef DEBUGGING
4691     /* Fill the preceding buffer with sentinals to verify that no-one is
4692        using it.  */
4693     while (p > real_start) {
4694         --p;
4695         *p = (U8)PTR2UV(p);
4696     }
4697 #endif
4698 }
4699
4700 /*
4701 =for apidoc sv_catpvn
4702
4703 Concatenates the string onto the end of the string which is in the SV.  The
4704 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4705 status set, then the bytes appended should be valid UTF-8.
4706 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4707
4708 =for apidoc sv_catpvn_flags
4709
4710 Concatenates the string onto the end of the string which is in the SV.  The
4711 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4712 status set, then the bytes appended should be valid UTF-8.
4713 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4714 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4715 in terms of this function.
4716
4717 =cut
4718 */
4719
4720 void
4721 Perl_sv_catpvn_flags(pTHX_ register SV *const dsv, register const char *sstr, register const STRLEN slen, const I32 flags)
4722 {
4723     dVAR;
4724     STRLEN dlen;
4725     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4726
4727     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
4728
4729     SvGROW(dsv, dlen + slen + 1);
4730     if (sstr == dstr)
4731         sstr = SvPVX_const(dsv);
4732     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4733     SvCUR_set(dsv, SvCUR(dsv) + slen);
4734     *SvEND(dsv) = '\0';
4735     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4736     SvTAINT(dsv);
4737     if (flags & SV_SMAGIC)
4738         SvSETMAGIC(dsv);
4739 }
4740
4741 /*
4742 =for apidoc sv_catsv
4743
4744 Concatenates the string from SV C<ssv> onto the end of the string in
4745 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4746 not 'set' magic.  See C<sv_catsv_mg>.
4747
4748 =for apidoc sv_catsv_flags
4749
4750 Concatenates the string from SV C<ssv> onto the end of the string in
4751 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4752 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4753 and C<sv_catsv_nomg> are implemented in terms of this function.
4754
4755 =cut */
4756
4757 void
4758 Perl_sv_catsv_flags(pTHX_ SV *const dsv, register SV *const ssv, const I32 flags)
4759 {
4760     dVAR;
4761  
4762     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
4763
4764    if (ssv) {
4765         STRLEN slen;
4766         const char *spv = SvPV_const(ssv, slen);
4767         if (spv) {
4768             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4769                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4770                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4771                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4772                 dsv->sv_flags doesn't have that bit set.
4773                 Andy Dougherty  12 Oct 2001
4774             */
4775             const I32 sutf8 = DO_UTF8(ssv);
4776             I32 dutf8;
4777
4778             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4779                 mg_get(dsv);
4780             dutf8 = DO_UTF8(dsv);
4781
4782             if (dutf8 != sutf8) {
4783                 if (dutf8) {
4784                     /* Not modifying source SV, so taking a temporary copy. */
4785                     SV* const csv = newSVpvn_flags(spv, slen, SVs_TEMP);
4786
4787                     sv_utf8_upgrade(csv);
4788                     spv = SvPV_const(csv, slen);
4789                 }
4790                 else
4791                     /* Leave enough space for the cat that's about to happen */
4792                     sv_utf8_upgrade_flags_grow(dsv, 0, slen);
4793             }
4794             sv_catpvn_nomg(dsv, spv, slen);
4795         }
4796     }
4797     if (flags & SV_SMAGIC)
4798         SvSETMAGIC(dsv);
4799 }
4800
4801 /*
4802 =for apidoc sv_catpv
4803
4804 Concatenates the string onto the end of the string which is in the SV.
4805 If the SV has the UTF-8 status set, then the bytes appended should be
4806 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4807
4808 =cut */
4809
4810 void
4811 Perl_sv_catpv(pTHX_ register SV *const sv, register const char *ptr)
4812 {
4813     dVAR;
4814     register STRLEN len;
4815     STRLEN tlen;
4816     char *junk;
4817
4818     PERL_ARGS_ASSERT_SV_CATPV;
4819
4820     if (!ptr)
4821         return;
4822     junk = SvPV_force(sv, tlen);
4823     len = strlen(ptr);
4824     SvGROW(sv, tlen + len + 1);
4825     if (ptr == junk)
4826         ptr = SvPVX_const(sv);
4827     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4828     SvCUR_set(sv, SvCUR(sv) + len);
4829     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4830     SvTAINT(sv);
4831 }
4832
4833 /*
4834 =for apidoc sv_catpv_mg
4835
4836 Like C<sv_catpv>, but also handles 'set' magic.
4837
4838 =cut
4839 */
4840
4841 void
4842 Perl_sv_catpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4843 {
4844     PERL_ARGS_ASSERT_SV_CATPV_MG;
4845
4846     sv_catpv(sv,ptr);
4847     SvSETMAGIC(sv);
4848 }
4849
4850 /*
4851 =for apidoc newSV
4852
4853 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4854 bytes of preallocated string space the SV should have.  An extra byte for a
4855 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4856 space is allocated.)  The reference count for the new SV is set to 1.
4857
4858 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4859 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4860 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4861 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4862 modules supporting older perls.
4863
4864 =cut
4865 */
4866
4867 SV *
4868 Perl_newSV(pTHX_ const STRLEN len)
4869 {
4870     dVAR;
4871     register SV *sv;
4872
4873     new_SV(sv);
4874     if (len) {
4875         sv_upgrade(sv, SVt_PV);
4876         SvGROW(sv, len + 1);
4877     }
4878     return sv;
4879 }
4880 /*
4881 =for apidoc sv_magicext
4882
4883 Adds magic to an SV, upgrading it if necessary. Applies the
4884 supplied vtable and returns a pointer to the magic added.
4885
4886 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4887 In particular, you can add magic to SvREADONLY SVs, and add more than
4888 one instance of the same 'how'.
4889
4890 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4891 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4892 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4893 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4894
4895 (This is now used as a subroutine by C<sv_magic>.)
4896
4897 =cut
4898 */
4899 MAGIC * 
4900 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
4901                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
4902 {
4903     dVAR;
4904     MAGIC* mg;
4905
4906     PERL_ARGS_ASSERT_SV_MAGICEXT;
4907
4908     SvUPGRADE(sv, SVt_PVMG);
4909     Newxz(mg, 1, MAGIC);
4910     mg->mg_moremagic = SvMAGIC(sv);
4911     SvMAGIC_set(sv, mg);
4912
4913     /* Sometimes a magic contains a reference loop, where the sv and
4914        object refer to each other.  To prevent a reference loop that
4915        would prevent such objects being freed, we look for such loops
4916        and if we find one we avoid incrementing the object refcount.
4917
4918        Note we cannot do this to avoid self-tie loops as intervening RV must
4919        have its REFCNT incremented to keep it in existence.
4920
4921     */
4922     if (!obj || obj == sv ||
4923         how == PERL_MAGIC_arylen ||
4924         how == PERL_MAGIC_symtab ||
4925         (SvTYPE(obj) == SVt_PVGV &&
4926             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
4927              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
4928              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
4929     {
4930         mg->mg_obj = obj;
4931     }
4932     else {
4933         mg->mg_obj = SvREFCNT_inc_simple(obj);
4934         mg->mg_flags |= MGf_REFCOUNTED;
4935     }
4936
4937     /* Normal self-ties simply pass a null object, and instead of
4938        using mg_obj directly, use the SvTIED_obj macro to produce a
4939        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4940        with an RV obj pointing to the glob containing the PVIO.  In
4941        this case, to avoid a reference loop, we need to weaken the
4942        reference.
4943     */
4944
4945     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4946         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
4947     {
4948       sv_rvweaken(obj);
4949     }
4950
4951     mg->mg_type = how;
4952     mg->mg_len = namlen;
4953     if (name) {
4954         if (namlen > 0)
4955             mg->mg_ptr = savepvn(name, namlen);
4956         else if (namlen == HEf_SVKEY) {
4957             /* Yes, this is casting away const. This is only for the case of
4958                HEf_SVKEY. I think we need to document this abberation of the
4959                constness of the API, rather than making name non-const, as
4960                that change propagating outwards a long way.  */
4961             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
4962         } else
4963             mg->mg_ptr = (char *) name;
4964     }
4965     mg->mg_virtual = (MGVTBL *) vtable;
4966
4967     mg_magical(sv);
4968     if (SvGMAGICAL(sv))
4969         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4970     return mg;
4971 }
4972
4973 /*
4974 =for apidoc sv_magic
4975
4976 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4977 then adds a new magic item of type C<how> to the head of the magic list.
4978
4979 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4980 handling of the C<name> and C<namlen> arguments.
4981
4982 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4983 to add more than one instance of the same 'how'.
4984
4985 =cut
4986 */
4987
4988 void
4989 Perl_sv_magic(pTHX_ register SV *const sv, SV *const obj, const int how, 
4990              const char *const name, const I32 namlen)
4991 {
4992     dVAR;
4993     const MGVTBL *vtable;
4994     MAGIC* mg;
4995
4996     PERL_ARGS_ASSERT_SV_MAGIC;
4997
4998 #ifdef PERL_OLD_COPY_ON_WRITE
4999     if (SvIsCOW(sv))
5000         sv_force_normal_flags(sv, 0);
5001 #endif
5002     if (SvREADONLY(sv)) {
5003         if (
5004             /* its okay to attach magic to shared strings; the subsequent
5005              * upgrade to PVMG will unshare the string */
5006             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
5007
5008             && IN_PERL_RUNTIME
5009             && how != PERL_MAGIC_regex_global
5010             && how != PERL_MAGIC_bm
5011             && how != PERL_MAGIC_fm
5012             && how != PERL_MAGIC_sv
5013             && how != PERL_MAGIC_backref
5014            )
5015         {
5016             Perl_croak(aTHX_ "%s", PL_no_modify);
5017         }
5018     }
5019     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5020         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5021             /* sv_magic() refuses to add a magic of the same 'how' as an
5022                existing one
5023              */
5024             if (how == PERL_MAGIC_taint) {
5025                 mg->mg_len |= 1;
5026                 /* Any scalar which already had taint magic on which someone
5027                    (erroneously?) did SvIOK_on() or similar will now be
5028                    incorrectly sporting public "OK" flags.  */
5029                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
5030             }
5031             return;
5032         }
5033     }
5034
5035     switch (how) {
5036     case PERL_MAGIC_sv:
5037         vtable = &PL_vtbl_sv;
5038         break;
5039     case PERL_MAGIC_overload:
5040         vtable = &PL_vtbl_amagic;
5041         break;
5042     case PERL_MAGIC_overload_elem:
5043         vtable = &PL_vtbl_amagicelem;
5044         break;
5045     case PERL_MAGIC_overload_table:
5046         vtable = &PL_vtbl_ovrld;
5047         break;
5048     case PERL_MAGIC_bm:
5049         vtable = &PL_vtbl_bm;
5050         break;
5051     case PERL_MAGIC_regdata:
5052         vtable = &PL_vtbl_regdata;
5053         break;
5054     case PERL_MAGIC_regdatum:
5055         vtable = &PL_vtbl_regdatum;
5056         break;
5057     case PERL_MAGIC_env:
5058         vtable = &PL_vtbl_env;
5059         break;
5060     case PERL_MAGIC_fm:
5061         vtable = &PL_vtbl_fm;
5062         break;
5063     case PERL_MAGIC_envelem:
5064         vtable = &PL_vtbl_envelem;
5065         break;
5066     case PERL_MAGIC_regex_global:
5067         vtable = &PL_vtbl_mglob;
5068         break;
5069     case PERL_MAGIC_isa:
5070         vtable = &PL_vtbl_isa;
5071         break;
5072     case PERL_MAGIC_isaelem:
5073         vtable = &PL_vtbl_isaelem;
5074         break;
5075     case PERL_MAGIC_nkeys:
5076         vtable = &PL_vtbl_nkeys;
5077         break;
5078     case PERL_MAGIC_dbfile:
5079         vtable = NULL;
5080         break;
5081     case PERL_MAGIC_dbline:
5082         vtable = &PL_vtbl_dbline;
5083         break;
5084 #ifdef USE_LOCALE_COLLATE
5085     case PERL_MAGIC_collxfrm:
5086         vtable = &PL_vtbl_collxfrm;
5087         break;
5088 #endif /* USE_LOCALE_COLLATE */
5089     case PERL_MAGIC_tied:
5090         vtable = &PL_vtbl_pack;
5091         break;
5092     case PERL_MAGIC_tiedelem:
5093     case PERL_MAGIC_tiedscalar:
5094         vtable = &PL_vtbl_packelem;
5095         break;
5096     case PERL_MAGIC_qr:
5097         vtable = &PL_vtbl_regexp;
5098         break;
5099     case PERL_MAGIC_sig:
5100         vtable = &PL_vtbl_sig;
5101         break;
5102     case PERL_MAGIC_sigelem:
5103         vtable = &PL_vtbl_sigelem;
5104         break;
5105     case PERL_MAGIC_taint:
5106         vtable = &PL_vtbl_taint;
5107         break;
5108     case PERL_MAGIC_uvar:
5109         vtable = &PL_vtbl_uvar;
5110         break;
5111     case PERL_MAGIC_vec:
5112         vtable = &PL_vtbl_vec;
5113         break;
5114     case PERL_MAGIC_arylen_p:
5115     case PERL_MAGIC_rhash:
5116     case PERL_MAGIC_symtab:
5117     case PERL_MAGIC_vstring:
5118         vtable = NULL;
5119         break;
5120     case PERL_MAGIC_utf8:
5121         vtable = &PL_vtbl_utf8;
5122         break;
5123     case PERL_MAGIC_substr:
5124         vtable = &PL_vtbl_substr;
5125         break;
5126     case PERL_MAGIC_defelem:
5127         vtable = &PL_vtbl_defelem;
5128         break;
5129     case PERL_MAGIC_arylen:
5130         vtable = &PL_vtbl_arylen;
5131         break;
5132     case PERL_MAGIC_pos:
5133         vtable = &PL_vtbl_pos;
5134         break;
5135     case PERL_MAGIC_backref:
5136         vtable = &PL_vtbl_backref;
5137         break;
5138     case PERL_MAGIC_hintselem:
5139         vtable = &PL_vtbl_hintselem;
5140         break;
5141     case PERL_MAGIC_hints:
5142         vtable = &PL_vtbl_hints;
5143         break;
5144     case PERL_MAGIC_ext:
5145         /* Reserved for use by extensions not perl internals.           */
5146         /* Useful for attaching extension internal data to perl vars.   */
5147         /* Note that multiple extensions may clash if magical scalars   */
5148         /* etc holding private data from one are passed to another.     */
5149         vtable = NULL;
5150         break;
5151     default:
5152         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5153     }
5154
5155     /* Rest of work is done else where */
5156     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5157
5158     switch (how) {
5159     case PERL_MAGIC_taint:
5160         mg->mg_len = 1;
5161         break;
5162     case PERL_MAGIC_ext:
5163     case PERL_MAGIC_dbfile:
5164         SvRMAGICAL_on(sv);
5165         break;
5166     }
5167 }
5168
5169 /*
5170 =for apidoc sv_unmagic
5171
5172 Removes all magic of type C<type> from an SV.
5173
5174 =cut
5175 */
5176
5177 int
5178 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5179 {
5180     MAGIC* mg;
5181     MAGIC** mgp;
5182
5183     PERL_ARGS_ASSERT_SV_UNMAGIC;
5184
5185     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5186         return 0;
5187     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5188     for (mg = *mgp; mg; mg = *mgp) {
5189         if (mg->mg_type == type) {
5190             const MGVTBL* const vtbl = mg->mg_virtual;
5191             *mgp = mg->mg_moremagic;
5192             if (vtbl && vtbl->svt_free)
5193                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
5194             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5195                 if (mg->mg_len > 0)
5196                     Safefree(mg->mg_ptr);
5197                 else if (mg->mg_len == HEf_SVKEY)
5198                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5199                 else if (mg->mg_type == PERL_MAGIC_utf8)
5200                     Safefree(mg->mg_ptr);
5201             }
5202             if (mg->mg_flags & MGf_REFCOUNTED)
5203                 SvREFCNT_dec(mg->mg_obj);
5204             Safefree(mg);
5205         }
5206         else
5207             mgp = &mg->mg_moremagic;
5208     }
5209     if (!SvMAGIC(sv)) {
5210         SvMAGICAL_off(sv);
5211         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5212         SvMAGIC_set(sv, NULL);
5213     }
5214
5215     return 0;
5216 }
5217
5218 /*
5219 =for apidoc sv_rvweaken
5220
5221 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5222 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5223 push a back-reference to this RV onto the array of backreferences
5224 associated with that magic. If the RV is magical, set magic will be
5225 called after the RV is cleared.
5226
5227 =cut
5228 */
5229
5230 SV *
5231 Perl_sv_rvweaken(pTHX_ SV *const sv)
5232 {
5233     SV *tsv;
5234
5235     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5236
5237     if (!SvOK(sv))  /* let undefs pass */
5238         return sv;
5239     if (!SvROK(sv))
5240         Perl_croak(aTHX_ "Can't weaken a nonreference");
5241     else if (SvWEAKREF(sv)) {
5242         if (ckWARN(WARN_MISC))
5243             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5244         return sv;
5245     }
5246     tsv = SvRV(sv);
5247     Perl_sv_add_backref(aTHX_ tsv, sv);
5248     SvWEAKREF_on(sv);
5249     SvREFCNT_dec(tsv);
5250     return sv;
5251 }
5252
5253 /* Give tsv backref magic if it hasn't already got it, then push a
5254  * back-reference to sv onto the array associated with the backref magic.
5255  */
5256
5257 /* A discussion about the backreferences array and its refcount:
5258  *
5259  * The AV holding the backreferences is pointed to either as the mg_obj of
5260  * PERL_MAGIC_backref, or in the specific case of a HV that has the hv_aux
5261  * structure, from the xhv_backreferences field. (A HV without hv_aux will
5262  * have the standard magic instead.) The array is created with a refcount
5263  * of 2. This means that if during global destruction the array gets
5264  * picked on first to have its refcount decremented by the random zapper,
5265  * it won't actually be freed, meaning it's still theere for when its
5266  * parent gets freed.
5267  * When the parent SV is freed, in the case of magic, the magic is freed,
5268  * Perl_magic_killbackrefs is called which decrements one refcount, then
5269  * mg_obj is freed which kills the second count.
5270  * In the vase of a HV being freed, one ref is removed by
5271  * Perl_hv_kill_backrefs, the other by Perl_sv_kill_backrefs, which it
5272  * calls.
5273  */
5274
5275 void
5276 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5277 {
5278     dVAR;
5279     AV *av;
5280
5281     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5282
5283     if (SvTYPE(tsv) == SVt_PVHV) {
5284         AV **const avp = Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5285
5286         av = *avp;
5287         if (!av) {
5288             /* There is no AV in the offical place - try a fixup.  */
5289             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
5290
5291             if (mg) {
5292                 /* Aha. They've got it stowed in magic.  Bring it back.  */
5293                 av = MUTABLE_AV(mg->mg_obj);
5294                 /* Stop mg_free decreasing the refernce count.  */
5295                 mg->mg_obj = NULL;
5296                 /* Stop mg_free even calling the destructor, given that
5297                    there's no AV to free up.  */
5298                 mg->mg_virtual = 0;
5299                 sv_unmagic(tsv, PERL_MAGIC_backref);
5300             } else {
5301                 av = newAV();
5302                 AvREAL_off(av);
5303                 SvREFCNT_inc_simple_void(av); /* see discussion above */
5304             }
5305             *avp = av;
5306         }
5307     } else {
5308         const MAGIC *const mg
5309             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5310         if (mg)
5311             av = MUTABLE_AV(mg->mg_obj);
5312         else {
5313             av = newAV();
5314             AvREAL_off(av);
5315             sv_magic(tsv, MUTABLE_SV(av), PERL_MAGIC_backref, NULL, 0);
5316             /* av now has a refcnt of 2; see discussion above */
5317         }
5318     }
5319     if (AvFILLp(av) >= AvMAX(av)) {
5320         av_extend(av, AvFILLp(av)+1);
5321     }
5322     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5323 }
5324
5325 /* delete a back-reference to ourselves from the backref magic associated
5326  * with the SV we point to.
5327  */
5328
5329 STATIC void
5330 S_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5331 {
5332     dVAR;
5333     AV *av = NULL;
5334     SV **svp;
5335     I32 i;
5336
5337     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5338
5339     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
5340         av = *Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5341         /* We mustn't attempt to "fix up" the hash here by moving the
5342            backreference array back to the hv_aux structure, as that is stored
5343            in the main HvARRAY(), and hfreentries assumes that no-one
5344            reallocates HvARRAY() while it is running.  */
5345     }
5346     if (!av) {
5347         const MAGIC *const mg
5348             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5349         if (mg)
5350             av = MUTABLE_AV(mg->mg_obj);
5351     }
5352
5353     if (!av)
5354         Perl_croak(aTHX_ "panic: del_backref");
5355
5356     assert(!SvIS_FREED(av));
5357
5358     svp = AvARRAY(av);
5359     /* We shouldn't be in here more than once, but for paranoia reasons lets
5360        not assume this.  */
5361     for (i = AvFILLp(av); i >= 0; i--) {
5362         if (svp[i] == sv) {
5363             const SSize_t fill = AvFILLp(av);
5364             if (i != fill) {
5365                 /* We weren't the last entry.
5366                    An unordered list has this property that you can take the
5367                    last element off the end to fill the hole, and it's still
5368                    an unordered list :-)
5369                 */
5370                 svp[i] = svp[fill];
5371             }
5372             svp[fill] = NULL;
5373             AvFILLp(av) = fill - 1;
5374         }
5375     }
5376 }
5377
5378 int
5379 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
5380 {
5381     SV **svp = AvARRAY(av);
5382
5383     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
5384     PERL_UNUSED_ARG(sv);
5385
5386     assert(!svp || !SvIS_FREED(av));
5387     if (svp) {
5388         SV *const *const last = svp + AvFILLp(av);
5389
5390         while (svp <= last) {
5391             if (*svp) {
5392                 SV *const referrer = *svp;
5393                 if (SvWEAKREF(referrer)) {
5394                     /* XXX Should we check that it hasn't changed? */
5395                     SvRV_set(referrer, 0);
5396                     SvOK_off(referrer);
5397                     SvWEAKREF_off(referrer);
5398                     SvSETMAGIC(referrer);
5399                 } else if (SvTYPE(referrer) == SVt_PVGV ||
5400                            SvTYPE(referrer) == SVt_PVLV) {
5401                     /* You lookin' at me?  */
5402                     assert(GvSTASH(referrer));
5403                     assert(GvSTASH(referrer) == (const HV *)sv);
5404                     GvSTASH(referrer) = 0;
5405                 } else {
5406                     Perl_croak(aTHX_
5407                                "panic: magic_killbackrefs (flags=%"UVxf")",
5408                                (UV)SvFLAGS(referrer));
5409                 }
5410
5411                 *svp = NULL;
5412             }
5413             svp++;
5414         }
5415     }
5416     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
5417     return 0;
5418 }
5419
5420 /*
5421 =for apidoc sv_insert
5422
5423 Inserts a string at the specified offset/length within the SV. Similar to
5424 the Perl substr() function. Handles get magic.
5425
5426 =for apidoc sv_insert_flags
5427
5428 Same as C<sv_insert>, but the extra C<flags> are passed the C<SvPV_force_flags> that applies to C<bigstr>.
5429
5430 =cut
5431 */
5432
5433 void
5434 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
5435 {
5436     dVAR;
5437     register char *big;
5438     register char *mid;
5439     register char *midend;
5440     register char *bigend;
5441     register I32 i;
5442     STRLEN curlen;
5443
5444     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
5445
5446     if (!bigstr)
5447         Perl_croak(aTHX_ "Can't modify non-existent substring");
5448     SvPV_force_flags(bigstr, curlen, flags);
5449     (void)SvPOK_only_UTF8(bigstr);
5450     if (offset + len > curlen) {
5451         SvGROW(bigstr, offset+len+1);
5452         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
5453         SvCUR_set(bigstr, offset+len);
5454     }
5455
5456     SvTAINT(bigstr);
5457     i = littlelen - len;
5458     if (i > 0) {                        /* string might grow */
5459         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
5460         mid = big + offset + len;
5461         midend = bigend = big + SvCUR(bigstr);
5462         bigend += i;
5463         *bigend = '\0';
5464         while (midend > mid)            /* shove everything down */
5465             *--bigend = *--midend;
5466         Move(little,big+offset,littlelen,char);
5467         SvCUR_set(bigstr, SvCUR(bigstr) + i);
5468         SvSETMAGIC(bigstr);
5469         return;
5470     }
5471     else if (i == 0) {
5472         Move(little,SvPVX(bigstr)+offset,len,char);
5473         SvSETMAGIC(bigstr);
5474         return;
5475     }
5476
5477     big = SvPVX(bigstr);
5478     mid = big + offset;
5479     midend = mid + len;
5480     bigend = big + SvCUR(bigstr);
5481
5482     if (midend > bigend)
5483         Perl_croak(aTHX_ "panic: sv_insert");
5484
5485     if (mid - big > bigend - midend) {  /* faster to shorten from end */
5486         if (littlelen) {
5487             Move(little, mid, littlelen,char);
5488             mid += littlelen;
5489         }
5490         i = bigend - midend;
5491         if (i > 0) {
5492             Move(midend, mid, i,char);
5493             mid += i;
5494         }
5495         *mid = '\0';
5496         SvCUR_set(bigstr, mid - big);
5497     }
5498     else if ((i = mid - big)) { /* faster from front */
5499         midend -= littlelen;
5500         mid = midend;
5501         Move(big, midend - i, i, char);
5502         sv_chop(bigstr,midend-i);
5503         if (littlelen)
5504             Move(little, mid, littlelen,char);
5505     }
5506     else if (littlelen) {
5507         midend -= littlelen;
5508         sv_chop(bigstr,midend);
5509         Move(little,midend,littlelen,char);
5510     }
5511     else {
5512         sv_chop(bigstr,midend);
5513     }
5514     SvSETMAGIC(bigstr);
5515 }
5516
5517 /*
5518 =for apidoc sv_replace
5519
5520 Make the first argument a copy of the second, then delete the original.
5521 The target SV physically takes over ownership of the body of the source SV
5522 and inherits its flags; however, the target keeps any magic it owns,
5523 and any magic in the source is discarded.
5524 Note that this is a rather specialist SV copying operation; most of the
5525 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5526
5527 =cut
5528 */
5529
5530 void
5531 Perl_sv_replace(pTHX_ register SV *const sv, register SV *const nsv)
5532 {
5533     dVAR;
5534     const U32 refcnt = SvREFCNT(sv);
5535
5536     PERL_ARGS_ASSERT_SV_REPLACE;
5537
5538     SV_CHECK_THINKFIRST_COW_DROP(sv);
5539     if (SvREFCNT(nsv) != 1) {
5540         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
5541                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
5542     }
5543     if (SvMAGICAL(sv)) {
5544         if (SvMAGICAL(nsv))
5545             mg_free(nsv);
5546         else
5547             sv_upgrade(nsv, SVt_PVMG);
5548         SvMAGIC_set(nsv, SvMAGIC(sv));
5549         SvFLAGS(nsv) |= SvMAGICAL(sv);
5550         SvMAGICAL_off(sv);
5551         SvMAGIC_set(sv, NULL);
5552     }
5553     SvREFCNT(sv) = 0;
5554     sv_clear(sv);
5555     assert(!SvREFCNT(sv));
5556 #ifdef DEBUG_LEAKING_SCALARS
5557     sv->sv_flags  = nsv->sv_flags;
5558     sv->sv_any    = nsv->sv_any;
5559     sv->sv_refcnt = nsv->sv_refcnt;
5560     sv->sv_u      = nsv->sv_u;
5561 #else
5562     StructCopy(nsv,sv,SV);
5563 #endif
5564     if(SvTYPE(sv) == SVt_IV) {
5565         SvANY(sv)
5566             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5567     }
5568         
5569
5570 #ifdef PERL_OLD_COPY_ON_WRITE
5571     if (SvIsCOW_normal(nsv)) {
5572         /* We need to follow the pointers around the loop to make the
5573            previous SV point to sv, rather than nsv.  */
5574         SV *next;
5575         SV *current = nsv;
5576         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5577             assert(next);
5578             current = next;
5579             assert(SvPVX_const(current) == SvPVX_const(nsv));
5580         }
5581         /* Make the SV before us point to the SV after us.  */
5582         if (DEBUG_C_TEST) {
5583             PerlIO_printf(Perl_debug_log, "previous is\n");
5584             sv_dump(current);
5585             PerlIO_printf(Perl_debug_log,
5586                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5587                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5588         }
5589         SV_COW_NEXT_SV_SET(current, sv);
5590     }
5591 #endif
5592     SvREFCNT(sv) = refcnt;
5593     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5594     SvREFCNT(nsv) = 0;
5595     del_SV(nsv);
5596 }
5597
5598 /*
5599 =for apidoc sv_clear
5600
5601 Clear an SV: call any destructors, free up any memory used by the body,
5602 and free the body itself. The SV's head is I<not> freed, although
5603 its type is set to all 1's so that it won't inadvertently be assumed
5604 to be live during global destruction etc.
5605 This function should only be called when REFCNT is zero. Most of the time
5606 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5607 instead.
5608
5609 =cut
5610 */
5611
5612 void
5613 Perl_sv_clear(pTHX_ register SV *const sv)
5614 {
5615     dVAR;
5616     const U32 type = SvTYPE(sv);
5617     const struct body_details *const sv_type_details
5618         = bodies_by_type + type;
5619     HV *stash;
5620
5621     PERL_ARGS_ASSERT_SV_CLEAR;
5622     assert(SvREFCNT(sv) == 0);
5623     assert(SvTYPE(sv) != SVTYPEMASK);
5624
5625     if (type <= SVt_IV) {
5626         /* See the comment in sv.h about the collusion between this early
5627            return and the overloading of the NULL and IV slots in the size
5628            table.  */
5629         if (SvROK(sv)) {
5630             SV * const target = SvRV(sv);
5631             if (SvWEAKREF(sv))
5632                 sv_del_backref(target, sv);
5633             else
5634                 SvREFCNT_dec(target);
5635         }
5636         SvFLAGS(sv) &= SVf_BREAK;
5637         SvFLAGS(sv) |= SVTYPEMASK;
5638         return;
5639     }
5640
5641     if (SvOBJECT(sv)) {
5642         if (PL_defstash &&      /* Still have a symbol table? */
5643             SvDESTROYABLE(sv))
5644         {
5645             dSP;
5646             HV* stash;
5647             do {        
5648                 CV* destructor;
5649                 stash = SvSTASH(sv);
5650                 destructor = StashHANDLER(stash,DESTROY);
5651                 if (destructor
5652                         /* A constant subroutine can have no side effects, so
5653                            don't bother calling it.  */
5654                         && !CvCONST(destructor)
5655                         /* Don't bother calling an empty destructor */
5656                         && (CvISXSUB(destructor)
5657                         || CvSTART(destructor)->op_next->op_type != OP_LEAVESUB))
5658                 {
5659                     SV* const tmpref = newRV(sv);
5660                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5661                     ENTER;
5662                     PUSHSTACKi(PERLSI_DESTROY);
5663                     EXTEND(SP, 2);
5664                     PUSHMARK(SP);
5665                     PUSHs(tmpref);
5666                     PUTBACK;
5667                     call_sv(MUTABLE_SV(destructor), G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5668                 
5669                 
5670                     POPSTACK;
5671                     SPAGAIN;
5672                     LEAVE;
5673                     if(SvREFCNT(tmpref) < 2) {
5674                         /* tmpref is not kept alive! */
5675                         SvREFCNT(sv)--;
5676                         SvRV_set(tmpref, NULL);
5677                         SvROK_off(tmpref);
5678                     }
5679                     SvREFCNT_dec(tmpref);
5680                 }
5681             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5682
5683
5684             if (SvREFCNT(sv)) {
5685                 if (PL_in_clean_objs)
5686                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5687                           HvNAME_get(stash));
5688                 /* DESTROY gave object new lease on life */
5689                 return;
5690             }
5691         }
5692
5693         if (SvOBJECT(sv)) {
5694             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5695             SvOBJECT_off(sv);   /* Curse the object. */
5696             if (type != SVt_PVIO)
5697                 --PL_sv_objcount;       /* XXX Might want something more general */
5698         }
5699     }
5700     if (type >= SVt_PVMG) {
5701         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5702             SvREFCNT_dec(SvOURSTASH(sv));
5703         } else if (SvMAGIC(sv))
5704             mg_free(sv);
5705         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5706             SvREFCNT_dec(SvSTASH(sv));
5707     }
5708     switch (type) {
5709         /* case SVt_BIND: */
5710     case SVt_PVIO:
5711         if (IoIFP(sv) &&
5712             IoIFP(sv) != PerlIO_stdin() &&
5713             IoIFP(sv) != PerlIO_stdout() &&
5714             IoIFP(sv) != PerlIO_stderr())
5715         {
5716             io_close(MUTABLE_IO(sv), FALSE);
5717         }
5718         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5719             PerlDir_close(IoDIRP(sv));
5720         IoDIRP(sv) = (DIR*)NULL;
5721         Safefree(IoTOP_NAME(sv));
5722         Safefree(IoFMT_NAME(sv));
5723         Safefree(IoBOTTOM_NAME(sv));
5724         goto freescalar;
5725     case SVt_REGEXP:
5726         /* FIXME for plugins */
5727         pregfree2((REGEXP*) sv);
5728         goto freescalar;
5729     case SVt_PVCV:
5730     case SVt_PVFM:
5731         cv_undef(MUTABLE_CV(sv));
5732         goto freescalar;
5733     case SVt_PVHV:
5734         if (PL_last_swash_hv == (const HV *)sv) {
5735             PL_last_swash_hv = NULL;
5736         }
5737         Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
5738         hv_undef(MUTABLE_HV(sv));
5739         break;
5740     case SVt_PVAV:
5741         if (PL_comppad == MUTABLE_AV(sv)) {
5742             PL_comppad = NULL;
5743             PL_curpad = NULL;
5744         }
5745         av_undef(MUTABLE_AV(sv));
5746         break;
5747     case SVt_PVLV:
5748         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5749             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5750             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5751             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5752         }
5753         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5754             SvREFCNT_dec(LvTARG(sv));
5755     case SVt_PVGV:
5756         if (isGV_with_GP(sv)) {
5757             if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
5758                && HvNAME_get(stash))
5759                 mro_method_changed_in(stash);
5760             gp_free(MUTABLE_GV(sv));
5761             if (GvNAME_HEK(sv))
5762                 unshare_hek(GvNAME_HEK(sv));
5763             /* If we're in a stash, we don't own a reference to it. However it does
5764                have a back reference to us, which needs to be cleared.  */
5765             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5766                     sv_del_backref(MUTABLE_SV(stash), sv);
5767         }
5768         /* FIXME. There are probably more unreferenced pointers to SVs in the
5769            interpreter struct that we should check and tidy in a similar
5770            fashion to this:  */
5771         if ((const GV *)sv == PL_last_in_gv)
5772             PL_last_in_gv = NULL;
5773     case SVt_PVMG:
5774     case SVt_PVNV:
5775     case SVt_PVIV:
5776     case SVt_PV:
5777       freescalar:
5778         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5779         if (SvOOK(sv)) {
5780             STRLEN offset;
5781             SvOOK_offset(sv, offset);
5782             SvPV_set(sv, SvPVX_mutable(sv) - offset);
5783             /* Don't even bother with turning off the OOK flag.  */
5784         }
5785         if (SvROK(sv)) {
5786             SV * const target = SvRV(sv);
5787             if (SvWEAKREF(sv))
5788                 sv_del_backref(target, sv);
5789             else
5790                 SvREFCNT_dec(target);
5791         }
5792 #ifdef PERL_OLD_COPY_ON_WRITE
5793         else if (SvPVX_const(sv)) {
5794             if (SvIsCOW(sv)) {
5795                 if (DEBUG_C_TEST) {
5796                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5797                     sv_dump(sv);
5798                 }
5799                 if (SvLEN(sv)) {
5800                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5801                 } else {
5802                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5803                 }
5804
5805                 SvFAKE_off(sv);
5806             } else if (SvLEN(sv)) {
5807                 Safefree(SvPVX_const(sv));
5808             }
5809         }
5810 #else
5811         else if (SvPVX_const(sv) && SvLEN(sv))
5812             Safefree(SvPVX_mutable(sv));
5813         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5814             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5815             SvFAKE_off(sv);
5816         }
5817 #endif
5818         break;
5819     case SVt_NV:
5820         break;
5821     }
5822
5823     SvFLAGS(sv) &= SVf_BREAK;
5824     SvFLAGS(sv) |= SVTYPEMASK;
5825
5826     if (sv_type_details->arena) {
5827         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5828                  &PL_body_roots[type]);
5829     }
5830     else if (sv_type_details->body_size) {
5831         my_safefree(SvANY(sv));
5832     }
5833 }
5834
5835 /*
5836 =for apidoc sv_newref
5837
5838 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5839 instead.
5840
5841 =cut
5842 */
5843
5844 SV *
5845 Perl_sv_newref(pTHX_ SV *const sv)
5846 {
5847     PERL_UNUSED_CONTEXT;
5848     if (sv)
5849         (SvREFCNT(sv))++;
5850     return sv;
5851 }
5852
5853 /*
5854 =for apidoc sv_free
5855
5856 Decrement an SV's reference count, and if it drops to zero, call
5857 C<sv_clear> to invoke destructors and free up any memory used by
5858 the body; finally, deallocate the SV's head itself.
5859 Normally called via a wrapper macro C<SvREFCNT_dec>.
5860
5861 =cut
5862 */
5863
5864 void
5865 Perl_sv_free(pTHX_ SV *const sv)
5866 {
5867     dVAR;
5868     if (!sv)
5869         return;
5870     if (SvREFCNT(sv) == 0) {
5871         if (SvFLAGS(sv) & SVf_BREAK)
5872             /* this SV's refcnt has been artificially decremented to
5873              * trigger cleanup */
5874             return;
5875         if (PL_in_clean_all) /* All is fair */
5876             return;
5877         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5878             /* make sure SvREFCNT(sv)==0 happens very seldom */
5879             SvREFCNT(sv) = (~(U32)0)/2;
5880             return;
5881         }
5882         if (ckWARN_d(WARN_INTERNAL)) {
5883 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5884             Perl_dump_sv_child(aTHX_ sv);
5885 #else
5886   #ifdef DEBUG_LEAKING_SCALARS
5887             sv_dump(sv);
5888   #endif
5889 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5890             if (PL_warnhook == PERL_WARNHOOK_FATAL
5891                 || ckDEAD(packWARN(WARN_INTERNAL))) {
5892                 /* Don't let Perl_warner cause us to escape our fate:  */
5893                 abort();
5894             }
5895 #endif
5896             /* This may not return:  */
5897             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5898                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5899                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5900 #endif
5901         }
5902 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5903         abort();
5904 #endif
5905         return;
5906     }
5907     if (--(SvREFCNT(sv)) > 0)
5908         return;
5909     Perl_sv_free2(aTHX_ sv);
5910 }
5911
5912 void
5913 Perl_sv_free2(pTHX_ SV *const sv)
5914 {
5915     dVAR;
5916
5917     PERL_ARGS_ASSERT_SV_FREE2;
5918
5919 #ifdef DEBUGGING
5920     if (SvTEMP(sv)) {
5921         if (ckWARN_d(WARN_DEBUGGING))
5922             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5923                         "Attempt to free temp prematurely: SV 0x%"UVxf
5924                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5925         return;
5926     }
5927 #endif
5928     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5929         /* make sure SvREFCNT(sv)==0 happens very seldom */
5930         SvREFCNT(sv) = (~(U32)0)/2;
5931         return;
5932     }
5933     sv_clear(sv);
5934     if (! SvREFCNT(sv))
5935         del_SV(sv);
5936 }
5937
5938 /*
5939 =for apidoc sv_len
5940
5941 Returns the length of the string in the SV. Handles magic and type
5942 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5943
5944 =cut
5945 */
5946
5947 STRLEN
5948 Perl_sv_len(pTHX_ register SV *const sv)
5949 {
5950     STRLEN len;
5951
5952     if (!sv)
5953         return 0;
5954
5955     if (SvGMAGICAL(sv))
5956         len = mg_length(sv);
5957     else
5958         (void)SvPV_const(sv, len);
5959     return len;
5960 }
5961
5962 /*
5963 =for apidoc sv_len_utf8
5964
5965 Returns the number of characters in the string in an SV, counting wide
5966 UTF-8 bytes as a single character. Handles magic and type coercion.
5967
5968 =cut
5969 */
5970
5971 /*
5972  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
5973  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5974  * (Note that the mg_len is not the length of the mg_ptr field.
5975  * This allows the cache to store the character length of the string without
5976  * needing to malloc() extra storage to attach to the mg_ptr.)
5977  *
5978  */
5979
5980 STRLEN
5981 Perl_sv_len_utf8(pTHX_ register SV *const sv)
5982 {
5983     if (!sv)
5984         return 0;
5985
5986     if (SvGMAGICAL(sv))
5987         return mg_length(sv);
5988     else
5989     {
5990         STRLEN len;
5991         const U8 *s = (U8*)SvPV_const(sv, len);
5992
5993         if (PL_utf8cache) {
5994             STRLEN ulen;
5995             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5996
5997             if (mg && mg->mg_len != -1) {
5998                 ulen = mg->mg_len;
5999                 if (PL_utf8cache < 0) {
6000                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
6001                     if (real != ulen) {
6002                         /* Need to turn the assertions off otherwise we may
6003                            recurse infinitely while printing error messages.
6004                         */
6005                         SAVEI8(PL_utf8cache);
6006                         PL_utf8cache = 0;
6007                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
6008                                    " real %"UVuf" for %"SVf,
6009                                    (UV) ulen, (UV) real, SVfARG(sv));
6010                     }
6011                 }
6012             }
6013             else {
6014                 ulen = Perl_utf8_length(aTHX_ s, s + len);
6015                 if (!SvREADONLY(sv)) {
6016                     if (!mg) {
6017                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
6018                                          &PL_vtbl_utf8, 0, 0);
6019                     }
6020                     assert(mg);
6021                     mg->mg_len = ulen;
6022                 }
6023             }
6024             return ulen;
6025         }
6026         return Perl_utf8_length(aTHX_ s, s + len);
6027     }
6028 }
6029
6030 /* Walk forwards to find the byte corresponding to the passed in UTF-8
6031    offset.  */
6032 static STRLEN
6033 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
6034                       STRLEN uoffset)
6035 {
6036     const U8 *s = start;
6037
6038     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
6039
6040     while (s < send && uoffset--)
6041         s += UTF8SKIP(s);
6042     if (s > send) {
6043         /* This is the existing behaviour. Possibly it should be a croak, as
6044            it's actually a bounds error  */
6045         s = send;
6046     }
6047     return s - start;
6048 }
6049
6050 /* Given the length of the string in both bytes and UTF-8 characters, decide
6051    whether to walk forwards or backwards to find the byte corresponding to
6052    the passed in UTF-8 offset.  */
6053 static STRLEN
6054 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
6055                       const STRLEN uoffset, const STRLEN uend)
6056 {
6057     STRLEN backw = uend - uoffset;
6058
6059     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
6060
6061     if (uoffset < 2 * backw) {
6062         /* The assumption is that going forwards is twice the speed of going
6063            forward (that's where the 2 * backw comes from).
6064            (The real figure of course depends on the UTF-8 data.)  */
6065         return sv_pos_u2b_forwards(start, send, uoffset);
6066     }
6067
6068     while (backw--) {
6069         send--;
6070         while (UTF8_IS_CONTINUATION(*send))
6071             send--;
6072     }
6073     return send - start;
6074 }
6075
6076 /* For the string representation of the given scalar, find the byte
6077    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
6078    give another position in the string, *before* the sought offset, which
6079    (which is always true, as 0, 0 is a valid pair of positions), which should
6080    help reduce the amount of linear searching.
6081    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
6082    will be used to reduce the amount of linear searching. The cache will be
6083    created if necessary, and the found value offered to it for update.  */
6084 static STRLEN
6085 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
6086                     const U8 *const send, const STRLEN uoffset,
6087                     STRLEN uoffset0, STRLEN boffset0)
6088 {
6089     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
6090     bool found = FALSE;
6091
6092     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
6093
6094     assert (uoffset >= uoffset0);
6095
6096     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6097         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
6098         if ((*mgp)->mg_ptr) {
6099             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
6100             if (cache[0] == uoffset) {
6101                 /* An exact match. */
6102                 return cache[1];
6103             }
6104             if (cache[2] == uoffset) {
6105                 /* An exact match. */
6106                 return cache[3];
6107             }
6108
6109             if (cache[0] < uoffset) {
6110                 /* The cache already knows part of the way.   */
6111                 if (cache[0] > uoffset0) {
6112                     /* The cache knows more than the passed in pair  */
6113                     uoffset0 = cache[0];
6114                     boffset0 = cache[1];
6115                 }
6116                 if ((*mgp)->mg_len != -1) {
6117                     /* And we know the end too.  */
6118                     boffset = boffset0
6119                         + sv_pos_u2b_midway(start + boffset0, send,
6120                                               uoffset - uoffset0,
6121                                               (*mgp)->mg_len - uoffset0);
6122                 } else {
6123                     boffset = boffset0
6124                         + sv_pos_u2b_forwards(start + boffset0,
6125                                                 send, uoffset - uoffset0);
6126                 }
6127             }
6128             else if (cache[2] < uoffset) {
6129                 /* We're between the two cache entries.  */
6130                 if (cache[2] > uoffset0) {
6131                     /* and the cache knows more than the passed in pair  */
6132                     uoffset0 = cache[2];
6133                     boffset0 = cache[3];
6134                 }
6135
6136                 boffset = boffset0
6137                     + sv_pos_u2b_midway(start + boffset0,
6138                                           start + cache[1],
6139                                           uoffset - uoffset0,
6140                                           cache[0] - uoffset0);
6141             } else {
6142                 boffset = boffset0
6143                     + sv_pos_u2b_midway(start + boffset0,
6144                                           start + cache[3],
6145                                           uoffset - uoffset0,
6146                                           cache[2] - uoffset0);
6147             }
6148             found = TRUE;
6149         }
6150         else if ((*mgp)->mg_len != -1) {
6151             /* If we can take advantage of a passed in offset, do so.  */
6152             /* In fact, offset0 is either 0, or less than offset, so don't
6153                need to worry about the other possibility.  */
6154             boffset = boffset0
6155                 + sv_pos_u2b_midway(start + boffset0, send,
6156                                       uoffset - uoffset0,
6157                                       (*mgp)->mg_len - uoffset0);
6158             found = TRUE;
6159         }
6160     }
6161
6162     if (!found || PL_utf8cache < 0) {
6163         const STRLEN real_boffset
6164             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
6165                                                send, uoffset - uoffset0);
6166
6167         if (found && PL_utf8cache < 0) {
6168             if (real_boffset != boffset) {
6169                 /* Need to turn the assertions off otherwise we may recurse
6170                    infinitely while printing error messages.  */
6171                 SAVEI8(PL_utf8cache);
6172                 PL_utf8cache = 0;
6173                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
6174                            " real %"UVuf" for %"SVf,
6175                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
6176             }
6177         }
6178         boffset = real_boffset;
6179     }
6180
6181     if (PL_utf8cache)
6182         utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
6183     return boffset;
6184 }
6185
6186
6187 /*
6188 =for apidoc sv_pos_u2b
6189
6190 Converts the value pointed to by offsetp from a count of UTF-8 chars from
6191 the start of the string, to a count of the equivalent number of bytes; if
6192 lenp is non-zero, it does the same to lenp, but this time starting from
6193 the offset, rather than from the start of the string. Handles magic and
6194 type coercion.
6195
6196 =cut
6197 */
6198
6199 /*
6200  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
6201  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6202  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6203  *
6204  */
6205
6206 void
6207 Perl_sv_pos_u2b(pTHX_ register SV *const sv, I32 *const offsetp, I32 *const lenp)
6208 {
6209     const U8 *start;
6210     STRLEN len;
6211
6212     PERL_ARGS_ASSERT_SV_POS_U2B;
6213
6214     if (!sv)
6215         return;
6216
6217     start = (U8*)SvPV_const(sv, len);
6218     if (len) {
6219         STRLEN uoffset = (STRLEN) *offsetp;
6220         const U8 * const send = start + len;
6221         MAGIC *mg = NULL;
6222         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
6223                                              uoffset, 0, 0);
6224
6225         *offsetp = (I32) boffset;
6226
6227         if (lenp) {
6228             /* Convert the relative offset to absolute.  */
6229             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
6230             const STRLEN boffset2
6231                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
6232                                       uoffset, boffset) - boffset;
6233
6234             *lenp = boffset2;
6235         }
6236     }
6237     else {
6238          *offsetp = 0;
6239          if (lenp)
6240               *lenp = 0;
6241     }
6242
6243     return;
6244 }
6245
6246 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
6247    byte length pairing. The (byte) length of the total SV is passed in too,
6248    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
6249    may not have updated SvCUR, so we can't rely on reading it directly.
6250
6251    The proffered utf8/byte length pairing isn't used if the cache already has
6252    two pairs, and swapping either for the proffered pair would increase the
6253    RMS of the intervals between known byte offsets.
6254
6255    The cache itself consists of 4 STRLEN values
6256    0: larger UTF-8 offset
6257    1: corresponding byte offset
6258    2: smaller UTF-8 offset
6259    3: corresponding byte offset
6260
6261    Unused cache pairs have the value 0, 0.
6262    Keeping the cache "backwards" means that the invariant of
6263    cache[0] >= cache[2] is maintained even with empty slots, which means that
6264    the code that uses it doesn't need to worry if only 1 entry has actually
6265    been set to non-zero.  It also makes the "position beyond the end of the
6266    cache" logic much simpler, as the first slot is always the one to start
6267    from.   
6268 */
6269 static void
6270 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
6271                            const STRLEN utf8, const STRLEN blen)
6272 {
6273     STRLEN *cache;
6274
6275     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
6276
6277     if (SvREADONLY(sv))
6278         return;
6279
6280     if (!*mgp) {
6281         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
6282                            0);
6283         (*mgp)->mg_len = -1;
6284     }
6285     assert(*mgp);
6286
6287     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
6288         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
6289         (*mgp)->mg_ptr = (char *) cache;
6290     }
6291     assert(cache);
6292
6293     if (PL_utf8cache < 0) {
6294         const U8 *start = (const U8 *) SvPVX_const(sv);
6295         const STRLEN realutf8 = utf8_length(start, start + byte);
6296
6297         if (realutf8 != utf8) {
6298             /* Need to turn the assertions off otherwise we may recurse
6299                infinitely while printing error messages.  */
6300             SAVEI8(PL_utf8cache);
6301             PL_utf8cache = 0;
6302             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
6303                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
6304         }
6305     }
6306
6307     /* Cache is held with the later position first, to simplify the code
6308        that deals with unbounded ends.  */
6309        
6310     ASSERT_UTF8_CACHE(cache);
6311     if (cache[1] == 0) {
6312         /* Cache is totally empty  */
6313         cache[0] = utf8;
6314         cache[1] = byte;
6315     } else if (cache[3] == 0) {
6316         if (byte > cache[1]) {
6317             /* New one is larger, so goes first.  */
6318             cache[2] = cache[0];
6319             cache[3] = cache[1];
6320             cache[0] = utf8;
6321             cache[1] = byte;
6322         } else {
6323             cache[2] = utf8;
6324             cache[3] = byte;
6325         }
6326     } else {
6327 #define THREEWAY_SQUARE(a,b,c,d) \
6328             ((float)((d) - (c))) * ((float)((d) - (c))) \
6329             + ((float)((c) - (b))) * ((float)((c) - (b))) \
6330                + ((float)((b) - (a))) * ((float)((b) - (a)))
6331
6332         /* Cache has 2 slots in use, and we know three potential pairs.
6333            Keep the two that give the lowest RMS distance. Do the
6334            calcualation in bytes simply because we always know the byte
6335            length.  squareroot has the same ordering as the positive value,
6336            so don't bother with the actual square root.  */
6337         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
6338         if (byte > cache[1]) {
6339             /* New position is after the existing pair of pairs.  */
6340             const float keep_earlier
6341                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6342             const float keep_later
6343                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
6344
6345             if (keep_later < keep_earlier) {
6346                 if (keep_later < existing) {
6347                     cache[2] = cache[0];
6348                     cache[3] = cache[1];
6349                     cache[0] = utf8;
6350                     cache[1] = byte;
6351                 }
6352             }
6353             else {
6354                 if (keep_earlier < existing) {
6355                     cache[0] = utf8;
6356                     cache[1] = byte;
6357                 }
6358             }
6359         }
6360         else if (byte > cache[3]) {
6361             /* New position is between the existing pair of pairs.  */
6362             const float keep_earlier
6363                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6364             const float keep_later
6365                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6366
6367             if (keep_later < keep_earlier) {
6368                 if (keep_later < existing) {
6369                     cache[2] = utf8;
6370                     cache[3] = byte;
6371                 }
6372             }
6373             else {
6374                 if (keep_earlier < existing) {
6375                     cache[0] = utf8;
6376                     cache[1] = byte;
6377                 }
6378             }
6379         }
6380         else {
6381             /* New position is before the existing pair of pairs.  */
6382             const float keep_earlier
6383                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
6384             const float keep_later
6385                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6386
6387             if (keep_later < keep_earlier) {
6388                 if (keep_later < existing) {
6389                     cache[2] = utf8;
6390                     cache[3] = byte;
6391                 }
6392             }
6393             else {
6394                 if (keep_earlier < existing) {
6395                     cache[0] = cache[2];
6396                     cache[1] = cache[3];
6397                     cache[2] = utf8;
6398                     cache[3] = byte;
6399                 }
6400             }
6401         }
6402     }
6403     ASSERT_UTF8_CACHE(cache);
6404 }
6405
6406 /* We already know all of the way, now we may be able to walk back.  The same
6407    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
6408    backward is half the speed of walking forward. */
6409 static STRLEN
6410 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
6411                     const U8 *end, STRLEN endu)
6412 {
6413     const STRLEN forw = target - s;
6414     STRLEN backw = end - target;
6415
6416     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
6417
6418     if (forw < 2 * backw) {
6419         return utf8_length(s, target);
6420     }
6421
6422     while (end > target) {
6423         end--;
6424         while (UTF8_IS_CONTINUATION(*end)) {
6425             end--;
6426         }
6427         endu--;
6428     }
6429     return endu;
6430 }
6431
6432 /*
6433 =for apidoc sv_pos_b2u
6434
6435 Converts the value pointed to by offsetp from a count of bytes from the
6436 start of the string, to a count of the equivalent number of UTF-8 chars.
6437 Handles magic and type coercion.
6438
6439 =cut
6440 */
6441
6442 /*
6443  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
6444  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6445  * byte offsets.
6446  *
6447  */
6448 void
6449 Perl_sv_pos_b2u(pTHX_ register SV *const sv, I32 *const offsetp)
6450 {
6451     const U8* s;
6452     const STRLEN byte = *offsetp;
6453     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
6454     STRLEN blen;
6455     MAGIC* mg = NULL;
6456     const U8* send;
6457     bool found = FALSE;
6458
6459     PERL_ARGS_ASSERT_SV_POS_B2U;
6460
6461     if (!sv)
6462         return;
6463
6464     s = (const U8*)SvPV_const(sv, blen);
6465
6466     if (blen < byte)
6467         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
6468
6469     send = s + byte;
6470
6471     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
6472         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
6473         if (mg->mg_ptr) {
6474             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
6475             if (cache[1] == byte) {
6476                 /* An exact match. */
6477                 *offsetp = cache[0];
6478                 return;
6479             }
6480             if (cache[3] == byte) {
6481                 /* An exact match. */
6482                 *offsetp = cache[2];
6483                 return;
6484             }
6485
6486             if (cache[1] < byte) {
6487                 /* We already know part of the way. */
6488                 if (mg->mg_len != -1) {
6489                     /* Actually, we know the end too.  */
6490                     len = cache[0]
6491                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
6492                                               s + blen, mg->mg_len - cache[0]);
6493                 } else {
6494                     len = cache[0] + utf8_length(s + cache[1], send);
6495                 }
6496             }
6497             else if (cache[3] < byte) {
6498                 /* We're between the two cached pairs, so we do the calculation
6499                    offset by the byte/utf-8 positions for the earlier pair,
6500                    then add the utf-8 characters from the string start to
6501                    there.  */
6502                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
6503                                           s + cache[1], cache[0] - cache[2])
6504                     + cache[2];
6505
6506             }
6507             else { /* cache[3] > byte */
6508                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
6509                                           cache[2]);
6510
6511             }
6512             ASSERT_UTF8_CACHE(cache);
6513             found = TRUE;
6514         } else if (mg->mg_len != -1) {
6515             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
6516             found = TRUE;
6517         }
6518     }
6519     if (!found || PL_utf8cache < 0) {
6520         const STRLEN real_len = utf8_length(s, send);
6521
6522         if (found && PL_utf8cache < 0) {
6523             if (len != real_len) {
6524                 /* Need to turn the assertions off otherwise we may recurse
6525                    infinitely while printing error messages.  */
6526                 SAVEI8(PL_utf8cache);
6527                 PL_utf8cache = 0;
6528                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
6529                            " real %"UVuf" for %"SVf,
6530                            (UV) len, (UV) real_len, SVfARG(sv));
6531             }
6532         }
6533         len = real_len;
6534     }
6535     *offsetp = len;
6536
6537     if (PL_utf8cache)
6538         utf8_mg_pos_cache_update(sv, &mg, byte, len, blen);
6539 }
6540
6541 /*
6542 =for apidoc sv_eq
6543
6544 Returns a boolean indicating whether the strings in the two SVs are
6545 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6546 coerce its args to strings if necessary.
6547
6548 =cut
6549 */
6550
6551 I32
6552 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
6553 {
6554     dVAR;
6555     const char *pv1;
6556     STRLEN cur1;
6557     const char *pv2;
6558     STRLEN cur2;
6559     I32  eq     = 0;
6560     char *tpv   = NULL;
6561     SV* svrecode = NULL;
6562
6563     if (!sv1) {
6564         pv1 = "";
6565         cur1 = 0;
6566     }
6567     else {
6568         /* if pv1 and pv2 are the same, second SvPV_const call may
6569          * invalidate pv1, so we may need to make a copy */
6570         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6571             pv1 = SvPV_const(sv1, cur1);
6572             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
6573         }
6574         pv1 = SvPV_const(sv1, cur1);
6575     }
6576
6577     if (!sv2){
6578         pv2 = "";
6579         cur2 = 0;
6580     }
6581     else
6582         pv2 = SvPV_const(sv2, cur2);
6583
6584     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6585         /* Differing utf8ness.
6586          * Do not UTF8size the comparands as a side-effect. */
6587          if (PL_encoding) {
6588               if (SvUTF8(sv1)) {
6589                    svrecode = newSVpvn(pv2, cur2);
6590                    sv_recode_to_utf8(svrecode, PL_encoding);
6591                    pv2 = SvPV_const(svrecode, cur2);
6592               }
6593               else {
6594                    svrecode = newSVpvn(pv1, cur1);
6595                    sv_recode_to_utf8(svrecode, PL_encoding);
6596                    pv1 = SvPV_const(svrecode, cur1);
6597               }
6598               /* Now both are in UTF-8. */
6599               if (cur1 != cur2) {
6600                    SvREFCNT_dec(svrecode);
6601                    return FALSE;
6602               }
6603          }
6604          else {
6605               bool is_utf8 = TRUE;
6606
6607               if (SvUTF8(sv1)) {
6608                    /* sv1 is the UTF-8 one,
6609                     * if is equal it must be downgrade-able */
6610                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6611                                                      &cur1, &is_utf8);
6612                    if (pv != pv1)
6613                         pv1 = tpv = pv;
6614               }
6615               else {
6616                    /* sv2 is the UTF-8 one,
6617                     * if is equal it must be downgrade-able */
6618                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6619                                                       &cur2, &is_utf8);
6620                    if (pv != pv2)
6621                         pv2 = tpv = pv;
6622               }
6623               if (is_utf8) {
6624                    /* Downgrade not possible - cannot be eq */
6625                    assert (tpv == 0);
6626                    return FALSE;
6627               }
6628          }
6629     }
6630
6631     if (cur1 == cur2)
6632         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6633         
6634     SvREFCNT_dec(svrecode);
6635     if (tpv)
6636         Safefree(tpv);
6637
6638     return eq;
6639 }
6640
6641 /*
6642 =for apidoc sv_cmp
6643
6644 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6645 string in C<sv1> is less than, equal to, or greater than the string in
6646 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6647 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6648
6649 =cut
6650 */
6651
6652 I32
6653 Perl_sv_cmp(pTHX_ register SV *const sv1, register SV *const sv2)
6654 {
6655     dVAR;
6656     STRLEN cur1, cur2;
6657     const char *pv1, *pv2;
6658     char *tpv = NULL;
6659     I32  cmp;
6660     SV *svrecode = NULL;
6661
6662     if (!sv1) {
6663         pv1 = "";
6664         cur1 = 0;
6665     }
6666     else
6667         pv1 = SvPV_const(sv1, cur1);
6668
6669     if (!sv2) {
6670         pv2 = "";
6671         cur2 = 0;
6672     }
6673     else
6674         pv2 = SvPV_const(sv2, cur2);
6675
6676     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6677         /* Differing utf8ness.
6678          * Do not UTF8size the comparands as a side-effect. */
6679         if (SvUTF8(sv1)) {
6680             if (PL_encoding) {
6681                  svrecode = newSVpvn(pv2, cur2);
6682                  sv_recode_to_utf8(svrecode, PL_encoding);
6683                  pv2 = SvPV_const(svrecode, cur2);
6684             }
6685             else {
6686                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6687             }
6688         }
6689         else {
6690             if (PL_encoding) {
6691                  svrecode = newSVpvn(pv1, cur1);
6692                  sv_recode_to_utf8(svrecode, PL_encoding);
6693                  pv1 = SvPV_const(svrecode, cur1);
6694             }
6695             else {
6696                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6697             }
6698         }
6699     }
6700
6701     if (!cur1) {
6702         cmp = cur2 ? -1 : 0;
6703     } else if (!cur2) {
6704         cmp = 1;
6705     } else {
6706         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6707
6708         if (retval) {
6709             cmp = retval < 0 ? -1 : 1;
6710         } else if (cur1 == cur2) {
6711             cmp = 0;
6712         } else {
6713             cmp = cur1 < cur2 ? -1 : 1;
6714         }
6715     }
6716
6717     SvREFCNT_dec(svrecode);
6718     if (tpv)
6719         Safefree(tpv);
6720
6721     return cmp;
6722 }
6723
6724 /*
6725 =for apidoc sv_cmp_locale
6726
6727 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6728 'use bytes' aware, handles get magic, and will coerce its args to strings
6729 if necessary.  See also C<sv_cmp>.
6730
6731 =cut
6732 */
6733
6734 I32
6735 Perl_sv_cmp_locale(pTHX_ register SV *const sv1, register SV *const sv2)
6736 {
6737     dVAR;
6738 #ifdef USE_LOCALE_COLLATE
6739
6740     char *pv1, *pv2;
6741     STRLEN len1, len2;
6742     I32 retval;
6743
6744     if (PL_collation_standard)
6745         goto raw_compare;
6746
6747     len1 = 0;
6748     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6749     len2 = 0;
6750     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6751
6752     if (!pv1 || !len1) {
6753         if (pv2 && len2)
6754             return -1;
6755         else
6756             goto raw_compare;
6757     }
6758     else {
6759         if (!pv2 || !len2)
6760             return 1;
6761     }
6762
6763     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6764
6765     if (retval)
6766         return retval < 0 ? -1 : 1;
6767
6768     /*
6769      * When the result of collation is equality, that doesn't mean
6770      * that there are no differences -- some locales exclude some
6771      * characters from consideration.  So to avoid false equalities,
6772      * we use the raw string as a tiebreaker.
6773      */
6774
6775   raw_compare:
6776     /*FALLTHROUGH*/
6777
6778 #endif /* USE_LOCALE_COLLATE */
6779
6780     return sv_cmp(sv1, sv2);
6781 }
6782
6783
6784 #ifdef USE_LOCALE_COLLATE
6785
6786 /*
6787 =for apidoc sv_collxfrm
6788
6789 Add Collate Transform magic to an SV if it doesn't already have it.
6790
6791 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6792 scalar data of the variable, but transformed to such a format that a normal
6793 memory comparison can be used to compare the data according to the locale
6794 settings.
6795
6796 =cut
6797 */
6798
6799 char *
6800 Perl_sv_collxfrm(pTHX_ SV *const sv, STRLEN *const nxp)
6801 {
6802     dVAR;
6803     MAGIC *mg;
6804
6805     PERL_ARGS_ASSERT_SV_COLLXFRM;
6806
6807     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6808     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6809         const char *s;
6810         char *xf;
6811         STRLEN len, xlen;
6812
6813         if (mg)
6814             Safefree(mg->mg_ptr);
6815         s = SvPV_const(sv, len);
6816         if ((xf = mem_collxfrm(s, len, &xlen))) {
6817             if (! mg) {
6818 #ifdef PERL_OLD_COPY_ON_WRITE
6819                 if (SvIsCOW(sv))
6820                     sv_force_normal_flags(sv, 0);
6821 #endif
6822                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6823                                  0, 0);
6824                 assert(mg);
6825             }
6826             mg->mg_ptr = xf;
6827             mg->mg_len = xlen;
6828         }
6829         else {
6830             if (mg) {
6831                 mg->mg_ptr = NULL;
6832                 mg->mg_len = -1;
6833             }
6834         }
6835     }
6836     if (mg && mg->mg_ptr) {
6837         *nxp = mg->mg_len;
6838         return mg->mg_ptr + sizeof(PL_collation_ix);
6839     }
6840     else {
6841         *nxp = 0;
6842         return NULL;
6843     }
6844 }
6845
6846 #endif /* USE_LOCALE_COLLATE */
6847
6848 /*
6849 =for apidoc sv_gets
6850
6851 Get a line from the filehandle and store it into the SV, optionally
6852 appending to the currently-stored string.
6853
6854 =cut
6855 */
6856
6857 char *
6858 Perl_sv_gets(pTHX_ register SV *const sv, register PerlIO *const fp, I32 append)
6859 {
6860     dVAR;
6861     const char *rsptr;
6862     STRLEN rslen;
6863     register STDCHAR rslast;
6864     register STDCHAR *bp;
6865     register I32 cnt;
6866     I32 i = 0;
6867     I32 rspara = 0;
6868
6869     PERL_ARGS_ASSERT_SV_GETS;
6870
6871     if (SvTHINKFIRST(sv))
6872         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6873     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6874        from <>.
6875        However, perlbench says it's slower, because the existing swipe code
6876        is faster than copy on write.
6877        Swings and roundabouts.  */
6878     SvUPGRADE(sv, SVt_PV);
6879
6880     SvSCREAM_off(sv);
6881
6882     if (append) {
6883         if (PerlIO_isutf8(fp)) {
6884             if (!SvUTF8(sv)) {
6885                 sv_utf8_upgrade_nomg(sv);
6886                 sv_pos_u2b(sv,&append,0);
6887             }
6888         } else if (SvUTF8(sv)) {
6889             SV * const tsv = newSV(0);
6890             sv_gets(tsv, fp, 0);
6891             sv_utf8_upgrade_nomg(tsv);
6892             SvCUR_set(sv,append);
6893             sv_catsv(sv,tsv);
6894             sv_free(tsv);
6895             goto return_string_or_null;
6896         }
6897     }
6898
6899     SvPOK_only(sv);
6900     if (PerlIO_isutf8(fp))
6901         SvUTF8_on(sv);
6902
6903     if (IN_PERL_COMPILETIME) {
6904         /* we always read code in line mode */
6905         rsptr = "\n";
6906         rslen = 1;
6907     }
6908     else if (RsSNARF(PL_rs)) {
6909         /* If it is a regular disk file use size from stat() as estimate
6910            of amount we are going to read -- may result in mallocing
6911            more memory than we really need if the layers below reduce
6912            the size we read (e.g. CRLF or a gzip layer).
6913          */
6914         Stat_t st;
6915         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6916             const Off_t offset = PerlIO_tell(fp);
6917             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6918                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6919             }
6920         }
6921         rsptr = NULL;
6922         rslen = 0;
6923     }
6924     else if (RsRECORD(PL_rs)) {
6925       I32 bytesread;
6926       char *buffer;
6927       U32 recsize;
6928 #ifdef VMS
6929       int fd;
6930 #endif
6931
6932       /* Grab the size of the record we're getting */
6933       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6934       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6935       /* Go yank in */
6936 #ifdef VMS
6937       /* VMS wants read instead of fread, because fread doesn't respect */
6938       /* RMS record boundaries. This is not necessarily a good thing to be */
6939       /* doing, but we've got no other real choice - except avoid stdio
6940          as implementation - perhaps write a :vms layer ?
6941        */
6942       fd = PerlIO_fileno(fp);
6943       if (fd == -1) { /* in-memory file from PerlIO::Scalar */
6944           bytesread = PerlIO_read(fp, buffer, recsize);
6945       }
6946       else {
6947           bytesread = PerlLIO_read(fd, buffer, recsize);
6948       }
6949 #else
6950       bytesread = PerlIO_read(fp, buffer, recsize);
6951 #endif
6952       if (bytesread < 0)
6953           bytesread = 0;
6954       SvCUR_set(sv, bytesread + append);
6955       buffer[bytesread] = '\0';
6956       goto return_string_or_null;
6957     }
6958     else if (RsPARA(PL_rs)) {
6959         rsptr = "\n\n";
6960         rslen = 2;
6961         rspara = 1;
6962     }
6963     else {
6964         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6965         if (PerlIO_isutf8(fp)) {
6966             rsptr = SvPVutf8(PL_rs, rslen);
6967         }
6968         else {
6969             if (SvUTF8(PL_rs)) {
6970                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6971                     Perl_croak(aTHX_ "Wide character in $/");
6972                 }
6973             }
6974             rsptr = SvPV_const(PL_rs, rslen);
6975         }
6976     }
6977
6978     rslast = rslen ? rsptr[rslen - 1] : '\0';
6979
6980     if (rspara) {               /* have to do this both before and after */
6981         do {                    /* to make sure file boundaries work right */
6982             if (PerlIO_eof(fp))
6983                 return 0;
6984             i = PerlIO_getc(fp);
6985             if (i != '\n') {
6986                 if (i == -1)
6987                     return 0;
6988                 PerlIO_ungetc(fp,i);
6989                 break;
6990             }
6991         } while (i != EOF);
6992     }
6993
6994     /* See if we know enough about I/O mechanism to cheat it ! */
6995
6996     /* This used to be #ifdef test - it is made run-time test for ease
6997        of abstracting out stdio interface. One call should be cheap
6998        enough here - and may even be a macro allowing compile
6999        time optimization.
7000      */
7001
7002     if (PerlIO_fast_gets(fp)) {
7003
7004     /*
7005      * We're going to steal some values from the stdio struct
7006      * and put EVERYTHING in the innermost loop into registers.
7007      */
7008     register STDCHAR *ptr;
7009     STRLEN bpx;
7010     I32 shortbuffered;
7011
7012 #if defined(VMS) && defined(PERLIO_IS_STDIO)
7013     /* An ungetc()d char is handled separately from the regular
7014      * buffer, so we getc() it back out and stuff it in the buffer.
7015      */
7016     i = PerlIO_getc(fp);
7017     if (i == EOF) return 0;
7018     *(--((*fp)->_ptr)) = (unsigned char) i;
7019     (*fp)->_cnt++;
7020 #endif
7021
7022     /* Here is some breathtakingly efficient cheating */
7023
7024     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
7025     /* make sure we have the room */
7026     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
7027         /* Not room for all of it
7028            if we are looking for a separator and room for some
7029          */
7030         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
7031             /* just process what we have room for */
7032             shortbuffered = cnt - SvLEN(sv) + append + 1;
7033             cnt -= shortbuffered;
7034         }
7035         else {
7036             shortbuffered = 0;
7037             /* remember that cnt can be negative */
7038             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
7039         }
7040     }
7041     else
7042         shortbuffered = 0;
7043     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
7044     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
7045     DEBUG_P(PerlIO_printf(Perl_debug_log,
7046         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7047     DEBUG_P(PerlIO_printf(Perl_debug_log,
7048         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7049                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7050                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
7051     for (;;) {
7052       screamer:
7053         if (cnt > 0) {
7054             if (rslen) {
7055                 while (cnt > 0) {                    /* this     |  eat */
7056                     cnt--;
7057                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
7058                         goto thats_all_folks;        /* screams  |  sed :-) */
7059                 }
7060             }
7061             else {
7062                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
7063                 bp += cnt;                           /* screams  |  dust */
7064                 ptr += cnt;                          /* louder   |  sed :-) */
7065                 cnt = 0;
7066             }
7067         }
7068         
7069         if (shortbuffered) {            /* oh well, must extend */
7070             cnt = shortbuffered;
7071             shortbuffered = 0;
7072             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
7073             SvCUR_set(sv, bpx);
7074             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
7075             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
7076             continue;
7077         }
7078
7079         DEBUG_P(PerlIO_printf(Perl_debug_log,
7080                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
7081                               PTR2UV(ptr),(long)cnt));
7082         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
7083 #if 0
7084         DEBUG_P(PerlIO_printf(Perl_debug_log,
7085             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7086             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7087             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7088 #endif
7089         /* This used to call 'filbuf' in stdio form, but as that behaves like
7090            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
7091            another abstraction.  */
7092         i   = PerlIO_getc(fp);          /* get more characters */
7093 #if 0
7094         DEBUG_P(PerlIO_printf(Perl_debug_log,
7095             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7096             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7097             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7098 #endif
7099         cnt = PerlIO_get_cnt(fp);
7100         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
7101         DEBUG_P(PerlIO_printf(Perl_debug_log,
7102             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7103
7104         if (i == EOF)                   /* all done for ever? */
7105             goto thats_really_all_folks;
7106
7107         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
7108         SvCUR_set(sv, bpx);
7109         SvGROW(sv, bpx + cnt + 2);
7110         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
7111
7112         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
7113
7114         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
7115             goto thats_all_folks;
7116     }
7117
7118 thats_all_folks:
7119     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
7120           memNE((char*)bp - rslen, rsptr, rslen))
7121         goto screamer;                          /* go back to the fray */
7122 thats_really_all_folks:
7123     if (shortbuffered)
7124         cnt += shortbuffered;
7125         DEBUG_P(PerlIO_printf(Perl_debug_log,
7126             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7127     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
7128     DEBUG_P(PerlIO_printf(Perl_debug_log,
7129         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7130         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7131         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7132     *bp = '\0';
7133     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
7134     DEBUG_P(PerlIO_printf(Perl_debug_log,
7135         "Screamer: done, len=%ld, string=|%.*s|\n",
7136         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
7137     }
7138    else
7139     {
7140        /*The big, slow, and stupid way. */
7141 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
7142         STDCHAR *buf = NULL;
7143         Newx(buf, 8192, STDCHAR);
7144         assert(buf);
7145 #else
7146         STDCHAR buf[8192];
7147 #endif
7148
7149 screamer2:
7150         if (rslen) {
7151             register const STDCHAR * const bpe = buf + sizeof(buf);
7152             bp = buf;
7153             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
7154                 ; /* keep reading */
7155             cnt = bp - buf;
7156         }
7157         else {
7158             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
7159             /* Accomodate broken VAXC compiler, which applies U8 cast to
7160              * both args of ?: operator, causing EOF to change into 255
7161              */
7162             if (cnt > 0)
7163                  i = (U8)buf[cnt - 1];
7164             else
7165                  i = EOF;
7166         }
7167
7168         if (cnt < 0)
7169             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
7170         if (append)
7171              sv_catpvn(sv, (char *) buf, cnt);
7172         else
7173              sv_setpvn(sv, (char *) buf, cnt);
7174
7175         if (i != EOF &&                 /* joy */
7176             (!rslen ||
7177              SvCUR(sv) < rslen ||
7178              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
7179         {
7180             append = -1;
7181             /*
7182              * If we're reading from a TTY and we get a short read,
7183              * indicating that the user hit his EOF character, we need
7184              * to notice it now, because if we try to read from the TTY
7185              * again, the EOF condition will disappear.
7186              *
7187              * The comparison of cnt to sizeof(buf) is an optimization
7188              * that prevents unnecessary calls to feof().
7189              *
7190              * - jik 9/25/96
7191              */
7192             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
7193                 goto screamer2;
7194         }
7195
7196 #ifdef USE_HEAP_INSTEAD_OF_STACK
7197         Safefree(buf);
7198 #endif
7199     }
7200
7201     if (rspara) {               /* have to do this both before and after */
7202         while (i != EOF) {      /* to make sure file boundaries work right */
7203             i = PerlIO_getc(fp);
7204             if (i != '\n') {
7205                 PerlIO_ungetc(fp,i);
7206                 break;
7207             }
7208         }
7209     }
7210
7211 return_string_or_null:
7212     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7213 }
7214
7215 /*
7216 =for apidoc sv_inc
7217
7218 Auto-increment of the value in the SV, doing string to numeric conversion
7219 if necessary. Handles 'get' magic.
7220
7221 =cut
7222 */
7223
7224 void
7225 Perl_sv_inc(pTHX_ register SV *const sv)
7226 {
7227     dVAR;
7228     register char *d;
7229     int flags;
7230
7231     if (!sv)
7232         return;
7233     SvGETMAGIC(sv);
7234     if (SvTHINKFIRST(sv)) {
7235         if (SvIsCOW(sv))
7236             sv_force_normal_flags(sv, 0);
7237         if (SvREADONLY(sv)) {
7238             if (IN_PERL_RUNTIME)
7239                 Perl_croak(aTHX_ "%s", PL_no_modify);
7240         }
7241         if (SvROK(sv)) {
7242             IV i;
7243             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
7244                 return;
7245             i = PTR2IV(SvRV(sv));
7246             sv_unref(sv);
7247             sv_setiv(sv, i);
7248         }
7249     }
7250     flags = SvFLAGS(sv);
7251     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
7252         /* It's (privately or publicly) a float, but not tested as an
7253            integer, so test it to see. */
7254         (void) SvIV(sv);
7255         flags = SvFLAGS(sv);
7256     }
7257     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7258         /* It's publicly an integer, or privately an integer-not-float */
7259 #ifdef PERL_PRESERVE_IVUV
7260       oops_its_int:
7261 #endif
7262         if (SvIsUV(sv)) {
7263             if (SvUVX(sv) == UV_MAX)
7264                 sv_setnv(sv, UV_MAX_P1);
7265             else
7266                 (void)SvIOK_only_UV(sv);
7267                 SvUV_set(sv, SvUVX(sv) + 1);
7268         } else {
7269             if (SvIVX(sv) == IV_MAX)
7270                 sv_setuv(sv, (UV)IV_MAX + 1);
7271             else {
7272                 (void)SvIOK_only(sv);
7273                 SvIV_set(sv, SvIVX(sv) + 1);
7274             }   
7275         }
7276         return;
7277     }
7278     if (flags & SVp_NOK) {
7279         const NV was = SvNVX(sv);
7280         if (NV_OVERFLOWS_INTEGERS_AT &&
7281             was >= NV_OVERFLOWS_INTEGERS_AT && ckWARN(WARN_IMPRECISION)) {
7282             Perl_warner(aTHX_ packWARN(WARN_IMPRECISION),
7283                         "Lost precision when incrementing %" NVff " by 1",
7284                         was);
7285         }
7286         (void)SvNOK_only(sv);
7287         SvNV_set(sv, was + 1.0);
7288         return;
7289     }
7290
7291     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
7292         if ((flags & SVTYPEMASK) < SVt_PVIV)
7293             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
7294         (void)SvIOK_only(sv);
7295         SvIV_set(sv, 1);
7296         return;
7297     }
7298     d = SvPVX(sv);
7299     while (isALPHA(*d)) d++;
7300     while (isDIGIT(*d)) d++;
7301     if (d < SvEND(sv)) {
7302 #ifdef PERL_PRESERVE_IVUV
7303         /* Got to punt this as an integer if needs be, but we don't issue
7304            warnings. Probably ought to make the sv_iv_please() that does
7305            the conversion if possible, and silently.  */
7306         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7307         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7308             /* Need to try really hard to see if it's an integer.
7309                9.22337203685478e+18 is an integer.
7310                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7311                so $a="9.22337203685478e+18"; $a+0; $a++
7312                needs to be the same as $a="9.22337203685478e+18"; $a++
7313                or we go insane. */
7314         
7315             (void) sv_2iv(sv);
7316             if (SvIOK(sv))
7317                 goto oops_its_int;
7318
7319             /* sv_2iv *should* have made this an NV */
7320             if (flags & SVp_NOK) {
7321                 (void)SvNOK_only(sv);
7322                 SvNV_set(sv, SvNVX(sv) + 1.0);
7323                 return;
7324             }
7325             /* I don't think we can get here. Maybe I should assert this
7326                And if we do get here I suspect that sv_setnv will croak. NWC
7327                Fall through. */
7328 #if defined(USE_LONG_DOUBLE)
7329             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7330                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7331 #else
7332             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7333                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7334 #endif
7335         }
7336 #endif /* PERL_PRESERVE_IVUV */
7337         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
7338         return;
7339     }
7340     d--;
7341     while (d >= SvPVX_const(sv)) {
7342         if (isDIGIT(*d)) {
7343             if (++*d <= '9')
7344                 return;
7345             *(d--) = '0';
7346         }
7347         else {
7348 #ifdef EBCDIC
7349             /* MKS: The original code here died if letters weren't consecutive.
7350              * at least it didn't have to worry about non-C locales.  The
7351              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
7352              * arranged in order (although not consecutively) and that only
7353              * [A-Za-z] are accepted by isALPHA in the C locale.
7354              */
7355             if (*d != 'z' && *d != 'Z') {
7356                 do { ++*d; } while (!isALPHA(*d));
7357                 return;
7358             }
7359             *(d--) -= 'z' - 'a';
7360 #else
7361             ++*d;
7362             if (isALPHA(*d))
7363                 return;
7364             *(d--) -= 'z' - 'a' + 1;
7365 #endif
7366         }
7367     }
7368     /* oh,oh, the number grew */
7369     SvGROW(sv, SvCUR(sv) + 2);
7370     SvCUR_set(sv, SvCUR(sv) + 1);
7371     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
7372         *d = d[-1];
7373     if (isDIGIT(d[1]))
7374         *d = '1';
7375     else
7376         *d = d[1];
7377 }
7378
7379 /*
7380 =for apidoc sv_dec
7381
7382 Auto-decrement of the value in the SV, doing string to numeric conversion
7383 if necessary. Handles 'get' magic.
7384
7385 =cut
7386 */
7387
7388 void
7389 Perl_sv_dec(pTHX_ register SV *const sv)
7390 {
7391     dVAR;
7392     int flags;
7393
7394     if (!sv)
7395         return;
7396     SvGETMAGIC(sv);
7397     if (SvTHINKFIRST(sv)) {
7398         if (SvIsCOW(sv))
7399             sv_force_normal_flags(sv, 0);
7400         if (SvREADONLY(sv)) {
7401             if (IN_PERL_RUNTIME)
7402                 Perl_croak(aTHX_ "%s", PL_no_modify);
7403         }
7404         if (SvROK(sv)) {
7405             IV i;
7406             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
7407                 return;
7408             i = PTR2IV(SvRV(sv));
7409             sv_unref(sv);
7410             sv_setiv(sv, i);
7411         }
7412     }
7413     /* Unlike sv_inc we don't have to worry about string-never-numbers
7414        and keeping them magic. But we mustn't warn on punting */
7415     flags = SvFLAGS(sv);
7416     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7417         /* It's publicly an integer, or privately an integer-not-float */
7418 #ifdef PERL_PRESERVE_IVUV
7419       oops_its_int:
7420 #endif
7421         if (SvIsUV(sv)) {
7422             if (SvUVX(sv) == 0) {
7423                 (void)SvIOK_only(sv);
7424                 SvIV_set(sv, -1);
7425             }
7426             else {
7427                 (void)SvIOK_only_UV(sv);
7428                 SvUV_set(sv, SvUVX(sv) - 1);
7429             }   
7430         } else {
7431             if (SvIVX(sv) == IV_MIN) {
7432                 sv_setnv(sv, (NV)IV_MIN);
7433                 goto oops_its_num;
7434             }
7435             else {
7436                 (void)SvIOK_only(sv);
7437                 SvIV_set(sv, SvIVX(sv) - 1);
7438             }   
7439         }
7440         return;
7441     }
7442     if (flags & SVp_NOK) {
7443     oops_its_num:
7444         {
7445             const NV was = SvNVX(sv);
7446             if (NV_OVERFLOWS_INTEGERS_AT &&
7447                 was <= -NV_OVERFLOWS_INTEGERS_AT && ckWARN(WARN_IMPRECISION)) {
7448                 Perl_warner(aTHX_ packWARN(WARN_IMPRECISION),
7449                             "Lost precision when decrementing %" NVff " by 1",
7450                             was);
7451             }
7452             (void)SvNOK_only(sv);
7453             SvNV_set(sv, was - 1.0);
7454             return;
7455         }
7456     }
7457     if (!(flags & SVp_POK)) {
7458         if ((flags & SVTYPEMASK) < SVt_PVIV)
7459             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
7460         SvIV_set(sv, -1);
7461         (void)SvIOK_only(sv);
7462         return;
7463     }
7464 #ifdef PERL_PRESERVE_IVUV
7465     {
7466         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7467         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7468             /* Need to try really hard to see if it's an integer.
7469                9.22337203685478e+18 is an integer.
7470                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7471                so $a="9.22337203685478e+18"; $a+0; $a--
7472                needs to be the same as $a="9.22337203685478e+18"; $a--
7473                or we go insane. */
7474         
7475             (void) sv_2iv(sv);
7476             if (SvIOK(sv))
7477                 goto oops_its_int;
7478
7479             /* sv_2iv *should* have made this an NV */
7480             if (flags & SVp_NOK) {
7481                 (void)SvNOK_only(sv);
7482                 SvNV_set(sv, SvNVX(sv) - 1.0);
7483                 return;
7484             }
7485             /* I don't think we can get here. Maybe I should assert this
7486                And if we do get here I suspect that sv_setnv will croak. NWC
7487                Fall through. */
7488 #if defined(USE_LONG_DOUBLE)
7489             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7490                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7491 #else
7492             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7493                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7494 #endif
7495         }
7496     }
7497 #endif /* PERL_PRESERVE_IVUV */
7498     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
7499 }
7500
7501 /*
7502 =for apidoc sv_mortalcopy
7503
7504 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
7505 The new SV is marked as mortal. It will be destroyed "soon", either by an
7506 explicit call to FREETMPS, or by an implicit call at places such as
7507 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
7508
7509 =cut
7510 */
7511
7512 /* Make a string that will exist for the duration of the expression
7513  * evaluation.  Actually, it may have to last longer than that, but
7514  * hopefully we won't free it until it has been assigned to a
7515  * permanent location. */
7516
7517 SV *
7518 Perl_sv_mortalcopy(pTHX_ SV *const oldstr)
7519 {
7520     dVAR;
7521     register SV *sv;
7522
7523     new_SV(sv);
7524     sv_setsv(sv,oldstr);
7525     EXTEND_MORTAL(1);
7526     PL_tmps_stack[++PL_tmps_ix] = sv;
7527     SvTEMP_on(sv);
7528     return sv;
7529 }
7530
7531 /*
7532 =for apidoc sv_newmortal
7533
7534 Creates a new null SV which is mortal.  The reference count of the SV is
7535 set to 1. It will be destroyed "soon", either by an explicit call to
7536 FREETMPS, or by an implicit call at places such as statement boundaries.
7537 See also C<sv_mortalcopy> and C<sv_2mortal>.
7538
7539 =cut
7540 */
7541
7542 SV *
7543 Perl_sv_newmortal(pTHX)
7544 {
7545     dVAR;
7546     register SV *sv;
7547
7548     new_SV(sv);
7549     SvFLAGS(sv) = SVs_TEMP;
7550     EXTEND_MORTAL(1);
7551     PL_tmps_stack[++PL_tmps_ix] = sv;
7552     return sv;
7553 }
7554
7555
7556 /*
7557 =for apidoc newSVpvn_flags
7558
7559 Creates a new SV and copies a string into it.  The reference count for the
7560 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7561 string.  You are responsible for ensuring that the source string is at least
7562 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7563 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
7564 If C<SVs_TEMP> is set, then C<sv2mortal()> is called on the result before
7565 returning. If C<SVf_UTF8> is set, then it will be set on the new SV.
7566 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
7567
7568     #define newSVpvn_utf8(s, len, u)                    \
7569         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
7570
7571 =cut
7572 */
7573
7574 SV *
7575 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
7576 {
7577     dVAR;
7578     register SV *sv;
7579
7580     /* All the flags we don't support must be zero.
7581        And we're new code so I'm going to assert this from the start.  */
7582     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
7583     new_SV(sv);
7584     sv_setpvn(sv,s,len);
7585
7586     /* This code used to a sv_2mortal(), however we now unroll the call to sv_2mortal()
7587      * and do what it does outselves here.
7588      * Since we have asserted that flags can only have the SVf_UTF8 and/or SVs_TEMP flags
7589      * set above we can use it to enable the sv flags directly (bypassing SvTEMP_on), which
7590      * in turn means we dont need to mask out the SVf_UTF8 flag below, which means that we
7591      * eleminate quite a few steps than it looks - Yves (explaining patch by gfx)
7592      */
7593
7594     SvFLAGS(sv) |= flags;
7595
7596     if(flags & SVs_TEMP){
7597         EXTEND_MORTAL(1);
7598         PL_tmps_stack[++PL_tmps_ix] = sv;
7599     }
7600
7601     return sv;
7602 }
7603
7604 /*
7605 =for apidoc sv_2mortal
7606
7607 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
7608 by an explicit call to FREETMPS, or by an implicit call at places such as
7609 statement boundaries.  SvTEMP() is turned on which means that the SV's
7610 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
7611 and C<sv_mortalcopy>.
7612
7613 =cut
7614 */
7615
7616 SV *
7617 Perl_sv_2mortal(pTHX_ register SV *const sv)
7618 {
7619     dVAR;
7620     if (!sv)
7621         return NULL;
7622     if (SvREADONLY(sv) && SvIMMORTAL(sv))
7623         return sv;
7624     /* Note if you change this you must ALSO change
7625      * newSVpvn_flags() which defined immediately above this routine
7626      */
7627     EXTEND_MORTAL(1);
7628     PL_tmps_stack[++PL_tmps_ix] = sv;
7629     SvTEMP_on(sv);
7630     return sv;
7631 }
7632
7633 /*
7634 =for apidoc newSVpv
7635
7636 Creates a new SV and copies a string into it.  The reference count for the
7637 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7638 strlen().  For efficiency, consider using C<newSVpvn> instead.
7639
7640 =cut
7641 */
7642
7643 SV *
7644 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
7645 {
7646     dVAR;
7647     register SV *sv;
7648
7649     new_SV(sv);
7650     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7651     return sv;
7652 }
7653
7654 /*
7655 =for apidoc newSVpvn
7656
7657 Creates a new SV and copies a string into it.  The reference count for the
7658 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7659 string.  You are responsible for ensuring that the source string is at least
7660 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7661
7662 =cut
7663 */
7664
7665 SV *
7666 Perl_newSVpvn(pTHX_ const char *const s, const STRLEN len)
7667 {
7668     dVAR;
7669     register SV *sv;
7670
7671     new_SV(sv);
7672     sv_setpvn(sv,s,len);
7673     return sv;
7674 }
7675
7676 /*
7677 =for apidoc newSVhek
7678
7679 Creates a new SV from the hash key structure.  It will generate scalars that
7680 point to the shared string table where possible. Returns a new (undefined)
7681 SV if the hek is NULL.
7682
7683 =cut
7684 */
7685
7686 SV *
7687 Perl_newSVhek(pTHX_ const HEK *const hek)
7688 {
7689     dVAR;
7690     if (!hek) {
7691         SV *sv;
7692
7693         new_SV(sv);
7694         return sv;
7695     }
7696
7697     if (HEK_LEN(hek) == HEf_SVKEY) {
7698         return newSVsv(*(SV**)HEK_KEY(hek));
7699     } else {
7700         const int flags = HEK_FLAGS(hek);
7701         if (flags & HVhek_WASUTF8) {
7702             /* Trouble :-)
7703                Andreas would like keys he put in as utf8 to come back as utf8
7704             */
7705             STRLEN utf8_len = HEK_LEN(hek);
7706             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7707             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7708
7709             SvUTF8_on (sv);
7710             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7711             return sv;
7712         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7713             /* We don't have a pointer to the hv, so we have to replicate the
7714                flag into every HEK. This hv is using custom a hasing
7715                algorithm. Hence we can't return a shared string scalar, as
7716                that would contain the (wrong) hash value, and might get passed
7717                into an hv routine with a regular hash.
7718                Similarly, a hash that isn't using shared hash keys has to have
7719                the flag in every key so that we know not to try to call
7720                share_hek_kek on it.  */
7721
7722             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7723             if (HEK_UTF8(hek))
7724                 SvUTF8_on (sv);
7725             return sv;
7726         }
7727         /* This will be overwhelminly the most common case.  */
7728         {
7729             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7730                more efficient than sharepvn().  */
7731             SV *sv;
7732
7733             new_SV(sv);
7734             sv_upgrade(sv, SVt_PV);
7735             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7736             SvCUR_set(sv, HEK_LEN(hek));
7737             SvLEN_set(sv, 0);
7738             SvREADONLY_on(sv);
7739             SvFAKE_on(sv);
7740             SvPOK_on(sv);
7741             if (HEK_UTF8(hek))
7742                 SvUTF8_on(sv);
7743             return sv;
7744         }
7745     }
7746 }
7747
7748 /*
7749 =for apidoc newSVpvn_share
7750
7751 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7752 table. If the string does not already exist in the table, it is created
7753 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7754 value is used; otherwise the hash is computed. The string's hash can be later
7755 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7756 that as the string table is used for shared hash keys these strings will have
7757 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7758
7759 =cut
7760 */
7761
7762 SV *
7763 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7764 {
7765     dVAR;
7766     register SV *sv;
7767     bool is_utf8 = FALSE;
7768     const char *const orig_src = src;
7769
7770     if (len < 0) {
7771         STRLEN tmplen = -len;
7772         is_utf8 = TRUE;
7773         /* See the note in hv.c:hv_fetch() --jhi */
7774         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7775         len = tmplen;
7776     }
7777     if (!hash)
7778         PERL_HASH(hash, src, len);
7779     new_SV(sv);
7780     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
7781        changes here, update it there too.  */
7782     sv_upgrade(sv, SVt_PV);
7783     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7784     SvCUR_set(sv, len);
7785     SvLEN_set(sv, 0);
7786     SvREADONLY_on(sv);
7787     SvFAKE_on(sv);
7788     SvPOK_on(sv);
7789     if (is_utf8)
7790         SvUTF8_on(sv);
7791     if (src != orig_src)
7792         Safefree(src);
7793     return sv;
7794 }
7795
7796
7797 #if defined(PERL_IMPLICIT_CONTEXT)
7798
7799 /* pTHX_ magic can't cope with varargs, so this is a no-context
7800  * version of the main function, (which may itself be aliased to us).
7801  * Don't access this version directly.
7802  */
7803
7804 SV *
7805 Perl_newSVpvf_nocontext(const char *const pat, ...)
7806 {
7807     dTHX;
7808     register SV *sv;
7809     va_list args;
7810
7811     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
7812
7813     va_start(args, pat);
7814     sv = vnewSVpvf(pat, &args);
7815     va_end(args);
7816     return sv;
7817 }
7818 #endif
7819
7820 /*
7821 =for apidoc newSVpvf
7822
7823 Creates a new SV and initializes it with the string formatted like
7824 C<sprintf>.
7825
7826 =cut
7827 */
7828
7829 SV *
7830 Perl_newSVpvf(pTHX_ const char *const pat, ...)
7831 {
7832     register SV *sv;
7833     va_list args;
7834
7835     PERL_ARGS_ASSERT_NEWSVPVF;
7836
7837     va_start(args, pat);
7838     sv = vnewSVpvf(pat, &args);
7839     va_end(args);
7840     return sv;
7841 }
7842
7843 /* backend for newSVpvf() and newSVpvf_nocontext() */
7844
7845 SV *
7846 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
7847 {
7848     dVAR;
7849     register SV *sv;
7850
7851     PERL_ARGS_ASSERT_VNEWSVPVF;
7852
7853     new_SV(sv);
7854     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7855     return sv;
7856 }
7857
7858 /*
7859 =for apidoc newSVnv
7860
7861 Creates a new SV and copies a floating point value into it.
7862 The reference count for the SV is set to 1.
7863
7864 =cut
7865 */
7866
7867 SV *
7868 Perl_newSVnv(pTHX_ const NV n)
7869 {
7870     dVAR;
7871     register SV *sv;
7872
7873     new_SV(sv);
7874     sv_setnv(sv,n);
7875     return sv;
7876 }
7877
7878 /*
7879 =for apidoc newSViv
7880
7881 Creates a new SV and copies an integer into it.  The reference count for the
7882 SV is set to 1.
7883
7884 =cut
7885 */
7886
7887 SV *
7888 Perl_newSViv(pTHX_ const IV i)
7889 {
7890     dVAR;
7891     register SV *sv;
7892
7893     new_SV(sv);
7894     sv_setiv(sv,i);
7895     return sv;
7896 }
7897
7898 /*
7899 =for apidoc newSVuv
7900
7901 Creates a new SV and copies an unsigned integer into it.
7902 The reference count for the SV is set to 1.
7903
7904 =cut
7905 */
7906
7907 SV *
7908 Perl_newSVuv(pTHX_ const UV u)
7909 {
7910     dVAR;
7911     register SV *sv;
7912
7913     new_SV(sv);
7914     sv_setuv(sv,u);
7915     return sv;
7916 }
7917
7918 /*
7919 =for apidoc newSV_type
7920
7921 Creates a new SV, of the type specified.  The reference count for the new SV
7922 is set to 1.
7923
7924 =cut
7925 */
7926
7927 SV *
7928 Perl_newSV_type(pTHX_ const svtype type)
7929 {
7930     register SV *sv;
7931
7932     new_SV(sv);
7933     sv_upgrade(sv, type);
7934     return sv;
7935 }
7936
7937 /*
7938 =for apidoc newRV_noinc
7939
7940 Creates an RV wrapper for an SV.  The reference count for the original
7941 SV is B<not> incremented.
7942
7943 =cut
7944 */
7945
7946 SV *
7947 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
7948 {
7949     dVAR;
7950     register SV *sv = newSV_type(SVt_IV);
7951
7952     PERL_ARGS_ASSERT_NEWRV_NOINC;
7953
7954     SvTEMP_off(tmpRef);
7955     SvRV_set(sv, tmpRef);
7956     SvROK_on(sv);
7957     return sv;
7958 }
7959
7960 /* newRV_inc is the official function name to use now.
7961  * newRV_inc is in fact #defined to newRV in sv.h
7962  */
7963
7964 SV *
7965 Perl_newRV(pTHX_ SV *const sv)
7966 {
7967     dVAR;
7968
7969     PERL_ARGS_ASSERT_NEWRV;
7970
7971     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7972 }
7973
7974 /*
7975 =for apidoc newSVsv
7976
7977 Creates a new SV which is an exact duplicate of the original SV.
7978 (Uses C<sv_setsv>).
7979
7980 =cut
7981 */
7982
7983 SV *
7984 Perl_newSVsv(pTHX_ register SV *const old)
7985 {
7986     dVAR;
7987     register SV *sv;
7988
7989     if (!old)
7990         return NULL;
7991     if (SvTYPE(old) == SVTYPEMASK) {
7992         if (ckWARN_d(WARN_INTERNAL))
7993             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7994         return NULL;
7995     }
7996     new_SV(sv);
7997     /* SV_GMAGIC is the default for sv_setv()
7998        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7999        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
8000     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
8001     return sv;
8002 }
8003
8004 /*
8005 =for apidoc sv_reset
8006
8007 Underlying implementation for the C<reset> Perl function.
8008 Note that the perl-level function is vaguely deprecated.
8009
8010 =cut
8011 */
8012
8013 void
8014 Perl_sv_reset(pTHX_ register const char *s, HV *const stash)
8015 {
8016     dVAR;
8017     char todo[PERL_UCHAR_MAX+1];
8018
8019     PERL_ARGS_ASSERT_SV_RESET;
8020
8021     if (!stash)
8022         return;
8023
8024     if (!*s) {          /* reset ?? searches */
8025         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
8026         if (mg) {
8027             const U32 count = mg->mg_len / sizeof(PMOP**);
8028             PMOP **pmp = (PMOP**) mg->mg_ptr;
8029             PMOP *const *const end = pmp + count;
8030
8031             while (pmp < end) {
8032 #ifdef USE_ITHREADS
8033                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
8034 #else
8035                 (*pmp)->op_pmflags &= ~PMf_USED;
8036 #endif
8037                 ++pmp;
8038             }
8039         }
8040         return;
8041     }
8042
8043     /* reset variables */
8044
8045     if (!HvARRAY(stash))
8046         return;
8047
8048     Zero(todo, 256, char);
8049     while (*s) {
8050         I32 max;
8051         I32 i = (unsigned char)*s;
8052         if (s[1] == '-') {
8053             s += 2;
8054         }
8055         max = (unsigned char)*s++;
8056         for ( ; i <= max; i++) {
8057             todo[i] = 1;
8058         }
8059         for (i = 0; i <= (I32) HvMAX(stash); i++) {
8060             HE *entry;
8061             for (entry = HvARRAY(stash)[i];
8062                  entry;
8063                  entry = HeNEXT(entry))
8064             {
8065                 register GV *gv;
8066                 register SV *sv;
8067
8068                 if (!todo[(U8)*HeKEY(entry)])
8069                     continue;
8070                 gv = MUTABLE_GV(HeVAL(entry));
8071                 sv = GvSV(gv);
8072                 if (sv) {
8073                     if (SvTHINKFIRST(sv)) {
8074                         if (!SvREADONLY(sv) && SvROK(sv))
8075                             sv_unref(sv);
8076                         /* XXX Is this continue a bug? Why should THINKFIRST
8077                            exempt us from resetting arrays and hashes?  */
8078                         continue;
8079                     }
8080                     SvOK_off(sv);
8081                     if (SvTYPE(sv) >= SVt_PV) {
8082                         SvCUR_set(sv, 0);
8083                         if (SvPVX_const(sv) != NULL)
8084                             *SvPVX(sv) = '\0';
8085                         SvTAINT(sv);
8086                     }
8087                 }
8088                 if (GvAV(gv)) {
8089                     av_clear(GvAV(gv));
8090                 }
8091                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
8092 #if defined(VMS)
8093                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
8094 #else /* ! VMS */
8095                     hv_clear(GvHV(gv));
8096 #  if defined(USE_ENVIRON_ARRAY)
8097                     if (gv == PL_envgv)
8098                         my_clearenv();
8099 #  endif /* USE_ENVIRON_ARRAY */
8100 #endif /* VMS */
8101                 }
8102             }
8103         }
8104     }
8105 }
8106
8107 /*
8108 =for apidoc sv_2io
8109
8110 Using various gambits, try to get an IO from an SV: the IO slot if its a
8111 GV; or the recursive result if we're an RV; or the IO slot of the symbol
8112 named after the PV if we're a string.
8113
8114 =cut
8115 */
8116
8117 IO*
8118 Perl_sv_2io(pTHX_ SV *const sv)
8119 {
8120     IO* io;
8121     GV* gv;
8122
8123     PERL_ARGS_ASSERT_SV_2IO;
8124
8125     switch (SvTYPE(sv)) {
8126     case SVt_PVIO:
8127         io = MUTABLE_IO(sv);
8128         break;
8129     case SVt_PVGV:
8130         if (isGV_with_GP(sv)) {
8131             gv = MUTABLE_GV(sv);
8132             io = GvIO(gv);
8133             if (!io)
8134                 Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
8135             break;
8136         }
8137         /* FALL THROUGH */
8138     default:
8139         if (!SvOK(sv))
8140             Perl_croak(aTHX_ PL_no_usym, "filehandle");
8141         if (SvROK(sv))
8142             return sv_2io(SvRV(sv));
8143         gv = gv_fetchsv(sv, 0, SVt_PVIO);
8144         if (gv)
8145             io = GvIO(gv);
8146         else
8147             io = 0;
8148         if (!io)
8149             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
8150         break;
8151     }
8152     return io;
8153 }
8154
8155 /*
8156 =for apidoc sv_2cv
8157
8158 Using various gambits, try to get a CV from an SV; in addition, try if
8159 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
8160 The flags in C<lref> are passed to sv_fetchsv.
8161
8162 =cut
8163 */
8164
8165 CV *
8166 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
8167 {
8168     dVAR;
8169     GV *gv = NULL;
8170     CV *cv = NULL;
8171
8172     PERL_ARGS_ASSERT_SV_2CV;
8173
8174     if (!sv) {
8175         *st = NULL;
8176         *gvp = NULL;
8177         return NULL;
8178     }
8179     switch (SvTYPE(sv)) {
8180     case SVt_PVCV:
8181         *st = CvSTASH(sv);
8182         *gvp = NULL;
8183         return MUTABLE_CV(sv);
8184     case SVt_PVHV:
8185     case SVt_PVAV:
8186         *st = NULL;
8187         *gvp = NULL;
8188         return NULL;
8189     case SVt_PVGV:
8190         if (isGV_with_GP(sv)) {
8191             gv = MUTABLE_GV(sv);
8192             *gvp = gv;
8193             *st = GvESTASH(gv);
8194             goto fix_gv;
8195         }
8196         /* FALL THROUGH */
8197
8198     default:
8199         if (SvROK(sv)) {
8200             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
8201             SvGETMAGIC(sv);
8202             tryAMAGICunDEREF(to_cv);
8203
8204             sv = SvRV(sv);
8205             if (SvTYPE(sv) == SVt_PVCV) {
8206                 cv = MUTABLE_CV(sv);
8207                 *gvp = NULL;
8208                 *st = CvSTASH(cv);
8209                 return cv;
8210             }
8211             else if(isGV_with_GP(sv))
8212                 gv = MUTABLE_GV(sv);
8213             else
8214                 Perl_croak(aTHX_ "Not a subroutine reference");
8215         }
8216         else if (isGV_with_GP(sv)) {
8217             SvGETMAGIC(sv);
8218             gv = MUTABLE_GV(sv);
8219         }
8220         else
8221             gv = gv_fetchsv(sv, lref, SVt_PVCV); /* Calls get magic */
8222         *gvp = gv;
8223         if (!gv) {
8224             *st = NULL;
8225             return NULL;
8226         }
8227         /* Some flags to gv_fetchsv mean don't really create the GV  */
8228         if (!isGV_with_GP(gv)) {
8229             *st = NULL;
8230             return NULL;
8231         }
8232         *st = GvESTASH(gv);
8233     fix_gv:
8234         if (lref && !GvCVu(gv)) {
8235             SV *tmpsv;
8236             ENTER;
8237             tmpsv = newSV(0);
8238             gv_efullname3(tmpsv, gv, NULL);
8239             /* XXX this is probably not what they think they're getting.
8240              * It has the same effect as "sub name;", i.e. just a forward
8241              * declaration! */
8242             newSUB(start_subparse(FALSE, 0),
8243                    newSVOP(OP_CONST, 0, tmpsv),
8244                    NULL, NULL);
8245             LEAVE;
8246             if (!GvCVu(gv))
8247                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
8248                            SVfARG(SvOK(sv) ? sv : &PL_sv_no));
8249         }
8250         return GvCVu(gv);
8251     }
8252 }
8253
8254 /*
8255 =for apidoc sv_true
8256
8257 Returns true if the SV has a true value by Perl's rules.
8258 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
8259 instead use an in-line version.
8260
8261 =cut
8262 */
8263
8264 I32
8265 Perl_sv_true(pTHX_ register SV *const sv)
8266 {
8267     if (!sv)
8268         return 0;
8269     if (SvPOK(sv)) {
8270         register const XPV* const tXpv = (XPV*)SvANY(sv);
8271         if (tXpv &&
8272                 (tXpv->xpv_cur > 1 ||
8273                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
8274             return 1;
8275         else
8276             return 0;
8277     }
8278     else {
8279         if (SvIOK(sv))
8280             return SvIVX(sv) != 0;
8281         else {
8282             if (SvNOK(sv))
8283                 return SvNVX(sv) != 0.0;
8284             else
8285                 return sv_2bool(sv);
8286         }
8287     }
8288 }
8289
8290 /*
8291 =for apidoc sv_pvn_force
8292
8293 Get a sensible string out of the SV somehow.
8294 A private implementation of the C<SvPV_force> macro for compilers which
8295 can't cope with complex macro expressions. Always use the macro instead.
8296
8297 =for apidoc sv_pvn_force_flags
8298
8299 Get a sensible string out of the SV somehow.
8300 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
8301 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
8302 implemented in terms of this function.
8303 You normally want to use the various wrapper macros instead: see
8304 C<SvPV_force> and C<SvPV_force_nomg>
8305
8306 =cut
8307 */
8308
8309 char *
8310 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
8311 {
8312     dVAR;
8313
8314     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
8315
8316     if (SvTHINKFIRST(sv) && !SvROK(sv))
8317         sv_force_normal_flags(sv, 0);
8318
8319     if (SvPOK(sv)) {
8320         if (lp)
8321             *lp = SvCUR(sv);
8322     }
8323     else {
8324         char *s;
8325         STRLEN len;
8326  
8327         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
8328             const char * const ref = sv_reftype(sv,0);
8329             if (PL_op)
8330                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
8331                            ref, OP_NAME(PL_op));
8332             else
8333                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
8334         }
8335         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
8336             || isGV_with_GP(sv))
8337             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
8338                 OP_NAME(PL_op));
8339         s = sv_2pv_flags(sv, &len, flags);
8340         if (lp)
8341             *lp = len;
8342
8343         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
8344             if (SvROK(sv))
8345                 sv_unref(sv);
8346             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
8347             SvGROW(sv, len + 1);
8348             Move(s,SvPVX(sv),len,char);
8349             SvCUR_set(sv, len);
8350             SvPVX(sv)[len] = '\0';
8351         }
8352         if (!SvPOK(sv)) {
8353             SvPOK_on(sv);               /* validate pointer */
8354             SvTAINT(sv);
8355             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
8356                                   PTR2UV(sv),SvPVX_const(sv)));
8357         }
8358     }
8359     return SvPVX_mutable(sv);
8360 }
8361
8362 /*
8363 =for apidoc sv_pvbyten_force
8364
8365 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
8366
8367 =cut
8368 */
8369
8370 char *
8371 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
8372 {
8373     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
8374
8375     sv_pvn_force(sv,lp);
8376     sv_utf8_downgrade(sv,0);
8377     *lp = SvCUR(sv);
8378     return SvPVX(sv);
8379 }
8380
8381 /*
8382 =for apidoc sv_pvutf8n_force
8383
8384 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
8385
8386 =cut
8387 */
8388
8389 char *
8390 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
8391 {
8392     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
8393
8394     sv_pvn_force(sv,lp);
8395     sv_utf8_upgrade(sv);
8396     *lp = SvCUR(sv);
8397     return SvPVX(sv);
8398 }
8399
8400 /*
8401 =for apidoc sv_reftype
8402
8403 Returns a string describing what the SV is a reference to.
8404
8405 =cut
8406 */
8407
8408 const char *
8409 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
8410 {
8411     PERL_ARGS_ASSERT_SV_REFTYPE;
8412
8413     /* The fact that I don't need to downcast to char * everywhere, only in ?:
8414        inside return suggests a const propagation bug in g++.  */
8415     if (ob && SvOBJECT(sv)) {
8416         char * const name = HvNAME_get(SvSTASH(sv));
8417         return name ? name : (char *) "__ANON__";
8418     }
8419     else {
8420         switch (SvTYPE(sv)) {
8421         case SVt_NULL:
8422         case SVt_IV:
8423         case SVt_NV:
8424         case SVt_PV:
8425         case SVt_PVIV:
8426         case SVt_PVNV:
8427         case SVt_PVMG:
8428                                 if (SvVOK(sv))
8429                                     return "VSTRING";
8430                                 if (SvROK(sv))
8431                                     return "REF";
8432                                 else
8433                                     return "SCALAR";
8434
8435         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
8436                                 /* tied lvalues should appear to be
8437                                  * scalars for backwards compatitbility */
8438                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
8439                                     ? "SCALAR" : "LVALUE");
8440         case SVt_PVAV:          return "ARRAY";
8441         case SVt_PVHV:          return "HASH";
8442         case SVt_PVCV:          return "CODE";
8443         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
8444                                     ? "GLOB" : "SCALAR");
8445         case SVt_PVFM:          return "FORMAT";
8446         case SVt_PVIO:          return "IO";
8447         case SVt_BIND:          return "BIND";
8448         case SVt_REGEXP:        return "REGEXP"; 
8449         default:                return "UNKNOWN";
8450         }
8451     }
8452 }
8453
8454 /*
8455 =for apidoc sv_isobject
8456
8457 Returns a boolean indicating whether the SV is an RV pointing to a blessed
8458 object.  If the SV is not an RV, or if the object is not blessed, then this
8459 will return false.
8460
8461 =cut
8462 */
8463
8464 int
8465 Perl_sv_isobject(pTHX_ SV *sv)
8466 {
8467     if (!sv)
8468         return 0;
8469     SvGETMAGIC(sv);
8470     if (!SvROK(sv))
8471         return 0;
8472     sv = SvRV(sv);
8473     if (!SvOBJECT(sv))
8474         return 0;
8475     return 1;
8476 }
8477
8478 /*
8479 =for apidoc sv_isa
8480
8481 Returns a boolean indicating whether the SV is blessed into the specified
8482 class.  This does not check for subtypes; use C<sv_derived_from> to verify
8483 an inheritance relationship.
8484
8485 =cut
8486 */
8487
8488 int
8489 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
8490 {
8491     const char *hvname;
8492
8493     PERL_ARGS_ASSERT_SV_ISA;
8494
8495     if (!sv)
8496         return 0;
8497     SvGETMAGIC(sv);
8498     if (!SvROK(sv))
8499         return 0;
8500     sv = SvRV(sv);
8501     if (!SvOBJECT(sv))
8502         return 0;
8503     hvname = HvNAME_get(SvSTASH(sv));
8504     if (!hvname)
8505         return 0;
8506
8507     return strEQ(hvname, name);
8508 }
8509
8510 /*
8511 =for apidoc newSVrv
8512
8513 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
8514 it will be upgraded to one.  If C<classname> is non-null then the new SV will
8515 be blessed in the specified package.  The new SV is returned and its
8516 reference count is 1.
8517
8518 =cut
8519 */
8520
8521 SV*
8522 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
8523 {
8524     dVAR;
8525     SV *sv;
8526
8527     PERL_ARGS_ASSERT_NEWSVRV;
8528
8529     new_SV(sv);
8530
8531     SV_CHECK_THINKFIRST_COW_DROP(rv);
8532     (void)SvAMAGIC_off(rv);
8533
8534     if (SvTYPE(rv) >= SVt_PVMG) {
8535         const U32 refcnt = SvREFCNT(rv);
8536         SvREFCNT(rv) = 0;
8537         sv_clear(rv);
8538         SvFLAGS(rv) = 0;
8539         SvREFCNT(rv) = refcnt;
8540
8541         sv_upgrade(rv, SVt_IV);
8542     } else if (SvROK(rv)) {
8543         SvREFCNT_dec(SvRV(rv));
8544     } else {
8545         prepare_SV_for_RV(rv);
8546     }
8547
8548     SvOK_off(rv);
8549     SvRV_set(rv, sv);
8550     SvROK_on(rv);
8551
8552     if (classname) {
8553         HV* const stash = gv_stashpv(classname, GV_ADD);
8554         (void)sv_bless(rv, stash);
8555     }
8556     return sv;
8557 }
8558
8559 /*
8560 =for apidoc sv_setref_pv
8561
8562 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
8563 argument will be upgraded to an RV.  That RV will be modified to point to
8564 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
8565 into the SV.  The C<classname> argument indicates the package for the
8566 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8567 will have a reference count of 1, and the RV will be returned.
8568
8569 Do not use with other Perl types such as HV, AV, SV, CV, because those
8570 objects will become corrupted by the pointer copy process.
8571
8572 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
8573
8574 =cut
8575 */
8576
8577 SV*
8578 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
8579 {
8580     dVAR;
8581
8582     PERL_ARGS_ASSERT_SV_SETREF_PV;
8583
8584     if (!pv) {
8585         sv_setsv(rv, &PL_sv_undef);
8586         SvSETMAGIC(rv);
8587     }
8588     else
8589         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
8590     return rv;
8591 }
8592
8593 /*
8594 =for apidoc sv_setref_iv
8595
8596 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
8597 argument will be upgraded to an RV.  That RV will be modified to point to
8598 the new SV.  The C<classname> argument indicates the package for the
8599 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8600 will have a reference count of 1, and the RV will be returned.
8601
8602 =cut
8603 */
8604
8605 SV*
8606 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
8607 {
8608     PERL_ARGS_ASSERT_SV_SETREF_IV;
8609
8610     sv_setiv(newSVrv(rv,classname), iv);
8611     return rv;
8612 }
8613
8614 /*
8615 =for apidoc sv_setref_uv
8616
8617 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
8618 argument will be upgraded to an RV.  That RV will be modified to point to
8619 the new SV.  The C<classname> argument indicates the package for the
8620 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8621 will have a reference count of 1, and the RV will be returned.
8622
8623 =cut
8624 */
8625
8626 SV*
8627 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
8628 {
8629     PERL_ARGS_ASSERT_SV_SETREF_UV;
8630
8631     sv_setuv(newSVrv(rv,classname), uv);
8632     return rv;
8633 }
8634
8635 /*
8636 =for apidoc sv_setref_nv
8637
8638 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
8639 argument will be upgraded to an RV.  That RV will be modified to point to
8640 the new SV.  The C<classname> argument indicates the package for the
8641 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8642 will have a reference count of 1, and the RV will be returned.
8643
8644 =cut
8645 */
8646
8647 SV*
8648 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
8649 {
8650     PERL_ARGS_ASSERT_SV_SETREF_NV;
8651
8652     sv_setnv(newSVrv(rv,classname), nv);
8653     return rv;
8654 }
8655
8656 /*
8657 =for apidoc sv_setref_pvn
8658
8659 Copies a string into a new SV, optionally blessing the SV.  The length of the
8660 string must be specified with C<n>.  The C<rv> argument will be upgraded to
8661 an RV.  That RV will be modified to point to the new SV.  The C<classname>
8662 argument indicates the package for the blessing.  Set C<classname> to
8663 C<NULL> to avoid the blessing.  The new SV will have a reference count
8664 of 1, and the RV will be returned.
8665
8666 Note that C<sv_setref_pv> copies the pointer while this copies the string.
8667
8668 =cut
8669 */
8670
8671 SV*
8672 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
8673                    const char *const pv, const STRLEN n)
8674 {
8675     PERL_ARGS_ASSERT_SV_SETREF_PVN;
8676
8677     sv_setpvn(newSVrv(rv,classname), pv, n);
8678     return rv;
8679 }
8680
8681 /*
8682 =for apidoc sv_bless
8683
8684 Blesses an SV into a specified package.  The SV must be an RV.  The package
8685 must be designated by its stash (see C<gv_stashpv()>).  The reference count
8686 of the SV is unaffected.
8687
8688 =cut
8689 */
8690
8691 SV*
8692 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
8693 {
8694     dVAR;
8695     SV *tmpRef;
8696
8697     PERL_ARGS_ASSERT_SV_BLESS;
8698
8699     if (!SvROK(sv))
8700         Perl_croak(aTHX_ "Can't bless non-reference value");
8701     tmpRef = SvRV(sv);
8702     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8703         if (SvIsCOW(tmpRef))
8704             sv_force_normal_flags(tmpRef, 0);
8705         if (SvREADONLY(tmpRef))
8706             Perl_croak(aTHX_ "%s", PL_no_modify);
8707         if (SvOBJECT(tmpRef)) {
8708             if (SvTYPE(tmpRef) != SVt_PVIO)
8709                 --PL_sv_objcount;
8710             SvREFCNT_dec(SvSTASH(tmpRef));
8711         }
8712     }
8713     SvOBJECT_on(tmpRef);
8714     if (SvTYPE(tmpRef) != SVt_PVIO)
8715         ++PL_sv_objcount;
8716     SvUPGRADE(tmpRef, SVt_PVMG);
8717     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
8718
8719     if (Gv_AMG(stash))
8720         SvAMAGIC_on(sv);
8721     else
8722         (void)SvAMAGIC_off(sv);
8723
8724     if(SvSMAGICAL(tmpRef))
8725         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8726             mg_set(tmpRef);
8727
8728
8729
8730     return sv;
8731 }
8732
8733 /* Downgrades a PVGV to a PVMG.
8734  */
8735
8736 STATIC void
8737 S_sv_unglob(pTHX_ SV *const sv)
8738 {
8739     dVAR;
8740     void *xpvmg;
8741     HV *stash;
8742     SV * const temp = sv_newmortal();
8743
8744     PERL_ARGS_ASSERT_SV_UNGLOB;
8745
8746     assert(SvTYPE(sv) == SVt_PVGV);
8747     SvFAKE_off(sv);
8748     gv_efullname3(temp, MUTABLE_GV(sv), "*");
8749
8750     if (GvGP(sv)) {
8751         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
8752            && HvNAME_get(stash))
8753             mro_method_changed_in(stash);
8754         gp_free(MUTABLE_GV(sv));
8755     }
8756     if (GvSTASH(sv)) {
8757         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
8758         GvSTASH(sv) = NULL;
8759     }
8760     GvMULTI_off(sv);
8761     if (GvNAME_HEK(sv)) {
8762         unshare_hek(GvNAME_HEK(sv));
8763     }
8764     isGV_with_GP_off(sv);
8765
8766     /* need to keep SvANY(sv) in the right arena */
8767     xpvmg = new_XPVMG();
8768     StructCopy(SvANY(sv), xpvmg, XPVMG);
8769     del_XPVGV(SvANY(sv));
8770     SvANY(sv) = xpvmg;
8771
8772     SvFLAGS(sv) &= ~SVTYPEMASK;
8773     SvFLAGS(sv) |= SVt_PVMG;
8774
8775     /* Intentionally not calling any local SET magic, as this isn't so much a
8776        set operation as merely an internal storage change.  */
8777     sv_setsv_flags(sv, temp, 0);
8778 }
8779
8780 /*
8781 =for apidoc sv_unref_flags
8782
8783 Unsets the RV status of the SV, and decrements the reference count of
8784 whatever was being referenced by the RV.  This can almost be thought of
8785 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8786 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8787 (otherwise the decrementing is conditional on the reference count being
8788 different from one or the reference being a readonly SV).
8789 See C<SvROK_off>.
8790
8791 =cut
8792 */
8793
8794 void
8795 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
8796 {
8797     SV* const target = SvRV(ref);
8798
8799     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
8800
8801     if (SvWEAKREF(ref)) {
8802         sv_del_backref(target, ref);
8803         SvWEAKREF_off(ref);
8804         SvRV_set(ref, NULL);
8805         return;
8806     }
8807     SvRV_set(ref, NULL);
8808     SvROK_off(ref);
8809     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8810        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8811     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8812         SvREFCNT_dec(target);
8813     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8814         sv_2mortal(target);     /* Schedule for freeing later */
8815 }
8816
8817 /*
8818 =for apidoc sv_untaint
8819
8820 Untaint an SV. Use C<SvTAINTED_off> instead.
8821 =cut
8822 */
8823
8824 void
8825 Perl_sv_untaint(pTHX_ SV *const sv)
8826 {
8827     PERL_ARGS_ASSERT_SV_UNTAINT;
8828
8829     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8830         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8831         if (mg)
8832             mg->mg_len &= ~1;
8833     }
8834 }
8835
8836 /*
8837 =for apidoc sv_tainted
8838
8839 Test an SV for taintedness. Use C<SvTAINTED> instead.
8840 =cut
8841 */
8842
8843 bool
8844 Perl_sv_tainted(pTHX_ SV *const sv)
8845 {
8846     PERL_ARGS_ASSERT_SV_TAINTED;
8847
8848     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8849         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8850         if (mg && (mg->mg_len & 1) )
8851             return TRUE;
8852     }
8853     return FALSE;
8854 }
8855
8856 /*
8857 =for apidoc sv_setpviv
8858
8859 Copies an integer into the given SV, also updating its string value.
8860 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8861
8862 =cut
8863 */
8864
8865 void
8866 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
8867 {
8868     char buf[TYPE_CHARS(UV)];
8869     char *ebuf;
8870     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8871
8872     PERL_ARGS_ASSERT_SV_SETPVIV;
8873
8874     sv_setpvn(sv, ptr, ebuf - ptr);
8875 }
8876
8877 /*
8878 =for apidoc sv_setpviv_mg
8879
8880 Like C<sv_setpviv>, but also handles 'set' magic.
8881
8882 =cut
8883 */
8884
8885 void
8886 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
8887 {
8888     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
8889
8890     sv_setpviv(sv, iv);
8891     SvSETMAGIC(sv);
8892 }
8893
8894 #if defined(PERL_IMPLICIT_CONTEXT)
8895
8896 /* pTHX_ magic can't cope with varargs, so this is a no-context
8897  * version of the main function, (which may itself be aliased to us).
8898  * Don't access this version directly.
8899  */
8900
8901 void
8902 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
8903 {
8904     dTHX;
8905     va_list args;
8906
8907     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
8908
8909     va_start(args, pat);
8910     sv_vsetpvf(sv, pat, &args);
8911     va_end(args);
8912 }
8913
8914 /* pTHX_ magic can't cope with varargs, so this is a no-context
8915  * version of the main function, (which may itself be aliased to us).
8916  * Don't access this version directly.
8917  */
8918
8919 void
8920 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8921 {
8922     dTHX;
8923     va_list args;
8924
8925     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
8926
8927     va_start(args, pat);
8928     sv_vsetpvf_mg(sv, pat, &args);
8929     va_end(args);
8930 }
8931 #endif
8932
8933 /*
8934 =for apidoc sv_setpvf
8935
8936 Works like C<sv_catpvf> but copies the text into the SV instead of
8937 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8938
8939 =cut
8940 */
8941
8942 void
8943 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
8944 {
8945     va_list args;
8946
8947     PERL_ARGS_ASSERT_SV_SETPVF;
8948
8949     va_start(args, pat);
8950     sv_vsetpvf(sv, pat, &args);
8951     va_end(args);
8952 }
8953
8954 /*
8955 =for apidoc sv_vsetpvf
8956
8957 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8958 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8959
8960 Usually used via its frontend C<sv_setpvf>.
8961
8962 =cut
8963 */
8964
8965 void
8966 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8967 {
8968     PERL_ARGS_ASSERT_SV_VSETPVF;
8969
8970     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8971 }
8972
8973 /*
8974 =for apidoc sv_setpvf_mg
8975
8976 Like C<sv_setpvf>, but also handles 'set' magic.
8977
8978 =cut
8979 */
8980
8981 void
8982 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
8983 {
8984     va_list args;
8985
8986     PERL_ARGS_ASSERT_SV_SETPVF_MG;
8987
8988     va_start(args, pat);
8989     sv_vsetpvf_mg(sv, pat, &args);
8990     va_end(args);
8991 }
8992
8993 /*
8994 =for apidoc sv_vsetpvf_mg
8995
8996 Like C<sv_vsetpvf>, but also handles 'set' magic.
8997
8998 Usually used via its frontend C<sv_setpvf_mg>.
8999
9000 =cut
9001 */
9002
9003 void
9004 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9005 {
9006     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
9007
9008     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9009     SvSETMAGIC(sv);
9010 }
9011
9012 #if defined(PERL_IMPLICIT_CONTEXT)
9013
9014 /* pTHX_ magic can't cope with varargs, so this is a no-context
9015  * version of the main function, (which may itself be aliased to us).
9016  * Don't access this version directly.
9017  */
9018
9019 void
9020 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
9021 {
9022     dTHX;
9023     va_list args;
9024
9025     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
9026
9027     va_start(args, pat);
9028     sv_vcatpvf(sv, pat, &args);
9029     va_end(args);
9030 }
9031
9032 /* pTHX_ magic can't cope with varargs, so this is a no-context
9033  * version of the main function, (which may itself be aliased to us).
9034  * Don't access this version directly.
9035  */
9036
9037 void
9038 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
9039 {
9040     dTHX;
9041     va_list args;
9042
9043     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
9044
9045     va_start(args, pat);
9046     sv_vcatpvf_mg(sv, pat, &args);
9047     va_end(args);
9048 }
9049 #endif
9050
9051 /*
9052 =for apidoc sv_catpvf
9053
9054 Processes its arguments like C<sprintf> and appends the formatted
9055 output to an SV.  If the appended data contains "wide" characters
9056 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
9057 and characters >255 formatted with %c), the original SV might get
9058 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
9059 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
9060 valid UTF-8; if the original SV was bytes, the pattern should be too.
9061
9062 =cut */
9063
9064 void
9065 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
9066 {
9067     va_list args;
9068
9069     PERL_ARGS_ASSERT_SV_CATPVF;
9070
9071     va_start(args, pat);
9072     sv_vcatpvf(sv, pat, &args);
9073     va_end(args);
9074 }
9075
9076 /*
9077 =for apidoc sv_vcatpvf
9078
9079 Processes its arguments like C<vsprintf> and appends the formatted output
9080 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
9081
9082 Usually used via its frontend C<sv_catpvf>.
9083
9084 =cut
9085 */
9086
9087 void
9088 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9089 {
9090     PERL_ARGS_ASSERT_SV_VCATPVF;
9091
9092     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9093 }
9094
9095 /*
9096 =for apidoc sv_catpvf_mg
9097
9098 Like C<sv_catpvf>, but also handles 'set' magic.
9099
9100 =cut
9101 */
9102
9103 void
9104 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9105 {
9106     va_list args;
9107
9108     PERL_ARGS_ASSERT_SV_CATPVF_MG;
9109
9110     va_start(args, pat);
9111     sv_vcatpvf_mg(sv, pat, &args);
9112     va_end(args);
9113 }
9114
9115 /*
9116 =for apidoc sv_vcatpvf_mg
9117
9118 Like C<sv_vcatpvf>, but also handles 'set' magic.
9119
9120 Usually used via its frontend C<sv_catpvf_mg>.
9121
9122 =cut
9123 */
9124
9125 void
9126 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9127 {
9128     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
9129
9130     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9131     SvSETMAGIC(sv);
9132 }
9133
9134 /*
9135 =for apidoc sv_vsetpvfn
9136
9137 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
9138 appending it.
9139
9140 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
9141
9142 =cut
9143 */
9144
9145 void
9146 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9147                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9148 {
9149     PERL_ARGS_ASSERT_SV_VSETPVFN;
9150
9151     sv_setpvs(sv, "");
9152     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
9153 }
9154
9155 STATIC I32
9156 S_expect_number(pTHX_ char **const pattern)
9157 {
9158     dVAR;
9159     I32 var = 0;
9160
9161     PERL_ARGS_ASSERT_EXPECT_NUMBER;
9162
9163     switch (**pattern) {
9164     case '1': case '2': case '3':
9165     case '4': case '5': case '6':
9166     case '7': case '8': case '9':
9167         var = *(*pattern)++ - '0';
9168         while (isDIGIT(**pattern)) {
9169             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
9170             if (tmp < var)
9171                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
9172             var = tmp;
9173         }
9174     }
9175     return var;
9176 }
9177
9178 STATIC char *
9179 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
9180 {
9181     const int neg = nv < 0;
9182     UV uv;
9183
9184     PERL_ARGS_ASSERT_F0CONVERT;
9185
9186     if (neg)
9187         nv = -nv;
9188     if (nv < UV_MAX) {
9189         char *p = endbuf;
9190         nv += 0.5;
9191         uv = (UV)nv;
9192         if (uv & 1 && uv == nv)
9193             uv--;                       /* Round to even */
9194         do {
9195             const unsigned dig = uv % 10;
9196             *--p = '0' + dig;
9197         } while (uv /= 10);
9198         if (neg)
9199             *--p = '-';
9200         *len = endbuf - p;
9201         return p;
9202     }
9203     return NULL;
9204 }
9205
9206
9207 /*
9208 =for apidoc sv_vcatpvfn
9209
9210 Processes its arguments like C<vsprintf> and appends the formatted output
9211 to an SV.  Uses an array of SVs if the C style variable argument list is
9212 missing (NULL).  When running with taint checks enabled, indicates via
9213 C<maybe_tainted> if results are untrustworthy (often due to the use of
9214 locales).
9215
9216 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
9217
9218 =cut
9219 */
9220
9221
9222 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
9223                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
9224                         vec_utf8 = DO_UTF8(vecsv);
9225
9226 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
9227
9228 void
9229 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9230                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9231 {
9232     dVAR;
9233     char *p;
9234     char *q;
9235     const char *patend;
9236     STRLEN origlen;
9237     I32 svix = 0;
9238     static const char nullstr[] = "(null)";
9239     SV *argsv = NULL;
9240     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
9241     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
9242     SV *nsv = NULL;
9243     /* Times 4: a decimal digit takes more than 3 binary digits.
9244      * NV_DIG: mantissa takes than many decimal digits.
9245      * Plus 32: Playing safe. */
9246     char ebuf[IV_DIG * 4 + NV_DIG + 32];
9247     /* large enough for "%#.#f" --chip */
9248     /* what about long double NVs? --jhi */
9249
9250     PERL_ARGS_ASSERT_SV_VCATPVFN;
9251     PERL_UNUSED_ARG(maybe_tainted);
9252
9253     /* no matter what, this is a string now */
9254     (void)SvPV_force(sv, origlen);
9255
9256     /* special-case "", "%s", and "%-p" (SVf - see below) */
9257     if (patlen == 0)
9258         return;
9259     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
9260         if (args) {
9261             const char * const s = va_arg(*args, char*);
9262             sv_catpv(sv, s ? s : nullstr);
9263         }
9264         else if (svix < svmax) {
9265             sv_catsv(sv, *svargs);
9266         }
9267         return;
9268     }
9269     if (args && patlen == 3 && pat[0] == '%' &&
9270                 pat[1] == '-' && pat[2] == 'p') {
9271         argsv = MUTABLE_SV(va_arg(*args, void*));
9272         sv_catsv(sv, argsv);
9273         return;
9274     }
9275
9276 #ifndef USE_LONG_DOUBLE
9277     /* special-case "%.<number>[gf]" */
9278     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
9279          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
9280         unsigned digits = 0;
9281         const char *pp;
9282
9283         pp = pat + 2;
9284         while (*pp >= '0' && *pp <= '9')
9285             digits = 10 * digits + (*pp++ - '0');
9286         if (pp - pat == (int)patlen - 1) {
9287             NV nv;
9288
9289             if (svix < svmax)
9290                 nv = SvNV(*svargs);
9291             else
9292                 return;
9293             if (*pp == 'g') {
9294                 /* Add check for digits != 0 because it seems that some
9295                    gconverts are buggy in this case, and we don't yet have
9296                    a Configure test for this.  */
9297                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
9298                      /* 0, point, slack */
9299                     Gconvert(nv, (int)digits, 0, ebuf);
9300                     sv_catpv(sv, ebuf);
9301                     if (*ebuf)  /* May return an empty string for digits==0 */
9302                         return;
9303                 }
9304             } else if (!digits) {
9305                 STRLEN l;
9306
9307                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
9308                     sv_catpvn(sv, p, l);
9309                     return;
9310                 }
9311             }
9312         }
9313     }
9314 #endif /* !USE_LONG_DOUBLE */
9315
9316     if (!args && svix < svmax && DO_UTF8(*svargs))
9317         has_utf8 = TRUE;
9318
9319     patend = (char*)pat + patlen;
9320     for (p = (char*)pat; p < patend; p = q) {
9321         bool alt = FALSE;
9322         bool left = FALSE;
9323         bool vectorize = FALSE;
9324         bool vectorarg = FALSE;
9325         bool vec_utf8 = FALSE;
9326         char fill = ' ';
9327         char plus = 0;
9328         char intsize = 0;
9329         STRLEN width = 0;
9330         STRLEN zeros = 0;
9331         bool has_precis = FALSE;
9332         STRLEN precis = 0;
9333         const I32 osvix = svix;
9334         bool is_utf8 = FALSE;  /* is this item utf8?   */
9335 #ifdef HAS_LDBL_SPRINTF_BUG
9336         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9337            with sfio - Allen <allens@cpan.org> */
9338         bool fix_ldbl_sprintf_bug = FALSE;
9339 #endif
9340
9341         char esignbuf[4];
9342         U8 utf8buf[UTF8_MAXBYTES+1];
9343         STRLEN esignlen = 0;
9344
9345         const char *eptr = NULL;
9346         const char *fmtstart;
9347         STRLEN elen = 0;
9348         SV *vecsv = NULL;
9349         const U8 *vecstr = NULL;
9350         STRLEN veclen = 0;
9351         char c = 0;
9352         int i;
9353         unsigned base = 0;
9354         IV iv = 0;
9355         UV uv = 0;
9356         /* we need a long double target in case HAS_LONG_DOUBLE but
9357            not USE_LONG_DOUBLE
9358         */
9359 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
9360         long double nv;
9361 #else
9362         NV nv;
9363 #endif
9364         STRLEN have;
9365         STRLEN need;
9366         STRLEN gap;
9367         const char *dotstr = ".";
9368         STRLEN dotstrlen = 1;
9369         I32 efix = 0; /* explicit format parameter index */
9370         I32 ewix = 0; /* explicit width index */
9371         I32 epix = 0; /* explicit precision index */
9372         I32 evix = 0; /* explicit vector index */
9373         bool asterisk = FALSE;
9374
9375         /* echo everything up to the next format specification */
9376         for (q = p; q < patend && *q != '%'; ++q) ;
9377         if (q > p) {
9378             if (has_utf8 && !pat_utf8)
9379                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
9380             else
9381                 sv_catpvn(sv, p, q - p);
9382             p = q;
9383         }
9384         if (q++ >= patend)
9385             break;
9386
9387         fmtstart = q;
9388
9389 /*
9390     We allow format specification elements in this order:
9391         \d+\$              explicit format parameter index
9392         [-+ 0#]+           flags
9393         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
9394         0                  flag (as above): repeated to allow "v02"     
9395         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
9396         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
9397         [hlqLV]            size
9398     [%bcdefginopsuxDFOUX] format (mandatory)
9399 */
9400
9401         if (args) {
9402 /*  
9403         As of perl5.9.3, printf format checking is on by default.
9404         Internally, perl uses %p formats to provide an escape to
9405         some extended formatting.  This block deals with those
9406         extensions: if it does not match, (char*)q is reset and
9407         the normal format processing code is used.
9408
9409         Currently defined extensions are:
9410                 %p              include pointer address (standard)      
9411                 %-p     (SVf)   include an SV (previously %_)
9412                 %-<num>p        include an SV with precision <num>      
9413                 %<num>p         reserved for future extensions
9414
9415         Robin Barker 2005-07-14
9416
9417                 %1p     (VDf)   removed.  RMB 2007-10-19
9418 */
9419             char* r = q; 
9420             bool sv = FALSE;    
9421             STRLEN n = 0;
9422             if (*q == '-')
9423                 sv = *q++;
9424             n = expect_number(&q);
9425             if (*q++ == 'p') {
9426                 if (sv) {                       /* SVf */
9427                     if (n) {
9428                         precis = n;
9429                         has_precis = TRUE;
9430                     }
9431                     argsv = MUTABLE_SV(va_arg(*args, void*));
9432                     eptr = SvPV_const(argsv, elen);
9433                     if (DO_UTF8(argsv))
9434                         is_utf8 = TRUE;
9435                     goto string;
9436                 }
9437                 else if (n) {
9438                     if (ckWARN_d(WARN_INTERNAL))
9439                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9440                         "internal %%<num>p might conflict with future printf extensions");
9441                 }
9442             }
9443             q = r; 
9444         }
9445
9446         if ( (width = expect_number(&q)) ) {
9447             if (*q == '$') {
9448                 ++q;
9449                 efix = width;
9450             } else {
9451                 goto gotwidth;
9452             }
9453         }
9454
9455         /* FLAGS */
9456
9457         while (*q) {
9458             switch (*q) {
9459             case ' ':
9460             case '+':
9461                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
9462                     q++;
9463                 else
9464                     plus = *q++;
9465                 continue;
9466
9467             case '-':
9468                 left = TRUE;
9469                 q++;
9470                 continue;
9471
9472             case '0':
9473                 fill = *q++;
9474                 continue;
9475
9476             case '#':
9477                 alt = TRUE;
9478                 q++;
9479                 continue;
9480
9481             default:
9482                 break;
9483             }
9484             break;
9485         }
9486
9487       tryasterisk:
9488         if (*q == '*') {
9489             q++;
9490             if ( (ewix = expect_number(&q)) )
9491                 if (*q++ != '$')
9492                     goto unknown;
9493             asterisk = TRUE;
9494         }
9495         if (*q == 'v') {
9496             q++;
9497             if (vectorize)
9498                 goto unknown;
9499             if ((vectorarg = asterisk)) {
9500                 evix = ewix;
9501                 ewix = 0;
9502                 asterisk = FALSE;
9503             }
9504             vectorize = TRUE;
9505             goto tryasterisk;
9506         }
9507
9508         if (!asterisk)
9509         {
9510             if( *q == '0' )
9511                 fill = *q++;
9512             width = expect_number(&q);
9513         }
9514
9515         if (vectorize) {
9516             if (vectorarg) {
9517                 if (args)
9518                     vecsv = va_arg(*args, SV*);
9519                 else if (evix) {
9520                     vecsv = (evix > 0 && evix <= svmax)
9521                         ? svargs[evix-1] : &PL_sv_undef;
9522                 } else {
9523                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
9524                 }
9525                 dotstr = SvPV_const(vecsv, dotstrlen);
9526                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
9527                    bad with tied or overloaded values that return UTF8.  */
9528                 if (DO_UTF8(vecsv))
9529                     is_utf8 = TRUE;
9530                 else if (has_utf8) {
9531                     vecsv = sv_mortalcopy(vecsv);
9532                     sv_utf8_upgrade(vecsv);
9533                     dotstr = SvPV_const(vecsv, dotstrlen);
9534                     is_utf8 = TRUE;
9535                 }                   
9536             }
9537             if (args) {
9538                 VECTORIZE_ARGS
9539             }
9540             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
9541                 vecsv = svargs[efix ? efix-1 : svix++];
9542                 vecstr = (U8*)SvPV_const(vecsv,veclen);
9543                 vec_utf8 = DO_UTF8(vecsv);
9544
9545                 /* if this is a version object, we need to convert
9546                  * back into v-string notation and then let the
9547                  * vectorize happen normally
9548                  */
9549                 if (sv_derived_from(vecsv, "version")) {
9550                     char *version = savesvpv(vecsv);
9551                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
9552                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9553                         "vector argument not supported with alpha versions");
9554                         goto unknown;
9555                     }
9556                     vecsv = sv_newmortal();
9557                     scan_vstring(version, version + veclen, vecsv);
9558                     vecstr = (U8*)SvPV_const(vecsv, veclen);
9559                     vec_utf8 = DO_UTF8(vecsv);
9560                     Safefree(version);
9561                 }
9562             }
9563             else {
9564                 vecstr = (U8*)"";
9565                 veclen = 0;
9566             }
9567         }
9568
9569         if (asterisk) {
9570             if (args)
9571                 i = va_arg(*args, int);
9572             else
9573                 i = (ewix ? ewix <= svmax : svix < svmax) ?
9574                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9575             left |= (i < 0);
9576             width = (i < 0) ? -i : i;
9577         }
9578       gotwidth:
9579
9580         /* PRECISION */
9581
9582         if (*q == '.') {
9583             q++;
9584             if (*q == '*') {
9585                 q++;
9586                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
9587                     goto unknown;
9588                 /* XXX: todo, support specified precision parameter */
9589                 if (epix)
9590                     goto unknown;
9591                 if (args)
9592                     i = va_arg(*args, int);
9593                 else
9594                     i = (ewix ? ewix <= svmax : svix < svmax)
9595                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9596                 precis = i;
9597                 has_precis = !(i < 0);
9598             }
9599             else {
9600                 precis = 0;
9601                 while (isDIGIT(*q))
9602                     precis = precis * 10 + (*q++ - '0');
9603                 has_precis = TRUE;
9604             }
9605         }
9606
9607         /* SIZE */
9608
9609         switch (*q) {
9610 #ifdef WIN32
9611         case 'I':                       /* Ix, I32x, and I64x */
9612 #  ifdef WIN64
9613             if (q[1] == '6' && q[2] == '4') {
9614                 q += 3;
9615                 intsize = 'q';
9616                 break;
9617             }
9618 #  endif
9619             if (q[1] == '3' && q[2] == '2') {
9620                 q += 3;
9621                 break;
9622             }
9623 #  ifdef WIN64
9624             intsize = 'q';
9625 #  endif
9626             q++;
9627             break;
9628 #endif
9629 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9630         case 'L':                       /* Ld */
9631             /*FALLTHROUGH*/
9632 #ifdef HAS_QUAD
9633         case 'q':                       /* qd */
9634 #endif
9635             intsize = 'q';
9636             q++;
9637             break;
9638 #endif
9639         case 'l':
9640 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9641             if (*(q + 1) == 'l') {      /* lld, llf */
9642                 intsize = 'q';
9643                 q += 2;
9644                 break;
9645              }
9646 #endif
9647             /*FALLTHROUGH*/
9648         case 'h':
9649             /*FALLTHROUGH*/
9650         case 'V':
9651             intsize = *q++;
9652             break;
9653         }
9654
9655         /* CONVERSION */
9656
9657         if (*q == '%') {
9658             eptr = q++;
9659             elen = 1;
9660             if (vectorize) {
9661                 c = '%';
9662                 goto unknown;
9663             }
9664             goto string;
9665         }
9666
9667         if (!vectorize && !args) {
9668             if (efix) {
9669                 const I32 i = efix-1;
9670                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
9671             } else {
9672                 argsv = (svix >= 0 && svix < svmax)
9673                     ? svargs[svix++] : &PL_sv_undef;
9674             }
9675         }
9676
9677         switch (c = *q++) {
9678
9679             /* STRINGS */
9680
9681         case 'c':
9682             if (vectorize)
9683                 goto unknown;
9684             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
9685             if ((uv > 255 ||
9686                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
9687                 && !IN_BYTES) {
9688                 eptr = (char*)utf8buf;
9689                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
9690                 is_utf8 = TRUE;
9691             }
9692             else {
9693                 c = (char)uv;
9694                 eptr = &c;
9695                 elen = 1;
9696             }
9697             goto string;
9698
9699         case 's':
9700             if (vectorize)
9701                 goto unknown;
9702             if (args) {
9703                 eptr = va_arg(*args, char*);
9704                 if (eptr)
9705                     elen = strlen(eptr);
9706                 else {
9707                     eptr = (char *)nullstr;
9708                     elen = sizeof nullstr - 1;
9709                 }
9710             }
9711             else {
9712                 eptr = SvPV_const(argsv, elen);
9713                 if (DO_UTF8(argsv)) {
9714                     STRLEN old_precis = precis;
9715                     if (has_precis && precis < elen) {
9716                         STRLEN ulen = sv_len_utf8(argsv);
9717                         I32 p = precis > ulen ? ulen : precis;
9718                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
9719                         precis = p;
9720                     }
9721                     if (width) { /* fudge width (can't fudge elen) */
9722                         if (has_precis && precis < elen)
9723                             width += precis - old_precis;
9724                         else
9725                             width += elen - sv_len_utf8(argsv);
9726                     }
9727                     is_utf8 = TRUE;
9728                 }
9729             }
9730
9731         string:
9732             if (has_precis && precis < elen)
9733                 elen = precis;
9734             break;
9735
9736             /* INTEGERS */
9737
9738         case 'p':
9739             if (alt || vectorize)
9740                 goto unknown;
9741             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
9742             base = 16;
9743             goto integer;
9744
9745         case 'D':
9746 #ifdef IV_IS_QUAD
9747             intsize = 'q';
9748 #else
9749             intsize = 'l';
9750 #endif
9751             /*FALLTHROUGH*/
9752         case 'd':
9753         case 'i':
9754 #if vdNUMBER
9755         format_vd:
9756 #endif
9757             if (vectorize) {
9758                 STRLEN ulen;
9759                 if (!veclen)
9760                     continue;
9761                 if (vec_utf8)
9762                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9763                                         UTF8_ALLOW_ANYUV);
9764                 else {
9765                     uv = *vecstr;
9766                     ulen = 1;
9767                 }
9768                 vecstr += ulen;
9769                 veclen -= ulen;
9770                 if (plus)
9771                      esignbuf[esignlen++] = plus;
9772             }
9773             else if (args) {
9774                 switch (intsize) {
9775                 case 'h':       iv = (short)va_arg(*args, int); break;
9776                 case 'l':       iv = va_arg(*args, long); break;
9777                 case 'V':       iv = va_arg(*args, IV); break;
9778                 default:        iv = va_arg(*args, int); break;
9779                 case 'q':
9780 #ifdef HAS_QUAD
9781                                 iv = va_arg(*args, Quad_t); break;
9782 #else
9783                                 goto unknown;
9784 #endif
9785                 }
9786             }
9787             else {
9788                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9789                 switch (intsize) {
9790                 case 'h':       iv = (short)tiv; break;
9791                 case 'l':       iv = (long)tiv; break;
9792                 case 'V':
9793                 default:        iv = tiv; break;
9794                 case 'q':
9795 #ifdef HAS_QUAD
9796                                 iv = (Quad_t)tiv; break;
9797 #else
9798                                 goto unknown;
9799 #endif
9800                 }
9801             }
9802             if ( !vectorize )   /* we already set uv above */
9803             {
9804                 if (iv >= 0) {
9805                     uv = iv;
9806                     if (plus)
9807                         esignbuf[esignlen++] = plus;
9808                 }
9809                 else {
9810                     uv = -iv;
9811                     esignbuf[esignlen++] = '-';
9812                 }
9813             }
9814             base = 10;
9815             goto integer;
9816
9817         case 'U':
9818 #ifdef IV_IS_QUAD
9819             intsize = 'q';
9820 #else
9821             intsize = 'l';
9822 #endif
9823             /*FALLTHROUGH*/
9824         case 'u':
9825             base = 10;
9826             goto uns_integer;
9827
9828         case 'B':
9829         case 'b':
9830             base = 2;
9831             goto uns_integer;
9832
9833         case 'O':
9834 #ifdef IV_IS_QUAD
9835             intsize = 'q';
9836 #else
9837             intsize = 'l';
9838 #endif
9839             /*FALLTHROUGH*/
9840         case 'o':
9841             base = 8;
9842             goto uns_integer;
9843
9844         case 'X':
9845         case 'x':
9846             base = 16;
9847
9848         uns_integer:
9849             if (vectorize) {
9850                 STRLEN ulen;
9851         vector:
9852                 if (!veclen)
9853                     continue;
9854                 if (vec_utf8)
9855                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9856                                         UTF8_ALLOW_ANYUV);
9857                 else {
9858                     uv = *vecstr;
9859                     ulen = 1;
9860                 }
9861                 vecstr += ulen;
9862                 veclen -= ulen;
9863             }
9864             else if (args) {
9865                 switch (intsize) {
9866                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9867                 case 'l':  uv = va_arg(*args, unsigned long); break;
9868                 case 'V':  uv = va_arg(*args, UV); break;
9869                 default:   uv = va_arg(*args, unsigned); break;
9870                 case 'q':
9871 #ifdef HAS_QUAD
9872                            uv = va_arg(*args, Uquad_t); break;
9873 #else
9874                            goto unknown;
9875 #endif
9876                 }
9877             }
9878             else {
9879                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9880                 switch (intsize) {
9881                 case 'h':       uv = (unsigned short)tuv; break;
9882                 case 'l':       uv = (unsigned long)tuv; break;
9883                 case 'V':
9884                 default:        uv = tuv; break;
9885                 case 'q':
9886 #ifdef HAS_QUAD
9887                                 uv = (Uquad_t)tuv; break;
9888 #else
9889                                 goto unknown;
9890 #endif
9891                 }
9892             }
9893
9894         integer:
9895             {
9896                 char *ptr = ebuf + sizeof ebuf;
9897                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9898                 zeros = 0;
9899
9900                 switch (base) {
9901                     unsigned dig;
9902                 case 16:
9903                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9904                     do {
9905                         dig = uv & 15;
9906                         *--ptr = p[dig];
9907                     } while (uv >>= 4);
9908                     if (tempalt) {
9909                         esignbuf[esignlen++] = '0';
9910                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9911                     }
9912                     break;
9913                 case 8:
9914                     do {
9915                         dig = uv & 7;
9916                         *--ptr = '0' + dig;
9917                     } while (uv >>= 3);
9918                     if (alt && *ptr != '0')
9919                         *--ptr = '0';
9920                     break;
9921                 case 2:
9922                     do {
9923                         dig = uv & 1;
9924                         *--ptr = '0' + dig;
9925                     } while (uv >>= 1);
9926                     if (tempalt) {
9927                         esignbuf[esignlen++] = '0';
9928                         esignbuf[esignlen++] = c;
9929                     }
9930                     break;
9931                 default:                /* it had better be ten or less */
9932                     do {
9933                         dig = uv % base;
9934                         *--ptr = '0' + dig;
9935                     } while (uv /= base);
9936                     break;
9937                 }
9938                 elen = (ebuf + sizeof ebuf) - ptr;
9939                 eptr = ptr;
9940                 if (has_precis) {
9941                     if (precis > elen)
9942                         zeros = precis - elen;
9943                     else if (precis == 0 && elen == 1 && *eptr == '0'
9944                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9945                         elen = 0;
9946
9947                 /* a precision nullifies the 0 flag. */
9948                     if (fill == '0')
9949                         fill = ' ';
9950                 }
9951             }
9952             break;
9953
9954             /* FLOATING POINT */
9955
9956         case 'F':
9957             c = 'f';            /* maybe %F isn't supported here */
9958             /*FALLTHROUGH*/
9959         case 'e': case 'E':
9960         case 'f':
9961         case 'g': case 'G':
9962             if (vectorize)
9963                 goto unknown;
9964
9965             /* This is evil, but floating point is even more evil */
9966
9967             /* for SV-style calling, we can only get NV
9968                for C-style calling, we assume %f is double;
9969                for simplicity we allow any of %Lf, %llf, %qf for long double
9970             */
9971             switch (intsize) {
9972             case 'V':
9973 #if defined(USE_LONG_DOUBLE)
9974                 intsize = 'q';
9975 #endif
9976                 break;
9977 /* [perl #20339] - we should accept and ignore %lf rather than die */
9978             case 'l':
9979                 /*FALLTHROUGH*/
9980             default:
9981 #if defined(USE_LONG_DOUBLE)
9982                 intsize = args ? 0 : 'q';
9983 #endif
9984                 break;
9985             case 'q':
9986 #if defined(HAS_LONG_DOUBLE)
9987                 break;
9988 #else
9989                 /*FALLTHROUGH*/
9990 #endif
9991             case 'h':
9992                 goto unknown;
9993             }
9994
9995             /* now we need (long double) if intsize == 'q', else (double) */
9996             nv = (args) ?
9997 #if LONG_DOUBLESIZE > DOUBLESIZE
9998                 intsize == 'q' ?
9999                     va_arg(*args, long double) :
10000                     va_arg(*args, double)
10001 #else
10002                     va_arg(*args, double)
10003 #endif
10004                 : SvNV(argsv);
10005
10006             need = 0;
10007             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
10008                else. frexp() has some unspecified behaviour for those three */
10009             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
10010                 i = PERL_INT_MIN;
10011                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
10012                    will cast our (long double) to (double) */
10013                 (void)Perl_frexp(nv, &i);
10014                 if (i == PERL_INT_MIN)
10015                     Perl_die(aTHX_ "panic: frexp");
10016                 if (i > 0)
10017                     need = BIT_DIGITS(i);
10018             }
10019             need += has_precis ? precis : 6; /* known default */
10020
10021             if (need < width)
10022                 need = width;
10023
10024 #ifdef HAS_LDBL_SPRINTF_BUG
10025             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
10026                with sfio - Allen <allens@cpan.org> */
10027
10028 #  ifdef DBL_MAX
10029 #    define MY_DBL_MAX DBL_MAX
10030 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
10031 #    if DOUBLESIZE >= 8
10032 #      define MY_DBL_MAX 1.7976931348623157E+308L
10033 #    else
10034 #      define MY_DBL_MAX 3.40282347E+38L
10035 #    endif
10036 #  endif
10037
10038 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
10039 #    define MY_DBL_MAX_BUG 1L
10040 #  else
10041 #    define MY_DBL_MAX_BUG MY_DBL_MAX
10042 #  endif
10043
10044 #  ifdef DBL_MIN
10045 #    define MY_DBL_MIN DBL_MIN
10046 #  else  /* XXX guessing! -Allen */
10047 #    if DOUBLESIZE >= 8
10048 #      define MY_DBL_MIN 2.2250738585072014E-308L
10049 #    else
10050 #      define MY_DBL_MIN 1.17549435E-38L
10051 #    endif
10052 #  endif
10053
10054             if ((intsize == 'q') && (c == 'f') &&
10055                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
10056                 (need < DBL_DIG)) {
10057                 /* it's going to be short enough that
10058                  * long double precision is not needed */
10059
10060                 if ((nv <= 0L) && (nv >= -0L))
10061                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
10062                 else {
10063                     /* would use Perl_fp_class as a double-check but not
10064                      * functional on IRIX - see perl.h comments */
10065
10066                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
10067                         /* It's within the range that a double can represent */
10068 #if defined(DBL_MAX) && !defined(DBL_MIN)
10069                         if ((nv >= ((long double)1/DBL_MAX)) ||
10070                             (nv <= (-(long double)1/DBL_MAX)))
10071 #endif
10072                         fix_ldbl_sprintf_bug = TRUE;
10073                     }
10074                 }
10075                 if (fix_ldbl_sprintf_bug == TRUE) {
10076                     double temp;
10077
10078                     intsize = 0;
10079                     temp = (double)nv;
10080                     nv = (NV)temp;
10081                 }
10082             }
10083
10084 #  undef MY_DBL_MAX
10085 #  undef MY_DBL_MAX_BUG
10086 #  undef MY_DBL_MIN
10087
10088 #endif /* HAS_LDBL_SPRINTF_BUG */
10089
10090             need += 20; /* fudge factor */
10091             if (PL_efloatsize < need) {
10092                 Safefree(PL_efloatbuf);
10093                 PL_efloatsize = need + 20; /* more fudge */
10094                 Newx(PL_efloatbuf, PL_efloatsize, char);
10095                 PL_efloatbuf[0] = '\0';
10096             }
10097
10098             if ( !(width || left || plus || alt) && fill != '0'
10099                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
10100                 /* See earlier comment about buggy Gconvert when digits,
10101                    aka precis is 0  */
10102                 if ( c == 'g' && precis) {
10103                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
10104                     /* May return an empty string for digits==0 */
10105                     if (*PL_efloatbuf) {
10106                         elen = strlen(PL_efloatbuf);
10107                         goto float_converted;
10108                     }
10109                 } else if ( c == 'f' && !precis) {
10110                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
10111                         break;
10112                 }
10113             }
10114             {
10115                 char *ptr = ebuf + sizeof ebuf;
10116                 *--ptr = '\0';
10117                 *--ptr = c;
10118                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
10119 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
10120                 if (intsize == 'q') {
10121                     /* Copy the one or more characters in a long double
10122                      * format before the 'base' ([efgEFG]) character to
10123                      * the format string. */
10124                     static char const prifldbl[] = PERL_PRIfldbl;
10125                     char const *p = prifldbl + sizeof(prifldbl) - 3;
10126                     while (p >= prifldbl) { *--ptr = *p--; }
10127                 }
10128 #endif
10129                 if (has_precis) {
10130                     base = precis;
10131                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10132                     *--ptr = '.';
10133                 }
10134                 if (width) {
10135                     base = width;
10136                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10137                 }
10138                 if (fill == '0')
10139                     *--ptr = fill;
10140                 if (left)
10141                     *--ptr = '-';
10142                 if (plus)
10143                     *--ptr = plus;
10144                 if (alt)
10145                     *--ptr = '#';
10146                 *--ptr = '%';
10147
10148                 /* No taint.  Otherwise we are in the strange situation
10149                  * where printf() taints but print($float) doesn't.
10150                  * --jhi */
10151 #if defined(HAS_LONG_DOUBLE)
10152                 elen = ((intsize == 'q')
10153                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
10154                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
10155 #else
10156                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
10157 #endif
10158             }
10159         float_converted:
10160             eptr = PL_efloatbuf;
10161             break;
10162
10163             /* SPECIAL */
10164
10165         case 'n':
10166             if (vectorize)
10167                 goto unknown;
10168             i = SvCUR(sv) - origlen;
10169             if (args) {
10170                 switch (intsize) {
10171                 case 'h':       *(va_arg(*args, short*)) = i; break;
10172                 default:        *(va_arg(*args, int*)) = i; break;
10173                 case 'l':       *(va_arg(*args, long*)) = i; break;
10174                 case 'V':       *(va_arg(*args, IV*)) = i; break;
10175                 case 'q':
10176 #ifdef HAS_QUAD
10177                                 *(va_arg(*args, Quad_t*)) = i; break;
10178 #else
10179                                 goto unknown;
10180 #endif
10181                 }
10182             }
10183             else
10184                 sv_setuv_mg(argsv, (UV)i);
10185             continue;   /* not "break" */
10186
10187             /* UNKNOWN */
10188
10189         default:
10190       unknown:
10191             if (!args
10192                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
10193                 && ckWARN(WARN_PRINTF))
10194             {
10195                 SV * const msg = sv_newmortal();
10196                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
10197                           (PL_op->op_type == OP_PRTF) ? "" : "s");
10198                 if (fmtstart < patend) {
10199                     const char * const fmtend = q < patend ? q : patend;
10200                     const char * f;
10201                     sv_catpvs(msg, "\"%");
10202                     for (f = fmtstart; f < fmtend; f++) {
10203                         if (isPRINT(*f)) {
10204                             sv_catpvn(msg, f, 1);
10205                         } else {
10206                             Perl_sv_catpvf(aTHX_ msg,
10207                                            "\\%03"UVof, (UV)*f & 0xFF);
10208                         }
10209                     }
10210                     sv_catpvs(msg, "\"");
10211                 } else {
10212                     sv_catpvs(msg, "end of string");
10213                 }
10214                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
10215             }
10216
10217             /* output mangled stuff ... */
10218             if (c == '\0')
10219                 --q;
10220             eptr = p;
10221             elen = q - p;
10222
10223             /* ... right here, because formatting flags should not apply */
10224             SvGROW(sv, SvCUR(sv) + elen + 1);
10225             p = SvEND(sv);
10226             Copy(eptr, p, elen, char);
10227             p += elen;
10228             *p = '\0';
10229             SvCUR_set(sv, p - SvPVX_const(sv));
10230             svix = osvix;
10231             continue;   /* not "break" */
10232         }
10233
10234         if (is_utf8 != has_utf8) {
10235             if (is_utf8) {
10236                 if (SvCUR(sv))
10237                     sv_utf8_upgrade(sv);
10238             }
10239             else {
10240                 const STRLEN old_elen = elen;
10241                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
10242                 sv_utf8_upgrade(nsv);
10243                 eptr = SvPVX_const(nsv);
10244                 elen = SvCUR(nsv);
10245
10246                 if (width) { /* fudge width (can't fudge elen) */
10247                     width += elen - old_elen;
10248                 }
10249                 is_utf8 = TRUE;
10250             }
10251         }
10252
10253         have = esignlen + zeros + elen;
10254         if (have < zeros)
10255             Perl_croak_nocontext("%s", PL_memory_wrap);
10256
10257         need = (have > width ? have : width);
10258         gap = need - have;
10259
10260         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
10261             Perl_croak_nocontext("%s", PL_memory_wrap);
10262         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
10263         p = SvEND(sv);
10264         if (esignlen && fill == '0') {
10265             int i;
10266             for (i = 0; i < (int)esignlen; i++)
10267                 *p++ = esignbuf[i];
10268         }
10269         if (gap && !left) {
10270             memset(p, fill, gap);
10271             p += gap;
10272         }
10273         if (esignlen && fill != '0') {
10274             int i;
10275             for (i = 0; i < (int)esignlen; i++)
10276                 *p++ = esignbuf[i];
10277         }
10278         if (zeros) {
10279             int i;
10280             for (i = zeros; i; i--)
10281                 *p++ = '0';
10282         }
10283         if (elen) {
10284             Copy(eptr, p, elen, char);
10285             p += elen;
10286         }
10287         if (gap && left) {
10288             memset(p, ' ', gap);
10289             p += gap;
10290         }
10291         if (vectorize) {
10292             if (veclen) {
10293                 Copy(dotstr, p, dotstrlen, char);
10294                 p += dotstrlen;
10295             }
10296             else
10297                 vectorize = FALSE;              /* done iterating over vecstr */
10298         }
10299         if (is_utf8)
10300             has_utf8 = TRUE;
10301         if (has_utf8)
10302             SvUTF8_on(sv);
10303         *p = '\0';
10304         SvCUR_set(sv, p - SvPVX_const(sv));
10305         if (vectorize) {
10306             esignlen = 0;
10307             goto vector;
10308         }
10309     }
10310 }
10311
10312 /* =========================================================================
10313
10314 =head1 Cloning an interpreter
10315
10316 All the macros and functions in this section are for the private use of
10317 the main function, perl_clone().
10318
10319 The foo_dup() functions make an exact copy of an existing foo thingy.
10320 During the course of a cloning, a hash table is used to map old addresses
10321 to new addresses. The table is created and manipulated with the
10322 ptr_table_* functions.
10323
10324 =cut
10325
10326  * =========================================================================*/
10327
10328
10329 #if defined(USE_ITHREADS)
10330
10331 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
10332 #ifndef GpREFCNT_inc
10333 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
10334 #endif
10335
10336
10337 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
10338    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
10339    If this changes, please unmerge ss_dup.
10340    Likewise, sv_dup_inc_multiple() relies on this fact.  */
10341 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
10342 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
10343 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
10344 #define av_dup_inc(s,t) MUTABLE_AV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10345 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
10346 #define hv_dup_inc(s,t) MUTABLE_HV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10347 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
10348 #define cv_dup_inc(s,t) MUTABLE_CV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10349 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
10350 #define io_dup_inc(s,t) MUTABLE_IO(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10351 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
10352 #define gv_dup_inc(s,t) MUTABLE_GV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10353 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
10354 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
10355
10356 /* clone a parser */
10357
10358 yy_parser *
10359 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
10360 {
10361     yy_parser *parser;
10362
10363     PERL_ARGS_ASSERT_PARSER_DUP;
10364
10365     if (!proto)
10366         return NULL;
10367
10368     /* look for it in the table first */
10369     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
10370     if (parser)
10371         return parser;
10372
10373     /* create anew and remember what it is */
10374     Newxz(parser, 1, yy_parser);
10375     ptr_table_store(PL_ptr_table, proto, parser);
10376
10377     parser->yyerrstatus = 0;
10378     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
10379
10380     /* XXX these not yet duped */
10381     parser->old_parser = NULL;
10382     parser->stack = NULL;
10383     parser->ps = NULL;
10384     parser->stack_size = 0;
10385     /* XXX parser->stack->state = 0; */
10386
10387     /* XXX eventually, just Copy() most of the parser struct ? */
10388
10389     parser->lex_brackets = proto->lex_brackets;
10390     parser->lex_casemods = proto->lex_casemods;
10391     parser->lex_brackstack = savepvn(proto->lex_brackstack,
10392                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
10393     parser->lex_casestack = savepvn(proto->lex_casestack,
10394                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
10395     parser->lex_defer   = proto->lex_defer;
10396     parser->lex_dojoin  = proto->lex_dojoin;
10397     parser->lex_expect  = proto->lex_expect;
10398     parser->lex_formbrack = proto->lex_formbrack;
10399     parser->lex_inpat   = proto->lex_inpat;
10400     parser->lex_inwhat  = proto->lex_inwhat;
10401     parser->lex_op      = proto->lex_op;
10402     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
10403     parser->lex_starts  = proto->lex_starts;
10404     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
10405     parser->multi_close = proto->multi_close;
10406     parser->multi_open  = proto->multi_open;
10407     parser->multi_start = proto->multi_start;
10408     parser->multi_end   = proto->multi_end;
10409     parser->pending_ident = proto->pending_ident;
10410     parser->preambled   = proto->preambled;
10411     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
10412     parser->linestr     = sv_dup_inc(proto->linestr, param);
10413     parser->expect      = proto->expect;
10414     parser->copline     = proto->copline;
10415     parser->last_lop_op = proto->last_lop_op;
10416     parser->lex_state   = proto->lex_state;
10417     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
10418     /* rsfp_filters entries have fake IoDIRP() */
10419     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
10420     parser->in_my       = proto->in_my;
10421     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
10422     parser->error_count = proto->error_count;
10423
10424
10425     parser->linestr     = sv_dup_inc(proto->linestr, param);
10426
10427     {
10428         char * const ols = SvPVX(proto->linestr);
10429         char * const ls  = SvPVX(parser->linestr);
10430
10431         parser->bufptr      = ls + (proto->bufptr >= ols ?
10432                                     proto->bufptr -  ols : 0);
10433         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
10434                                     proto->oldbufptr -  ols : 0);
10435         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
10436                                     proto->oldoldbufptr -  ols : 0);
10437         parser->linestart   = ls + (proto->linestart >= ols ?
10438                                     proto->linestart -  ols : 0);
10439         parser->last_uni    = ls + (proto->last_uni >= ols ?
10440                                     proto->last_uni -  ols : 0);
10441         parser->last_lop    = ls + (proto->last_lop >= ols ?
10442                                     proto->last_lop -  ols : 0);
10443
10444         parser->bufend      = ls + SvCUR(parser->linestr);
10445     }
10446
10447     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
10448
10449
10450 #ifdef PERL_MAD
10451     parser->endwhite    = proto->endwhite;
10452     parser->faketokens  = proto->faketokens;
10453     parser->lasttoke    = proto->lasttoke;
10454     parser->nextwhite   = proto->nextwhite;
10455     parser->realtokenstart = proto->realtokenstart;
10456     parser->skipwhite   = proto->skipwhite;
10457     parser->thisclose   = proto->thisclose;
10458     parser->thismad     = proto->thismad;
10459     parser->thisopen    = proto->thisopen;
10460     parser->thisstuff   = proto->thisstuff;
10461     parser->thistoken   = proto->thistoken;
10462     parser->thiswhite   = proto->thiswhite;
10463
10464     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
10465     parser->curforce    = proto->curforce;
10466 #else
10467     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
10468     Copy(proto->nexttype, parser->nexttype, 5,  I32);
10469     parser->nexttoke    = proto->nexttoke;
10470 #endif
10471
10472     /* XXX should clone saved_curcop here, but we aren't passed
10473      * proto_perl; so do it in perl_clone_using instead */
10474
10475     return parser;
10476 }
10477
10478
10479 /* duplicate a file handle */
10480
10481 PerlIO *
10482 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
10483 {
10484     PerlIO *ret;
10485
10486     PERL_ARGS_ASSERT_FP_DUP;
10487     PERL_UNUSED_ARG(type);
10488
10489     if (!fp)
10490         return (PerlIO*)NULL;
10491
10492     /* look for it in the table first */
10493     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
10494     if (ret)
10495         return ret;
10496
10497     /* create anew and remember what it is */
10498     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
10499     ptr_table_store(PL_ptr_table, fp, ret);
10500     return ret;
10501 }
10502
10503 /* duplicate a directory handle */
10504
10505 DIR *
10506 Perl_dirp_dup(pTHX_ DIR *const dp)
10507 {
10508     PERL_UNUSED_CONTEXT;
10509     if (!dp)
10510         return (DIR*)NULL;
10511     /* XXX TODO */
10512     return dp;
10513 }
10514
10515 /* duplicate a typeglob */
10516
10517 GP *
10518 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
10519 {
10520     GP *ret;
10521
10522     PERL_ARGS_ASSERT_GP_DUP;
10523
10524     if (!gp)
10525         return (GP*)NULL;
10526     /* look for it in the table first */
10527     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
10528     if (ret)
10529         return ret;
10530
10531     /* create anew and remember what it is */
10532     Newxz(ret, 1, GP);
10533     ptr_table_store(PL_ptr_table, gp, ret);
10534
10535     /* clone */
10536     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
10537        on Newxz() to do this for us.  */
10538     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
10539     ret->gp_io          = io_dup_inc(gp->gp_io, param);
10540     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
10541     ret->gp_av          = av_dup_inc(gp->gp_av, param);
10542     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
10543     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
10544     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
10545     ret->gp_cvgen       = gp->gp_cvgen;
10546     ret->gp_line        = gp->gp_line;
10547     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
10548     return ret;
10549 }
10550
10551 /* duplicate a chain of magic */
10552
10553 MAGIC *
10554 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
10555 {
10556     MAGIC *mgret = NULL;
10557     MAGIC **mgprev_p = &mgret;
10558
10559     PERL_ARGS_ASSERT_MG_DUP;
10560
10561     for (; mg; mg = mg->mg_moremagic) {
10562         MAGIC *nmg;
10563         Newx(nmg, 1, MAGIC);
10564         *mgprev_p = nmg;
10565         mgprev_p = &(nmg->mg_moremagic);
10566
10567         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
10568            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
10569            from the original commit adding Perl_mg_dup() - revision 4538.
10570            Similarly there is the annotation "XXX random ptr?" next to the
10571            assignment to nmg->mg_ptr.  */
10572         *nmg = *mg;
10573
10574         /* FIXME for plugins
10575         if (nmg->mg_type == PERL_MAGIC_qr) {
10576             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
10577         }
10578         else
10579         */
10580         if(nmg->mg_type == PERL_MAGIC_backref) {
10581             /* The backref AV has its reference count deliberately bumped by
10582                1.  */
10583             nmg->mg_obj
10584                 = SvREFCNT_inc(av_dup_inc((const AV *) nmg->mg_obj, param));
10585         }
10586         else {
10587             nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
10588                               ? sv_dup_inc(nmg->mg_obj, param)
10589                               : sv_dup(nmg->mg_obj, param);
10590         }
10591
10592         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
10593             if (nmg->mg_len > 0) {
10594                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
10595                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
10596                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
10597                 {
10598                     AMT * const namtp = (AMT*)nmg->mg_ptr;
10599                     sv_dup_inc_multiple((SV**)(namtp->table),
10600                                         (SV**)(namtp->table), NofAMmeth, param);
10601                 }
10602             }
10603             else if (nmg->mg_len == HEf_SVKEY)
10604                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
10605         }
10606         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
10607             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
10608         }
10609     }
10610     return mgret;
10611 }
10612
10613 #endif /* USE_ITHREADS */
10614
10615 /* create a new pointer-mapping table */
10616
10617 PTR_TBL_t *
10618 Perl_ptr_table_new(pTHX)
10619 {
10620     PTR_TBL_t *tbl;
10621     PERL_UNUSED_CONTEXT;
10622
10623     Newx(tbl, 1, PTR_TBL_t);
10624     tbl->tbl_max        = 511;
10625     tbl->tbl_items      = 0;
10626     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
10627     return tbl;
10628 }
10629
10630 #define PTR_TABLE_HASH(ptr) \
10631   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
10632
10633 /* 
10634    we use the PTE_SVSLOT 'reservation' made above, both here (in the
10635    following define) and at call to new_body_inline made below in 
10636    Perl_ptr_table_store()
10637  */
10638
10639 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
10640
10641 /* map an existing pointer using a table */
10642
10643 STATIC PTR_TBL_ENT_t *
10644 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
10645 {
10646     PTR_TBL_ENT_t *tblent;
10647     const UV hash = PTR_TABLE_HASH(sv);
10648
10649     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
10650
10651     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
10652     for (; tblent; tblent = tblent->next) {
10653         if (tblent->oldval == sv)
10654             return tblent;
10655     }
10656     return NULL;
10657 }
10658
10659 void *
10660 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
10661 {
10662     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
10663
10664     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
10665     PERL_UNUSED_CONTEXT;
10666
10667     return tblent ? tblent->newval : NULL;
10668 }
10669
10670 /* add a new entry to a pointer-mapping table */
10671
10672 void
10673 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
10674 {
10675     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
10676
10677     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
10678     PERL_UNUSED_CONTEXT;
10679
10680     if (tblent) {
10681         tblent->newval = newsv;
10682     } else {
10683         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
10684
10685         new_body_inline(tblent, PTE_SVSLOT);
10686
10687         tblent->oldval = oldsv;
10688         tblent->newval = newsv;
10689         tblent->next = tbl->tbl_ary[entry];
10690         tbl->tbl_ary[entry] = tblent;
10691         tbl->tbl_items++;
10692         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
10693             ptr_table_split(tbl);
10694     }
10695 }
10696
10697 /* double the hash bucket size of an existing ptr table */
10698
10699 void
10700 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
10701 {
10702     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
10703     const UV oldsize = tbl->tbl_max + 1;
10704     UV newsize = oldsize * 2;
10705     UV i;
10706
10707     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
10708     PERL_UNUSED_CONTEXT;
10709
10710     Renew(ary, newsize, PTR_TBL_ENT_t*);
10711     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
10712     tbl->tbl_max = --newsize;
10713     tbl->tbl_ary = ary;
10714     for (i=0; i < oldsize; i++, ary++) {
10715         PTR_TBL_ENT_t **curentp, **entp, *ent;
10716         if (!*ary)
10717             continue;
10718         curentp = ary + oldsize;
10719         for (entp = ary, ent = *ary; ent; ent = *entp) {
10720             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
10721                 *entp = ent->next;
10722                 ent->next = *curentp;
10723                 *curentp = ent;
10724                 continue;
10725             }
10726             else
10727                 entp = &ent->next;
10728         }
10729     }
10730 }
10731
10732 /* remove all the entries from a ptr table */
10733
10734 void
10735 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
10736 {
10737     if (tbl && tbl->tbl_items) {
10738         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
10739         UV riter = tbl->tbl_max;
10740
10741         do {
10742             PTR_TBL_ENT_t *entry = array[riter];
10743
10744             while (entry) {
10745                 PTR_TBL_ENT_t * const oentry = entry;
10746                 entry = entry->next;
10747                 del_pte(oentry);
10748             }
10749         } while (riter--);
10750
10751         tbl->tbl_items = 0;
10752     }
10753 }
10754
10755 /* clear and free a ptr table */
10756
10757 void
10758 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
10759 {
10760     if (!tbl) {
10761         return;
10762     }
10763     ptr_table_clear(tbl);
10764     Safefree(tbl->tbl_ary);
10765     Safefree(tbl);
10766 }
10767
10768 #if defined(USE_ITHREADS)
10769
10770 void
10771 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
10772 {
10773     PERL_ARGS_ASSERT_RVPV_DUP;
10774
10775     if (SvROK(sstr)) {
10776         SvRV_set(dstr, SvWEAKREF(sstr)
10777                        ? sv_dup(SvRV_const(sstr), param)
10778                        : sv_dup_inc(SvRV_const(sstr), param));
10779
10780     }
10781     else if (SvPVX_const(sstr)) {
10782         /* Has something there */
10783         if (SvLEN(sstr)) {
10784             /* Normal PV - clone whole allocated space */
10785             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
10786             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
10787                 /* Not that normal - actually sstr is copy on write.
10788                    But we are a true, independant SV, so:  */
10789                 SvREADONLY_off(dstr);
10790                 SvFAKE_off(dstr);
10791             }
10792         }
10793         else {
10794             /* Special case - not normally malloced for some reason */
10795             if (isGV_with_GP(sstr)) {
10796                 /* Don't need to do anything here.  */
10797             }
10798             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10799                 /* A "shared" PV - clone it as "shared" PV */
10800                 SvPV_set(dstr,
10801                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10802                                          param)));
10803             }
10804             else {
10805                 /* Some other special case - random pointer */
10806                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
10807             }
10808         }
10809     }
10810     else {
10811         /* Copy the NULL */
10812         SvPV_set(dstr, NULL);
10813     }
10814 }
10815
10816 /* duplicate a list of SVs. source and dest may point to the same memory.  */
10817 static SV **
10818 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
10819                       SSize_t items, CLONE_PARAMS *const param)
10820 {
10821     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
10822
10823     while (items-- > 0) {
10824         *dest++ = sv_dup_inc(*source++, param);
10825     }
10826
10827     return dest;
10828 }
10829
10830 /* duplicate an SV of any type (including AV, HV etc) */
10831
10832 SV *
10833 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
10834 {
10835     dVAR;
10836     SV *dstr;
10837
10838     PERL_ARGS_ASSERT_SV_DUP;
10839
10840     if (!sstr)
10841         return NULL;
10842     if (SvTYPE(sstr) == SVTYPEMASK) {
10843 #ifdef DEBUG_LEAKING_SCALARS_ABORT
10844         abort();
10845 #endif
10846         return NULL;
10847     }
10848     /* look for it in the table first */
10849     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
10850     if (dstr)
10851         return dstr;
10852
10853     if(param->flags & CLONEf_JOIN_IN) {
10854         /** We are joining here so we don't want do clone
10855             something that is bad **/
10856         if (SvTYPE(sstr) == SVt_PVHV) {
10857             const HEK * const hvname = HvNAME_HEK(sstr);
10858             if (hvname)
10859                 /** don't clone stashes if they already exist **/
10860                 return MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0));
10861         }
10862     }
10863
10864     /* create anew and remember what it is */
10865     new_SV(dstr);
10866
10867 #ifdef DEBUG_LEAKING_SCALARS
10868     dstr->sv_debug_optype = sstr->sv_debug_optype;
10869     dstr->sv_debug_line = sstr->sv_debug_line;
10870     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10871     dstr->sv_debug_cloned = 1;
10872     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10873 #endif
10874
10875     ptr_table_store(PL_ptr_table, sstr, dstr);
10876
10877     /* clone */
10878     SvFLAGS(dstr)       = SvFLAGS(sstr);
10879     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10880     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10881
10882 #ifdef DEBUGGING
10883     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10884         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10885                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10886 #endif
10887
10888     /* don't clone objects whose class has asked us not to */
10889     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10890         SvFLAGS(dstr) = 0;
10891         return dstr;
10892     }
10893
10894     switch (SvTYPE(sstr)) {
10895     case SVt_NULL:
10896         SvANY(dstr)     = NULL;
10897         break;
10898     case SVt_IV:
10899         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10900         if(SvROK(sstr)) {
10901             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10902         } else {
10903             SvIV_set(dstr, SvIVX(sstr));
10904         }
10905         break;
10906     case SVt_NV:
10907         SvANY(dstr)     = new_XNV();
10908         SvNV_set(dstr, SvNVX(sstr));
10909         break;
10910         /* case SVt_BIND: */
10911     default:
10912         {
10913             /* These are all the types that need complex bodies allocating.  */
10914             void *new_body;
10915             const svtype sv_type = SvTYPE(sstr);
10916             const struct body_details *const sv_type_details
10917                 = bodies_by_type + sv_type;
10918
10919             switch (sv_type) {
10920             default:
10921                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10922                 break;
10923
10924             case SVt_PVGV:
10925             case SVt_PVIO:
10926             case SVt_PVFM:
10927             case SVt_PVHV:
10928             case SVt_PVAV:
10929             case SVt_PVCV:
10930             case SVt_PVLV:
10931             case SVt_REGEXP:
10932             case SVt_PVMG:
10933             case SVt_PVNV:
10934             case SVt_PVIV:
10935             case SVt_PV:
10936                 assert(sv_type_details->body_size);
10937                 if (sv_type_details->arena) {
10938                     new_body_inline(new_body, sv_type);
10939                     new_body
10940                         = (void*)((char*)new_body - sv_type_details->offset);
10941                 } else {
10942                     new_body = new_NOARENA(sv_type_details);
10943                 }
10944             }
10945             assert(new_body);
10946             SvANY(dstr) = new_body;
10947
10948 #ifndef PURIFY
10949             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10950                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10951                  sv_type_details->copy, char);
10952 #else
10953             Copy(((char*)SvANY(sstr)),
10954                  ((char*)SvANY(dstr)),
10955                  sv_type_details->body_size + sv_type_details->offset, char);
10956 #endif
10957
10958             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10959                 && !isGV_with_GP(dstr))
10960                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10961
10962             /* The Copy above means that all the source (unduplicated) pointers
10963                are now in the destination.  We can check the flags and the
10964                pointers in either, but it's possible that there's less cache
10965                missing by always going for the destination.
10966                FIXME - instrument and check that assumption  */
10967             if (sv_type >= SVt_PVMG) {
10968                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
10969                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
10970                 } else if (SvMAGIC(dstr))
10971                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
10972                 if (SvSTASH(dstr))
10973                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
10974             }
10975
10976             /* The cast silences a GCC warning about unhandled types.  */
10977             switch ((int)sv_type) {
10978             case SVt_PV:
10979                 break;
10980             case SVt_PVIV:
10981                 break;
10982             case SVt_PVNV:
10983                 break;
10984             case SVt_PVMG:
10985                 break;
10986             case SVt_REGEXP:
10987                 /* FIXME for plugins */
10988                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
10989                 break;
10990             case SVt_PVLV:
10991                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
10992                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
10993                     LvTARG(dstr) = dstr;
10994                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
10995                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
10996                 else
10997                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
10998             case SVt_PVGV:
10999                 if(isGV_with_GP(sstr)) {
11000                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
11001                     /* Don't call sv_add_backref here as it's going to be
11002                        created as part of the magic cloning of the symbol
11003                        table.  */
11004                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
11005                        at the point of this comment.  */
11006                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
11007                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
11008                     (void)GpREFCNT_inc(GvGP(dstr));
11009                 } else
11010                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
11011                 break;
11012             case SVt_PVIO:
11013                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
11014                 if (IoOFP(dstr) == IoIFP(sstr))
11015                     IoOFP(dstr) = IoIFP(dstr);
11016                 else
11017                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
11018                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
11019                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
11020                     /* I have no idea why fake dirp (rsfps)
11021                        should be treated differently but otherwise
11022                        we end up with leaks -- sky*/
11023                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
11024                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
11025                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
11026                 } else {
11027                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
11028                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
11029                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
11030                     if (IoDIRP(dstr)) {
11031                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
11032                     } else {
11033                         NOOP;
11034                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
11035                     }
11036                 }
11037                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
11038                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
11039                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
11040                 break;
11041             case SVt_PVAV:
11042                 /* avoid cloning an empty array */
11043                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
11044                     SV **dst_ary, **src_ary;
11045                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
11046
11047                     src_ary = AvARRAY((const AV *)sstr);
11048                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
11049                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
11050                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
11051                     AvALLOC((const AV *)dstr) = dst_ary;
11052                     if (AvREAL((const AV *)sstr)) {
11053                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
11054                                                       param);
11055                     }
11056                     else {
11057                         while (items-- > 0)
11058                             *dst_ary++ = sv_dup(*src_ary++, param);
11059                     }
11060                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
11061                     while (items-- > 0) {
11062                         *dst_ary++ = &PL_sv_undef;
11063                     }
11064                 }
11065                 else {
11066                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
11067                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
11068                     AvMAX(  (const AV *)dstr)   = -1;
11069                     AvFILLp((const AV *)dstr)   = -1;
11070                 }
11071                 break;
11072             case SVt_PVHV:
11073                 if (HvARRAY((const HV *)sstr)) {
11074                     STRLEN i = 0;
11075                     const bool sharekeys = !!HvSHAREKEYS(sstr);
11076                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
11077                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
11078                     char *darray;
11079                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
11080                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
11081                         char);
11082                     HvARRAY(dstr) = (HE**)darray;
11083                     while (i <= sxhv->xhv_max) {
11084                         const HE * const source = HvARRAY(sstr)[i];
11085                         HvARRAY(dstr)[i] = source
11086                             ? he_dup(source, sharekeys, param) : 0;
11087                         ++i;
11088                     }
11089                     if (SvOOK(sstr)) {
11090                         HEK *hvname;
11091                         const struct xpvhv_aux * const saux = HvAUX(sstr);
11092                         struct xpvhv_aux * const daux = HvAUX(dstr);
11093                         /* This flag isn't copied.  */
11094                         /* SvOOK_on(hv) attacks the IV flags.  */
11095                         SvFLAGS(dstr) |= SVf_OOK;
11096
11097                         hvname = saux->xhv_name;
11098                         daux->xhv_name = hek_dup(hvname, param);
11099
11100                         daux->xhv_riter = saux->xhv_riter;
11101                         daux->xhv_eiter = saux->xhv_eiter
11102                             ? he_dup(saux->xhv_eiter,
11103                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
11104                         /* backref array needs refcnt=2; see sv_add_backref */
11105                         daux->xhv_backreferences =
11106                             saux->xhv_backreferences
11107                             ? MUTABLE_AV(SvREFCNT_inc(
11108                                                       sv_dup_inc((const SV *)saux->xhv_backreferences, param)))
11109                                 : 0;
11110
11111                         daux->xhv_mro_meta = saux->xhv_mro_meta
11112                             ? mro_meta_dup(saux->xhv_mro_meta, param)
11113                             : 0;
11114
11115                         /* Record stashes for possible cloning in Perl_clone(). */
11116                         if (hvname)
11117                             av_push(param->stashes, dstr);
11118                     }
11119                 }
11120                 else
11121                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
11122                 break;
11123             case SVt_PVCV:
11124                 if (!(param->flags & CLONEf_COPY_STACKS)) {
11125                     CvDEPTH(dstr) = 0;
11126                 }
11127             case SVt_PVFM:
11128                 /* NOTE: not refcounted */
11129                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
11130                 OP_REFCNT_LOCK;
11131                 if (!CvISXSUB(dstr))
11132                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
11133                 OP_REFCNT_UNLOCK;
11134                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
11135                     CvXSUBANY(dstr).any_ptr =
11136                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
11137                 }
11138                 /* don't dup if copying back - CvGV isn't refcounted, so the
11139                  * duped GV may never be freed. A bit of a hack! DAPM */
11140                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
11141                     NULL : gv_dup(CvGV(dstr), param) ;
11142                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
11143                 CvOUTSIDE(dstr) =
11144                     CvWEAKOUTSIDE(sstr)
11145                     ? cv_dup(    CvOUTSIDE(dstr), param)
11146                     : cv_dup_inc(CvOUTSIDE(dstr), param);
11147                 if (!CvISXSUB(dstr))
11148                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
11149                 break;
11150             }
11151         }
11152     }
11153
11154     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
11155         ++PL_sv_objcount;
11156
11157     return dstr;
11158  }
11159
11160 /* duplicate a context */
11161
11162 PERL_CONTEXT *
11163 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
11164 {
11165     PERL_CONTEXT *ncxs;
11166
11167     PERL_ARGS_ASSERT_CX_DUP;
11168
11169     if (!cxs)
11170         return (PERL_CONTEXT*)NULL;
11171
11172     /* look for it in the table first */
11173     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
11174     if (ncxs)
11175         return ncxs;
11176
11177     /* create anew and remember what it is */
11178     Newx(ncxs, max + 1, PERL_CONTEXT);
11179     ptr_table_store(PL_ptr_table, cxs, ncxs);
11180     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
11181
11182     while (ix >= 0) {
11183         PERL_CONTEXT * const ncx = &ncxs[ix];
11184         if (CxTYPE(ncx) == CXt_SUBST) {
11185             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
11186         }
11187         else {
11188             switch (CxTYPE(ncx)) {
11189             case CXt_SUB:
11190                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
11191                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
11192                                            : cv_dup(ncx->blk_sub.cv,param));
11193                 ncx->blk_sub.argarray   = (CxHASARGS(ncx)
11194                                            ? av_dup_inc(ncx->blk_sub.argarray,
11195                                                         param)
11196                                            : NULL);
11197                 ncx->blk_sub.savearray  = av_dup_inc(ncx->blk_sub.savearray,
11198                                                      param);
11199                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
11200                                            ncx->blk_sub.oldcomppad);
11201                 break;
11202             case CXt_EVAL:
11203                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
11204                                                       param);
11205                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
11206                 break;
11207             case CXt_LOOP_LAZYSV:
11208                 ncx->blk_loop.state_u.lazysv.end
11209                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
11210                 /* We are taking advantage of av_dup_inc and sv_dup_inc
11211                    actually being the same function, and order equivalance of
11212                    the two unions.
11213                    We can assert the later [but only at run time :-(]  */
11214                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
11215                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
11216             case CXt_LOOP_FOR:
11217                 ncx->blk_loop.state_u.ary.ary
11218                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
11219             case CXt_LOOP_LAZYIV:
11220             case CXt_LOOP_PLAIN:
11221                 if (CxPADLOOP(ncx)) {
11222                     ncx->blk_loop.oldcomppad
11223                         = (PAD*)ptr_table_fetch(PL_ptr_table,
11224                                                 ncx->blk_loop.oldcomppad);
11225                 } else {
11226                     ncx->blk_loop.oldcomppad
11227                         = (PAD*)gv_dup((const GV *)ncx->blk_loop.oldcomppad,
11228                                        param);
11229                 }
11230                 break;
11231             case CXt_FORMAT:
11232                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
11233                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
11234                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
11235                                                      param);
11236                 break;
11237             case CXt_BLOCK:
11238             case CXt_NULL:
11239                 break;
11240             }
11241         }
11242         --ix;
11243     }
11244     return ncxs;
11245 }
11246
11247 /* duplicate a stack info structure */
11248
11249 PERL_SI *
11250 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
11251 {
11252     PERL_SI *nsi;
11253
11254     PERL_ARGS_ASSERT_SI_DUP;
11255
11256     if (!si)
11257         return (PERL_SI*)NULL;
11258
11259     /* look for it in the table first */
11260     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
11261     if (nsi)
11262         return nsi;
11263
11264     /* create anew and remember what it is */
11265     Newxz(nsi, 1, PERL_SI);
11266     ptr_table_store(PL_ptr_table, si, nsi);
11267
11268     nsi->si_stack       = av_dup_inc(si->si_stack, param);
11269     nsi->si_cxix        = si->si_cxix;
11270     nsi->si_cxmax       = si->si_cxmax;
11271     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
11272     nsi->si_type        = si->si_type;
11273     nsi->si_prev        = si_dup(si->si_prev, param);
11274     nsi->si_next        = si_dup(si->si_next, param);
11275     nsi->si_markoff     = si->si_markoff;
11276
11277     return nsi;
11278 }
11279
11280 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
11281 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
11282 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
11283 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
11284 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
11285 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
11286 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
11287 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
11288 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
11289 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
11290 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
11291 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
11292 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
11293 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
11294
11295 /* XXXXX todo */
11296 #define pv_dup_inc(p)   SAVEPV(p)
11297 #define pv_dup(p)       SAVEPV(p)
11298 #define svp_dup_inc(p,pp)       any_dup(p,pp)
11299
11300 /* map any object to the new equivent - either something in the
11301  * ptr table, or something in the interpreter structure
11302  */
11303
11304 void *
11305 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
11306 {
11307     void *ret;
11308
11309     PERL_ARGS_ASSERT_ANY_DUP;
11310
11311     if (!v)
11312         return (void*)NULL;
11313
11314     /* look for it in the table first */
11315     ret = ptr_table_fetch(PL_ptr_table, v);
11316     if (ret)
11317         return ret;
11318
11319     /* see if it is part of the interpreter structure */
11320     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
11321         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
11322     else {
11323         ret = v;
11324     }
11325
11326     return ret;
11327 }
11328
11329 /* duplicate the save stack */
11330
11331 ANY *
11332 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
11333 {
11334     dVAR;
11335     ANY * const ss      = proto_perl->Isavestack;
11336     const I32 max       = proto_perl->Isavestack_max;
11337     I32 ix              = proto_perl->Isavestack_ix;
11338     ANY *nss;
11339     const SV *sv;
11340     const GV *gv;
11341     const AV *av;
11342     const HV *hv;
11343     void* ptr;
11344     int intval;
11345     long longval;
11346     GP *gp;
11347     IV iv;
11348     I32 i;
11349     char *c = NULL;
11350     void (*dptr) (void*);
11351     void (*dxptr) (pTHX_ void*);
11352
11353     PERL_ARGS_ASSERT_SS_DUP;
11354
11355     Newxz(nss, max, ANY);
11356
11357     while (ix > 0) {
11358         const I32 type = POPINT(ss,ix);
11359         TOPINT(nss,ix) = type;
11360         switch (type) {
11361         case SAVEt_HELEM:               /* hash element */
11362             sv = (const SV *)POPPTR(ss,ix);
11363             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11364             /* fall through */
11365         case SAVEt_ITEM:                        /* normal string */
11366         case SAVEt_SV:                          /* scalar reference */
11367             sv = (const SV *)POPPTR(ss,ix);
11368             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11369             /* fall through */
11370         case SAVEt_FREESV:
11371         case SAVEt_MORTALIZESV:
11372             sv = (const SV *)POPPTR(ss,ix);
11373             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11374             break;
11375         case SAVEt_SHARED_PVREF:                /* char* in shared space */
11376             c = (char*)POPPTR(ss,ix);
11377             TOPPTR(nss,ix) = savesharedpv(c);
11378             ptr = POPPTR(ss,ix);
11379             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11380             break;
11381         case SAVEt_GENERIC_SVREF:               /* generic sv */
11382         case SAVEt_SVREF:                       /* scalar reference */
11383             sv = (const SV *)POPPTR(ss,ix);
11384             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11385             ptr = POPPTR(ss,ix);
11386             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
11387             break;
11388         case SAVEt_HV:                          /* hash reference */
11389         case SAVEt_AV:                          /* array reference */
11390             sv = (const SV *) POPPTR(ss,ix);
11391             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11392             /* fall through */
11393         case SAVEt_COMPPAD:
11394         case SAVEt_NSTAB:
11395             sv = (const SV *) POPPTR(ss,ix);
11396             TOPPTR(nss,ix) = sv_dup(sv, param);
11397             break;
11398         case SAVEt_INT:                         /* int reference */
11399             ptr = POPPTR(ss,ix);
11400             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11401             intval = (int)POPINT(ss,ix);
11402             TOPINT(nss,ix) = intval;
11403             break;
11404         case SAVEt_LONG:                        /* long reference */
11405             ptr = POPPTR(ss,ix);
11406             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11407             /* fall through */
11408         case SAVEt_CLEARSV:
11409             longval = (long)POPLONG(ss,ix);
11410             TOPLONG(nss,ix) = longval;
11411             break;
11412         case SAVEt_I32:                         /* I32 reference */
11413         case SAVEt_I16:                         /* I16 reference */
11414         case SAVEt_I8:                          /* I8 reference */
11415         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
11416             ptr = POPPTR(ss,ix);
11417             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11418             i = POPINT(ss,ix);
11419             TOPINT(nss,ix) = i;
11420             break;
11421         case SAVEt_IV:                          /* IV reference */
11422             ptr = POPPTR(ss,ix);
11423             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11424             iv = POPIV(ss,ix);
11425             TOPIV(nss,ix) = iv;
11426             break;
11427         case SAVEt_HPTR:                        /* HV* reference */
11428         case SAVEt_APTR:                        /* AV* reference */
11429         case SAVEt_SPTR:                        /* SV* reference */
11430             ptr = POPPTR(ss,ix);
11431             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11432             sv = (const SV *)POPPTR(ss,ix);
11433             TOPPTR(nss,ix) = sv_dup(sv, param);
11434             break;
11435         case SAVEt_VPTR:                        /* random* reference */
11436             ptr = POPPTR(ss,ix);
11437             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11438             ptr = POPPTR(ss,ix);
11439             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11440             break;
11441         case SAVEt_GENERIC_PVREF:               /* generic char* */
11442         case SAVEt_PPTR:                        /* char* reference */
11443             ptr = POPPTR(ss,ix);
11444             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11445             c = (char*)POPPTR(ss,ix);
11446             TOPPTR(nss,ix) = pv_dup(c);
11447             break;
11448         case SAVEt_GP:                          /* scalar reference */
11449             gp = (GP*)POPPTR(ss,ix);
11450             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
11451             (void)GpREFCNT_inc(gp);
11452             gv = (const GV *)POPPTR(ss,ix);
11453             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
11454             break;
11455         case SAVEt_FREEOP:
11456             ptr = POPPTR(ss,ix);
11457             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
11458                 /* these are assumed to be refcounted properly */
11459                 OP *o;
11460                 switch (((OP*)ptr)->op_type) {
11461                 case OP_LEAVESUB:
11462                 case OP_LEAVESUBLV:
11463                 case OP_LEAVEEVAL:
11464                 case OP_LEAVE:
11465                 case OP_SCOPE:
11466                 case OP_LEAVEWRITE:
11467                     TOPPTR(nss,ix) = ptr;
11468                     o = (OP*)ptr;
11469                     OP_REFCNT_LOCK;
11470                     (void) OpREFCNT_inc(o);
11471                     OP_REFCNT_UNLOCK;
11472                     break;
11473                 default:
11474                     TOPPTR(nss,ix) = NULL;
11475                     break;
11476                 }
11477             }
11478             else
11479                 TOPPTR(nss,ix) = NULL;
11480             break;
11481         case SAVEt_DELETE:
11482             hv = (const HV *)POPPTR(ss,ix);
11483             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11484             i = POPINT(ss,ix);
11485             TOPINT(nss,ix) = i;
11486             /* Fall through */
11487         case SAVEt_FREEPV:
11488             c = (char*)POPPTR(ss,ix);
11489             TOPPTR(nss,ix) = pv_dup_inc(c);
11490             break;
11491         case SAVEt_STACK_POS:           /* Position on Perl stack */
11492             i = POPINT(ss,ix);
11493             TOPINT(nss,ix) = i;
11494             break;
11495         case SAVEt_DESTRUCTOR:
11496             ptr = POPPTR(ss,ix);
11497             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11498             dptr = POPDPTR(ss,ix);
11499             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
11500                                         any_dup(FPTR2DPTR(void *, dptr),
11501                                                 proto_perl));
11502             break;
11503         case SAVEt_DESTRUCTOR_X:
11504             ptr = POPPTR(ss,ix);
11505             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11506             dxptr = POPDXPTR(ss,ix);
11507             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
11508                                          any_dup(FPTR2DPTR(void *, dxptr),
11509                                                  proto_perl));
11510             break;
11511         case SAVEt_REGCONTEXT:
11512         case SAVEt_ALLOC:
11513             i = POPINT(ss,ix);
11514             TOPINT(nss,ix) = i;
11515             ix -= i;
11516             break;
11517         case SAVEt_AELEM:               /* array element */
11518             sv = (const SV *)POPPTR(ss,ix);
11519             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11520             i = POPINT(ss,ix);
11521             TOPINT(nss,ix) = i;
11522             av = (const AV *)POPPTR(ss,ix);
11523             TOPPTR(nss,ix) = av_dup_inc(av, param);
11524             break;
11525         case SAVEt_OP:
11526             ptr = POPPTR(ss,ix);
11527             TOPPTR(nss,ix) = ptr;
11528             break;
11529         case SAVEt_HINTS:
11530             ptr = POPPTR(ss,ix);
11531             if (ptr) {
11532                 HINTS_REFCNT_LOCK;
11533                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
11534                 HINTS_REFCNT_UNLOCK;
11535             }
11536             TOPPTR(nss,ix) = ptr;
11537             i = POPINT(ss,ix);
11538             TOPINT(nss,ix) = i;
11539             if (i & HINT_LOCALIZE_HH) {
11540                 hv = (const HV *)POPPTR(ss,ix);
11541                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11542             }
11543             break;
11544         case SAVEt_PADSV_AND_MORTALIZE:
11545             longval = (long)POPLONG(ss,ix);
11546             TOPLONG(nss,ix) = longval;
11547             ptr = POPPTR(ss,ix);
11548             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11549             sv = (const SV *)POPPTR(ss,ix);
11550             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11551             break;
11552         case SAVEt_BOOL:
11553             ptr = POPPTR(ss,ix);
11554             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11555             longval = (long)POPBOOL(ss,ix);
11556             TOPBOOL(nss,ix) = (bool)longval;
11557             break;
11558         case SAVEt_SET_SVFLAGS:
11559             i = POPINT(ss,ix);
11560             TOPINT(nss,ix) = i;
11561             i = POPINT(ss,ix);
11562             TOPINT(nss,ix) = i;
11563             sv = (const SV *)POPPTR(ss,ix);
11564             TOPPTR(nss,ix) = sv_dup(sv, param);
11565             break;
11566         case SAVEt_RE_STATE:
11567             {
11568                 const struct re_save_state *const old_state
11569                     = (struct re_save_state *)
11570                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11571                 struct re_save_state *const new_state
11572                     = (struct re_save_state *)
11573                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11574
11575                 Copy(old_state, new_state, 1, struct re_save_state);
11576                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
11577
11578                 new_state->re_state_bostr
11579                     = pv_dup(old_state->re_state_bostr);
11580                 new_state->re_state_reginput
11581                     = pv_dup(old_state->re_state_reginput);
11582                 new_state->re_state_regeol
11583                     = pv_dup(old_state->re_state_regeol);
11584                 new_state->re_state_regoffs
11585                     = (regexp_paren_pair*)
11586                         any_dup(old_state->re_state_regoffs, proto_perl);
11587                 new_state->re_state_reglastparen
11588                     = (U32*) any_dup(old_state->re_state_reglastparen, 
11589                               proto_perl);
11590                 new_state->re_state_reglastcloseparen
11591                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
11592                               proto_perl);
11593                 /* XXX This just has to be broken. The old save_re_context
11594                    code did SAVEGENERICPV(PL_reg_start_tmp);
11595                    PL_reg_start_tmp is char **.
11596                    Look above to what the dup code does for
11597                    SAVEt_GENERIC_PVREF
11598                    It can never have worked.
11599                    So this is merely a faithful copy of the exiting bug:  */
11600                 new_state->re_state_reg_start_tmp
11601                     = (char **) pv_dup((char *)
11602                                       old_state->re_state_reg_start_tmp);
11603                 /* I assume that it only ever "worked" because no-one called
11604                    (pseudo)fork while the regexp engine had re-entered itself.
11605                 */
11606 #ifdef PERL_OLD_COPY_ON_WRITE
11607                 new_state->re_state_nrs
11608                     = sv_dup(old_state->re_state_nrs, param);
11609 #endif
11610                 new_state->re_state_reg_magic
11611                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
11612                                proto_perl);
11613                 new_state->re_state_reg_oldcurpm
11614                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
11615                               proto_perl);
11616                 new_state->re_state_reg_curpm
11617                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
11618                                proto_perl);
11619                 new_state->re_state_reg_oldsaved
11620                     = pv_dup(old_state->re_state_reg_oldsaved);
11621                 new_state->re_state_reg_poscache
11622                     = pv_dup(old_state->re_state_reg_poscache);
11623                 new_state->re_state_reg_starttry
11624                     = pv_dup(old_state->re_state_reg_starttry);
11625                 break;
11626             }
11627         case SAVEt_COMPILE_WARNINGS:
11628             ptr = POPPTR(ss,ix);
11629             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
11630             break;
11631         case SAVEt_PARSER:
11632             ptr = POPPTR(ss,ix);
11633             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
11634             break;
11635         default:
11636             Perl_croak(aTHX_
11637                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
11638         }
11639     }
11640
11641     return nss;
11642 }
11643
11644
11645 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
11646  * flag to the result. This is done for each stash before cloning starts,
11647  * so we know which stashes want their objects cloned */
11648
11649 static void
11650 do_mark_cloneable_stash(pTHX_ SV *const sv)
11651 {
11652     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
11653     if (hvname) {
11654         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
11655         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
11656         if (cloner && GvCV(cloner)) {
11657             dSP;
11658             UV status;
11659
11660             ENTER;
11661             SAVETMPS;
11662             PUSHMARK(SP);
11663             mXPUSHs(newSVhek(hvname));
11664             PUTBACK;
11665             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
11666             SPAGAIN;
11667             status = POPu;
11668             PUTBACK;
11669             FREETMPS;
11670             LEAVE;
11671             if (status)
11672                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
11673         }
11674     }
11675 }
11676
11677
11678
11679 /*
11680 =for apidoc perl_clone
11681
11682 Create and return a new interpreter by cloning the current one.
11683
11684 perl_clone takes these flags as parameters:
11685
11686 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
11687 without it we only clone the data and zero the stacks,
11688 with it we copy the stacks and the new perl interpreter is
11689 ready to run at the exact same point as the previous one.
11690 The pseudo-fork code uses COPY_STACKS while the
11691 threads->create doesn't.
11692
11693 CLONEf_KEEP_PTR_TABLE
11694 perl_clone keeps a ptr_table with the pointer of the old
11695 variable as a key and the new variable as a value,
11696 this allows it to check if something has been cloned and not
11697 clone it again but rather just use the value and increase the
11698 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
11699 the ptr_table using the function
11700 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
11701 reason to keep it around is if you want to dup some of your own
11702 variable who are outside the graph perl scans, example of this
11703 code is in threads.xs create
11704
11705 CLONEf_CLONE_HOST
11706 This is a win32 thing, it is ignored on unix, it tells perls
11707 win32host code (which is c++) to clone itself, this is needed on
11708 win32 if you want to run two threads at the same time,
11709 if you just want to do some stuff in a separate perl interpreter
11710 and then throw it away and return to the original one,
11711 you don't need to do anything.
11712
11713 =cut
11714 */
11715
11716 /* XXX the above needs expanding by someone who actually understands it ! */
11717 EXTERN_C PerlInterpreter *
11718 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
11719
11720 PerlInterpreter *
11721 perl_clone(PerlInterpreter *proto_perl, UV flags)
11722 {
11723    dVAR;
11724 #ifdef PERL_IMPLICIT_SYS
11725
11726     PERL_ARGS_ASSERT_PERL_CLONE;
11727
11728    /* perlhost.h so we need to call into it
11729    to clone the host, CPerlHost should have a c interface, sky */
11730
11731    if (flags & CLONEf_CLONE_HOST) {
11732        return perl_clone_host(proto_perl,flags);
11733    }
11734    return perl_clone_using(proto_perl, flags,
11735                             proto_perl->IMem,
11736                             proto_perl->IMemShared,
11737                             proto_perl->IMemParse,
11738                             proto_perl->IEnv,
11739                             proto_perl->IStdIO,
11740                             proto_perl->ILIO,
11741                             proto_perl->IDir,
11742                             proto_perl->ISock,
11743                             proto_perl->IProc);
11744 }
11745
11746 PerlInterpreter *
11747 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
11748                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
11749                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
11750                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
11751                  struct IPerlDir* ipD, struct IPerlSock* ipS,
11752                  struct IPerlProc* ipP)
11753 {
11754     /* XXX many of the string copies here can be optimized if they're
11755      * constants; they need to be allocated as common memory and just
11756      * their pointers copied. */
11757
11758     IV i;
11759     CLONE_PARAMS clone_params;
11760     CLONE_PARAMS* const param = &clone_params;
11761
11762     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
11763
11764     PERL_ARGS_ASSERT_PERL_CLONE_USING;
11765
11766     /* for each stash, determine whether its objects should be cloned */
11767     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11768     PERL_SET_THX(my_perl);
11769
11770 #  ifdef DEBUGGING
11771     PoisonNew(my_perl, 1, PerlInterpreter);
11772     PL_op = NULL;
11773     PL_curcop = NULL;
11774     PL_markstack = 0;
11775     PL_scopestack = 0;
11776     PL_savestack = 0;
11777     PL_savestack_ix = 0;
11778     PL_savestack_max = -1;
11779     PL_sig_pending = 0;
11780     PL_parser = NULL;
11781     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11782 #  else /* !DEBUGGING */
11783     Zero(my_perl, 1, PerlInterpreter);
11784 #  endif        /* DEBUGGING */
11785
11786     /* host pointers */
11787     PL_Mem              = ipM;
11788     PL_MemShared        = ipMS;
11789     PL_MemParse         = ipMP;
11790     PL_Env              = ipE;
11791     PL_StdIO            = ipStd;
11792     PL_LIO              = ipLIO;
11793     PL_Dir              = ipD;
11794     PL_Sock             = ipS;
11795     PL_Proc             = ipP;
11796 #else           /* !PERL_IMPLICIT_SYS */
11797     IV i;
11798     CLONE_PARAMS clone_params;
11799     CLONE_PARAMS* param = &clone_params;
11800     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
11801
11802     PERL_ARGS_ASSERT_PERL_CLONE;
11803
11804     /* for each stash, determine whether its objects should be cloned */
11805     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11806     PERL_SET_THX(my_perl);
11807
11808 #    ifdef DEBUGGING
11809     PoisonNew(my_perl, 1, PerlInterpreter);
11810     PL_op = NULL;
11811     PL_curcop = NULL;
11812     PL_markstack = 0;
11813     PL_scopestack = 0;
11814     PL_savestack = 0;
11815     PL_savestack_ix = 0;
11816     PL_savestack_max = -1;
11817     PL_sig_pending = 0;
11818     PL_parser = NULL;
11819     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11820 #    else       /* !DEBUGGING */
11821     Zero(my_perl, 1, PerlInterpreter);
11822 #    endif      /* DEBUGGING */
11823 #endif          /* PERL_IMPLICIT_SYS */
11824     param->flags = flags;
11825     param->proto_perl = proto_perl;
11826
11827     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
11828
11829     PL_body_arenas = NULL;
11830     Zero(&PL_body_roots, 1, PL_body_roots);
11831     
11832     PL_nice_chunk       = NULL;
11833     PL_nice_chunk_size  = 0;
11834     PL_sv_count         = 0;
11835     PL_sv_objcount      = 0;
11836     PL_sv_root          = NULL;
11837     PL_sv_arenaroot     = NULL;
11838
11839     PL_debug            = proto_perl->Idebug;
11840
11841     PL_hash_seed        = proto_perl->Ihash_seed;
11842     PL_rehash_seed      = proto_perl->Irehash_seed;
11843
11844 #ifdef USE_REENTRANT_API
11845     /* XXX: things like -Dm will segfault here in perlio, but doing
11846      *  PERL_SET_CONTEXT(proto_perl);
11847      * breaks too many other things
11848      */
11849     Perl_reentrant_init(aTHX);
11850 #endif
11851
11852     /* create SV map for pointer relocation */
11853     PL_ptr_table = ptr_table_new();
11854
11855     /* initialize these special pointers as early as possible */
11856     SvANY(&PL_sv_undef)         = NULL;
11857     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11858     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11859     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11860
11861     SvANY(&PL_sv_no)            = new_XPVNV();
11862     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11863     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11864                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11865     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11866     SvCUR_set(&PL_sv_no, 0);
11867     SvLEN_set(&PL_sv_no, 1);
11868     SvIV_set(&PL_sv_no, 0);
11869     SvNV_set(&PL_sv_no, 0);
11870     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11871
11872     SvANY(&PL_sv_yes)           = new_XPVNV();
11873     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11874     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11875                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11876     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11877     SvCUR_set(&PL_sv_yes, 1);
11878     SvLEN_set(&PL_sv_yes, 2);
11879     SvIV_set(&PL_sv_yes, 1);
11880     SvNV_set(&PL_sv_yes, 1);
11881     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11882
11883     /* create (a non-shared!) shared string table */
11884     PL_strtab           = newHV();
11885     HvSHAREKEYS_off(PL_strtab);
11886     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11887     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11888
11889     PL_compiling = proto_perl->Icompiling;
11890
11891     /* These two PVs will be free'd special way so must set them same way op.c does */
11892     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11893     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11894
11895     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11896     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11897
11898     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11899     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11900     if (PL_compiling.cop_hints_hash) {
11901         HINTS_REFCNT_LOCK;
11902         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11903         HINTS_REFCNT_UNLOCK;
11904     }
11905     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11906 #ifdef PERL_DEBUG_READONLY_OPS
11907     PL_slabs = NULL;
11908     PL_slab_count = 0;
11909 #endif
11910
11911     /* pseudo environmental stuff */
11912     PL_origargc         = proto_perl->Iorigargc;
11913     PL_origargv         = proto_perl->Iorigargv;
11914
11915     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11916
11917     /* Set tainting stuff before PerlIO_debug can possibly get called */
11918     PL_tainting         = proto_perl->Itainting;
11919     PL_taint_warn       = proto_perl->Itaint_warn;
11920
11921 #ifdef PERLIO_LAYERS
11922     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11923     PerlIO_clone(aTHX_ proto_perl, param);
11924 #endif
11925
11926     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11927     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11928     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11929     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11930     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11931     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11932
11933     /* switches */
11934     PL_minus_c          = proto_perl->Iminus_c;
11935     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11936     PL_localpatches     = proto_perl->Ilocalpatches;
11937     PL_splitstr         = proto_perl->Isplitstr;
11938     PL_minus_n          = proto_perl->Iminus_n;
11939     PL_minus_p          = proto_perl->Iminus_p;
11940     PL_minus_l          = proto_perl->Iminus_l;
11941     PL_minus_a          = proto_perl->Iminus_a;
11942     PL_minus_E          = proto_perl->Iminus_E;
11943     PL_minus_F          = proto_perl->Iminus_F;
11944     PL_doswitches       = proto_perl->Idoswitches;
11945     PL_dowarn           = proto_perl->Idowarn;
11946     PL_doextract        = proto_perl->Idoextract;
11947     PL_sawampersand     = proto_perl->Isawampersand;
11948     PL_unsafe           = proto_perl->Iunsafe;
11949     PL_inplace          = SAVEPV(proto_perl->Iinplace);
11950     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
11951     PL_perldb           = proto_perl->Iperldb;
11952     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
11953     PL_exit_flags       = proto_perl->Iexit_flags;
11954
11955     /* magical thingies */
11956     /* XXX time(&PL_basetime) when asked for? */
11957     PL_basetime         = proto_perl->Ibasetime;
11958     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
11959
11960     PL_maxsysfd         = proto_perl->Imaxsysfd;
11961     PL_statusvalue      = proto_perl->Istatusvalue;
11962 #ifdef VMS
11963     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
11964 #else
11965     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
11966 #endif
11967     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
11968
11969     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
11970     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
11971     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
11972
11973    
11974     /* RE engine related */
11975     Zero(&PL_reg_state, 1, struct re_save_state);
11976     PL_reginterp_cnt    = 0;
11977     PL_regmatch_slab    = NULL;
11978     
11979     /* Clone the regex array */
11980     /* ORANGE FIXME for plugins, probably in the SV dup code.
11981        newSViv(PTR2IV(CALLREGDUPE(
11982        INT2PTR(REGEXP *, SvIVX(regex)), param))))
11983     */
11984     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
11985     PL_regex_pad = AvARRAY(PL_regex_padav);
11986
11987     /* shortcuts to various I/O objects */
11988     PL_ofsgv            = gv_dup(proto_perl->Iofsgv, param);
11989     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
11990     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
11991     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
11992     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
11993     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
11994     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
11995
11996     /* shortcuts to regexp stuff */
11997     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
11998
11999     /* shortcuts to misc objects */
12000     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
12001
12002     /* shortcuts to debugging objects */
12003     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
12004     PL_DBline           = gv_dup(proto_perl->IDBline, param);
12005     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
12006     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
12007     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
12008     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
12009     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
12010
12011     /* symbol tables */
12012     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
12013     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
12014     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
12015     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
12016     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
12017
12018     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
12019     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
12020     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
12021     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
12022     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
12023     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
12024     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
12025     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
12026
12027     PL_sub_generation   = proto_perl->Isub_generation;
12028     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
12029
12030     /* funky return mechanisms */
12031     PL_forkprocess      = proto_perl->Iforkprocess;
12032
12033     /* subprocess state */
12034     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
12035
12036     /* internal state */
12037     PL_maxo             = proto_perl->Imaxo;
12038     if (proto_perl->Iop_mask)
12039         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
12040     else
12041         PL_op_mask      = NULL;
12042     /* PL_asserting        = proto_perl->Iasserting; */
12043
12044     /* current interpreter roots */
12045     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
12046     OP_REFCNT_LOCK;
12047     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
12048     OP_REFCNT_UNLOCK;
12049     PL_main_start       = proto_perl->Imain_start;
12050     PL_eval_root        = proto_perl->Ieval_root;
12051     PL_eval_start       = proto_perl->Ieval_start;
12052
12053     /* runtime control stuff */
12054     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
12055
12056     PL_filemode         = proto_perl->Ifilemode;
12057     PL_lastfd           = proto_perl->Ilastfd;
12058     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
12059     PL_Argv             = NULL;
12060     PL_Cmd              = NULL;
12061     PL_gensym           = proto_perl->Igensym;
12062     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
12063     PL_laststatval      = proto_perl->Ilaststatval;
12064     PL_laststype        = proto_perl->Ilaststype;
12065     PL_mess_sv          = NULL;
12066
12067     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
12068
12069     /* interpreter atexit processing */
12070     PL_exitlistlen      = proto_perl->Iexitlistlen;
12071     if (PL_exitlistlen) {
12072         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12073         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12074     }
12075     else
12076         PL_exitlist     = (PerlExitListEntry*)NULL;
12077
12078     PL_my_cxt_size = proto_perl->Imy_cxt_size;
12079     if (PL_my_cxt_size) {
12080         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
12081         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
12082 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12083         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
12084         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
12085 #endif
12086     }
12087     else {
12088         PL_my_cxt_list  = (void**)NULL;
12089 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12090         PL_my_cxt_keys  = (const char**)NULL;
12091 #endif
12092     }
12093     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
12094     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
12095     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
12096
12097     PL_profiledata      = NULL;
12098
12099     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
12100
12101     PAD_CLONE_VARS(proto_perl, param);
12102
12103 #ifdef HAVE_INTERP_INTERN
12104     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
12105 #endif
12106
12107     /* more statics moved here */
12108     PL_generation       = proto_perl->Igeneration;
12109     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
12110
12111     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
12112     PL_in_clean_all     = proto_perl->Iin_clean_all;
12113
12114     PL_uid              = proto_perl->Iuid;
12115     PL_euid             = proto_perl->Ieuid;
12116     PL_gid              = proto_perl->Igid;
12117     PL_egid             = proto_perl->Iegid;
12118     PL_nomemok          = proto_perl->Inomemok;
12119     PL_an               = proto_perl->Ian;
12120     PL_evalseq          = proto_perl->Ievalseq;
12121     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
12122     PL_origalen         = proto_perl->Iorigalen;
12123 #ifdef PERL_USES_PL_PIDSTATUS
12124     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
12125 #endif
12126     PL_osname           = SAVEPV(proto_perl->Iosname);
12127     PL_sighandlerp      = proto_perl->Isighandlerp;
12128
12129     PL_runops           = proto_perl->Irunops;
12130
12131     PL_parser           = parser_dup(proto_perl->Iparser, param);
12132
12133     /* XXX this only works if the saved cop has already been cloned */
12134     if (proto_perl->Iparser) {
12135         PL_parser->saved_curcop = (COP*)any_dup(
12136                                     proto_perl->Iparser->saved_curcop,
12137                                     proto_perl);
12138     }
12139
12140     PL_subline          = proto_perl->Isubline;
12141     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
12142
12143 #ifdef FCRYPT
12144     PL_cryptseen        = proto_perl->Icryptseen;
12145 #endif
12146
12147     PL_hints            = proto_perl->Ihints;
12148
12149     PL_amagic_generation        = proto_perl->Iamagic_generation;
12150
12151 #ifdef USE_LOCALE_COLLATE
12152     PL_collation_ix     = proto_perl->Icollation_ix;
12153     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
12154     PL_collation_standard       = proto_perl->Icollation_standard;
12155     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
12156     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
12157 #endif /* USE_LOCALE_COLLATE */
12158
12159 #ifdef USE_LOCALE_NUMERIC
12160     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
12161     PL_numeric_standard = proto_perl->Inumeric_standard;
12162     PL_numeric_local    = proto_perl->Inumeric_local;
12163     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
12164 #endif /* !USE_LOCALE_NUMERIC */
12165
12166     /* utf8 character classes */
12167     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
12168     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
12169     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
12170     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
12171     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
12172     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
12173     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
12174     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
12175     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
12176     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
12177     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
12178     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
12179     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
12180     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
12181     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
12182     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
12183     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
12184     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
12185     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
12186     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
12187
12188     /* Did the locale setup indicate UTF-8? */
12189     PL_utf8locale       = proto_perl->Iutf8locale;
12190     /* Unicode features (see perlrun/-C) */
12191     PL_unicode          = proto_perl->Iunicode;
12192
12193     /* Pre-5.8 signals control */
12194     PL_signals          = proto_perl->Isignals;
12195
12196     /* times() ticks per second */
12197     PL_clocktick        = proto_perl->Iclocktick;
12198
12199     /* Recursion stopper for PerlIO_find_layer */
12200     PL_in_load_module   = proto_perl->Iin_load_module;
12201
12202     /* sort() routine */
12203     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
12204
12205     /* Not really needed/useful since the reenrant_retint is "volatile",
12206      * but do it for consistency's sake. */
12207     PL_reentrant_retint = proto_perl->Ireentrant_retint;
12208
12209     /* Hooks to shared SVs and locks. */
12210     PL_sharehook        = proto_perl->Isharehook;
12211     PL_lockhook         = proto_perl->Ilockhook;
12212     PL_unlockhook       = proto_perl->Iunlockhook;
12213     PL_threadhook       = proto_perl->Ithreadhook;
12214     PL_destroyhook      = proto_perl->Idestroyhook;
12215
12216 #ifdef THREADS_HAVE_PIDS
12217     PL_ppid             = proto_perl->Ippid;
12218 #endif
12219
12220     /* swatch cache */
12221     PL_last_swash_hv    = NULL; /* reinits on demand */
12222     PL_last_swash_klen  = 0;
12223     PL_last_swash_key[0]= '\0';
12224     PL_last_swash_tmps  = (U8*)NULL;
12225     PL_last_swash_slen  = 0;
12226
12227     PL_glob_index       = proto_perl->Iglob_index;
12228     PL_srand_called     = proto_perl->Isrand_called;
12229
12230     if (proto_perl->Ipsig_pend) {
12231         Newxz(PL_psig_pend, SIG_SIZE, int);
12232     }
12233     else {
12234         PL_psig_pend    = (int*)NULL;
12235     }
12236
12237     if (proto_perl->Ipsig_name) {
12238         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
12239         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
12240                             param);
12241         PL_psig_ptr = PL_psig_name + SIG_SIZE;
12242     }
12243     else {
12244         PL_psig_ptr     = (SV**)NULL;
12245         PL_psig_name    = (SV**)NULL;
12246     }
12247
12248     /* intrpvar.h stuff */
12249
12250     if (flags & CLONEf_COPY_STACKS) {
12251         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
12252         PL_tmps_ix              = proto_perl->Itmps_ix;
12253         PL_tmps_max             = proto_perl->Itmps_max;
12254         PL_tmps_floor           = proto_perl->Itmps_floor;
12255         Newx(PL_tmps_stack, PL_tmps_max, SV*);
12256         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack, PL_tmps_ix,
12257                             param);
12258
12259         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
12260         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
12261         Newxz(PL_markstack, i, I32);
12262         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
12263                                                   - proto_perl->Imarkstack);
12264         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
12265                                                   - proto_perl->Imarkstack);
12266         Copy(proto_perl->Imarkstack, PL_markstack,
12267              PL_markstack_ptr - PL_markstack + 1, I32);
12268
12269         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
12270          * NOTE: unlike the others! */
12271         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
12272         PL_scopestack_max       = proto_perl->Iscopestack_max;
12273         Newxz(PL_scopestack, PL_scopestack_max, I32);
12274         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
12275
12276         /* NOTE: si_dup() looks at PL_markstack */
12277         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
12278
12279         /* PL_curstack          = PL_curstackinfo->si_stack; */
12280         PL_curstack             = av_dup(proto_perl->Icurstack, param);
12281         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
12282
12283         /* next PUSHs() etc. set *(PL_stack_sp+1) */
12284         PL_stack_base           = AvARRAY(PL_curstack);
12285         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
12286                                                    - proto_perl->Istack_base);
12287         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
12288
12289         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
12290          * NOTE: unlike the others! */
12291         PL_savestack_ix         = proto_perl->Isavestack_ix;
12292         PL_savestack_max        = proto_perl->Isavestack_max;
12293         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
12294         PL_savestack            = ss_dup(proto_perl, param);
12295     }
12296     else {
12297         init_stacks();
12298         ENTER;                  /* perl_destruct() wants to LEAVE; */
12299
12300         /* although we're not duplicating the tmps stack, we should still
12301          * add entries for any SVs on the tmps stack that got cloned by a
12302          * non-refcount means (eg a temp in @_); otherwise they will be
12303          * orphaned
12304          */
12305         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
12306             SV * const nsv = MUTABLE_SV(ptr_table_fetch(PL_ptr_table,
12307                     proto_perl->Itmps_stack[i]));
12308             if (nsv && !SvREFCNT(nsv)) {
12309                 EXTEND_MORTAL(1);
12310                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
12311             }
12312         }
12313     }
12314
12315     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
12316     PL_top_env          = &PL_start_env;
12317
12318     PL_op               = proto_perl->Iop;
12319
12320     PL_Sv               = NULL;
12321     PL_Xpv              = (XPV*)NULL;
12322     my_perl->Ina        = proto_perl->Ina;
12323
12324     PL_statbuf          = proto_perl->Istatbuf;
12325     PL_statcache        = proto_perl->Istatcache;
12326     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
12327     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
12328 #ifdef HAS_TIMES
12329     PL_timesbuf         = proto_perl->Itimesbuf;
12330 #endif
12331
12332     PL_tainted          = proto_perl->Itainted;
12333     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
12334     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
12335     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
12336     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
12337     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
12338     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
12339     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
12340     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
12341
12342     PL_restartop        = proto_perl->Irestartop;
12343     PL_in_eval          = proto_perl->Iin_eval;
12344     PL_delaymagic       = proto_perl->Idelaymagic;
12345     PL_dirty            = proto_perl->Idirty;
12346     PL_localizing       = proto_perl->Ilocalizing;
12347
12348     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
12349     PL_hv_fetch_ent_mh  = NULL;
12350     PL_modcount         = proto_perl->Imodcount;
12351     PL_lastgotoprobe    = NULL;
12352     PL_dumpindent       = proto_perl->Idumpindent;
12353
12354     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
12355     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
12356     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
12357     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
12358     PL_efloatbuf        = NULL;         /* reinits on demand */
12359     PL_efloatsize       = 0;                    /* reinits on demand */
12360
12361     /* regex stuff */
12362
12363     PL_screamfirst      = NULL;
12364     PL_screamnext       = NULL;
12365     PL_maxscream        = -1;                   /* reinits on demand */
12366     PL_lastscream       = NULL;
12367
12368
12369     PL_regdummy         = proto_perl->Iregdummy;
12370     PL_colorset         = 0;            /* reinits PL_colors[] */
12371     /*PL_colors[6]      = {0,0,0,0,0,0};*/
12372
12373
12374
12375     /* Pluggable optimizer */
12376     PL_peepp            = proto_perl->Ipeepp;
12377     /* op_free() hook */
12378     PL_opfreehook       = proto_perl->Iopfreehook;
12379
12380     PL_stashcache       = newHV();
12381
12382     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
12383                                             proto_perl->Iwatchaddr);
12384     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
12385     if (PL_debug && PL_watchaddr) {
12386         PerlIO_printf(Perl_debug_log,
12387           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
12388           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
12389           PTR2UV(PL_watchok));
12390     }
12391
12392     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
12393
12394     /* Call the ->CLONE method, if it exists, for each of the stashes
12395        identified by sv_dup() above.
12396     */
12397     while(av_len(param->stashes) != -1) {
12398         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
12399         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
12400         if (cloner && GvCV(cloner)) {
12401             dSP;
12402             ENTER;
12403             SAVETMPS;
12404             PUSHMARK(SP);
12405             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
12406             PUTBACK;
12407             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
12408             FREETMPS;
12409             LEAVE;
12410         }
12411     }
12412
12413     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
12414         ptr_table_free(PL_ptr_table);
12415         PL_ptr_table = NULL;
12416     }
12417
12418
12419     SvREFCNT_dec(param->stashes);
12420
12421     /* orphaned? eg threads->new inside BEGIN or use */
12422     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
12423         SvREFCNT_inc_simple_void(PL_compcv);
12424         SAVEFREESV(PL_compcv);
12425     }
12426
12427     return my_perl;
12428 }
12429
12430 #endif /* USE_ITHREADS */
12431
12432 /*
12433 =head1 Unicode Support
12434
12435 =for apidoc sv_recode_to_utf8
12436
12437 The encoding is assumed to be an Encode object, on entry the PV
12438 of the sv is assumed to be octets in that encoding, and the sv
12439 will be converted into Unicode (and UTF-8).
12440
12441 If the sv already is UTF-8 (or if it is not POK), or if the encoding
12442 is not a reference, nothing is done to the sv.  If the encoding is not
12443 an C<Encode::XS> Encoding object, bad things will happen.
12444 (See F<lib/encoding.pm> and L<Encode>).
12445
12446 The PV of the sv is returned.
12447
12448 =cut */
12449
12450 char *
12451 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
12452 {
12453     dVAR;
12454
12455     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
12456
12457     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
12458         SV *uni;
12459         STRLEN len;
12460         const char *s;
12461         dSP;
12462         ENTER;
12463         SAVETMPS;
12464         save_re_context();
12465         PUSHMARK(sp);
12466         EXTEND(SP, 3);
12467         XPUSHs(encoding);
12468         XPUSHs(sv);
12469 /*
12470   NI-S 2002/07/09
12471   Passing sv_yes is wrong - it needs to be or'ed set of constants
12472   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
12473   remove converted chars from source.
12474
12475   Both will default the value - let them.
12476
12477         XPUSHs(&PL_sv_yes);
12478 */
12479         PUTBACK;
12480         call_method("decode", G_SCALAR);
12481         SPAGAIN;
12482         uni = POPs;
12483         PUTBACK;
12484         s = SvPV_const(uni, len);
12485         if (s != SvPVX_const(sv)) {
12486             SvGROW(sv, len + 1);
12487             Move(s, SvPVX(sv), len + 1, char);
12488             SvCUR_set(sv, len);
12489         }
12490         FREETMPS;
12491         LEAVE;
12492         SvUTF8_on(sv);
12493         return SvPVX(sv);
12494     }
12495     return SvPOKp(sv) ? SvPVX(sv) : NULL;
12496 }
12497
12498 /*
12499 =for apidoc sv_cat_decode
12500
12501 The encoding is assumed to be an Encode object, the PV of the ssv is
12502 assumed to be octets in that encoding and decoding the input starts
12503 from the position which (PV + *offset) pointed to.  The dsv will be
12504 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
12505 when the string tstr appears in decoding output or the input ends on
12506 the PV of the ssv. The value which the offset points will be modified
12507 to the last input position on the ssv.
12508
12509 Returns TRUE if the terminator was found, else returns FALSE.
12510
12511 =cut */
12512
12513 bool
12514 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
12515                    SV *ssv, int *offset, char *tstr, int tlen)
12516 {
12517     dVAR;
12518     bool ret = FALSE;
12519
12520     PERL_ARGS_ASSERT_SV_CAT_DECODE;
12521
12522     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
12523         SV *offsv;
12524         dSP;
12525         ENTER;
12526         SAVETMPS;
12527         save_re_context();
12528         PUSHMARK(sp);
12529         EXTEND(SP, 6);
12530         XPUSHs(encoding);
12531         XPUSHs(dsv);
12532         XPUSHs(ssv);
12533         offsv = newSViv(*offset);
12534         mXPUSHs(offsv);
12535         mXPUSHp(tstr, tlen);
12536         PUTBACK;
12537         call_method("cat_decode", G_SCALAR);
12538         SPAGAIN;
12539         ret = SvTRUE(TOPs);
12540         *offset = SvIV(offsv);
12541         PUTBACK;
12542         FREETMPS;
12543         LEAVE;
12544     }
12545     else
12546         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
12547     return ret;
12548
12549 }
12550
12551 /* ---------------------------------------------------------------------
12552  *
12553  * support functions for report_uninit()
12554  */
12555
12556 /* the maxiumum size of array or hash where we will scan looking
12557  * for the undefined element that triggered the warning */
12558
12559 #define FUV_MAX_SEARCH_SIZE 1000
12560
12561 /* Look for an entry in the hash whose value has the same SV as val;
12562  * If so, return a mortal copy of the key. */
12563
12564 STATIC SV*
12565 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
12566 {
12567     dVAR;
12568     register HE **array;
12569     I32 i;
12570
12571     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
12572
12573     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
12574                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
12575         return NULL;
12576
12577     array = HvARRAY(hv);
12578
12579     for (i=HvMAX(hv); i>0; i--) {
12580         register HE *entry;
12581         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
12582             if (HeVAL(entry) != val)
12583                 continue;
12584             if (    HeVAL(entry) == &PL_sv_undef ||
12585                     HeVAL(entry) == &PL_sv_placeholder)
12586                 continue;
12587             if (!HeKEY(entry))
12588                 return NULL;
12589             if (HeKLEN(entry) == HEf_SVKEY)
12590                 return sv_mortalcopy(HeKEY_sv(entry));
12591             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
12592         }
12593     }
12594     return NULL;
12595 }
12596
12597 /* Look for an entry in the array whose value has the same SV as val;
12598  * If so, return the index, otherwise return -1. */
12599
12600 STATIC I32
12601 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
12602 {
12603     dVAR;
12604
12605     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
12606
12607     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
12608                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
12609         return -1;
12610
12611     if (val != &PL_sv_undef) {
12612         SV ** const svp = AvARRAY(av);
12613         I32 i;
12614
12615         for (i=AvFILLp(av); i>=0; i--)
12616             if (svp[i] == val)
12617                 return i;
12618     }
12619     return -1;
12620 }
12621
12622 /* S_varname(): return the name of a variable, optionally with a subscript.
12623  * If gv is non-zero, use the name of that global, along with gvtype (one
12624  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
12625  * targ.  Depending on the value of the subscript_type flag, return:
12626  */
12627
12628 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
12629 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
12630 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
12631 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
12632
12633 STATIC SV*
12634 S_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
12635         const SV *const keyname, I32 aindex, int subscript_type)
12636 {
12637
12638     SV * const name = sv_newmortal();
12639     if (gv) {
12640         char buffer[2];
12641         buffer[0] = gvtype;
12642         buffer[1] = 0;
12643
12644         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
12645
12646         gv_fullname4(name, gv, buffer, 0);
12647
12648         if ((unsigned int)SvPVX(name)[1] <= 26) {
12649             buffer[0] = '^';
12650             buffer[1] = SvPVX(name)[1] + 'A' - 1;
12651
12652             /* Swap the 1 unprintable control character for the 2 byte pretty
12653                version - ie substr($name, 1, 1) = $buffer; */
12654             sv_insert(name, 1, 1, buffer, 2);
12655         }
12656     }
12657     else {
12658         CV * const cv = find_runcv(NULL);
12659         SV *sv;
12660         AV *av;
12661
12662         if (!cv || !CvPADLIST(cv))
12663             return NULL;
12664         av = MUTABLE_AV((*av_fetch(CvPADLIST(cv), 0, FALSE)));
12665         sv = *av_fetch(av, targ, FALSE);
12666         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
12667     }
12668
12669     if (subscript_type == FUV_SUBSCRIPT_HASH) {
12670         SV * const sv = newSV(0);
12671         *SvPVX(name) = '$';
12672         Perl_sv_catpvf(aTHX_ name, "{%s}",
12673             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
12674         SvREFCNT_dec(sv);
12675     }
12676     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
12677         *SvPVX(name) = '$';
12678         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
12679     }
12680     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
12681         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
12682         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
12683     }
12684
12685     return name;
12686 }
12687
12688
12689 /*
12690 =for apidoc find_uninit_var
12691
12692 Find the name of the undefined variable (if any) that caused the operator o
12693 to issue a "Use of uninitialized value" warning.
12694 If match is true, only return a name if it's value matches uninit_sv.
12695 So roughly speaking, if a unary operator (such as OP_COS) generates a
12696 warning, then following the direct child of the op may yield an
12697 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
12698 other hand, with OP_ADD there are two branches to follow, so we only print
12699 the variable name if we get an exact match.
12700
12701 The name is returned as a mortal SV.
12702
12703 Assumes that PL_op is the op that originally triggered the error, and that
12704 PL_comppad/PL_curpad points to the currently executing pad.
12705
12706 =cut
12707 */
12708
12709 STATIC SV *
12710 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
12711                   bool match)
12712 {
12713     dVAR;
12714     SV *sv;
12715     const GV *gv;
12716     const OP *o, *o2, *kid;
12717
12718     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
12719                             uninit_sv == &PL_sv_placeholder)))
12720         return NULL;
12721
12722     switch (obase->op_type) {
12723
12724     case OP_RV2AV:
12725     case OP_RV2HV:
12726     case OP_PADAV:
12727     case OP_PADHV:
12728       {
12729         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
12730         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
12731         I32 index = 0;
12732         SV *keysv = NULL;
12733         int subscript_type = FUV_SUBSCRIPT_WITHIN;
12734
12735         if (pad) { /* @lex, %lex */
12736             sv = PAD_SVl(obase->op_targ);
12737             gv = NULL;
12738         }
12739         else {
12740             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
12741             /* @global, %global */
12742                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
12743                 if (!gv)
12744                     break;
12745                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
12746             }
12747             else /* @{expr}, %{expr} */
12748                 return find_uninit_var(cUNOPx(obase)->op_first,
12749                                                     uninit_sv, match);
12750         }
12751
12752         /* attempt to find a match within the aggregate */
12753         if (hash) {
12754             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12755             if (keysv)
12756                 subscript_type = FUV_SUBSCRIPT_HASH;
12757         }
12758         else {
12759             index = find_array_subscript((const AV *)sv, uninit_sv);
12760             if (index >= 0)
12761                 subscript_type = FUV_SUBSCRIPT_ARRAY;
12762         }
12763
12764         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
12765             break;
12766
12767         return varname(gv, hash ? '%' : '@', obase->op_targ,
12768                                     keysv, index, subscript_type);
12769       }
12770
12771     case OP_PADSV:
12772         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
12773             break;
12774         return varname(NULL, '$', obase->op_targ,
12775                                     NULL, 0, FUV_SUBSCRIPT_NONE);
12776
12777     case OP_GVSV:
12778         gv = cGVOPx_gv(obase);
12779         if (!gv || (match && GvSV(gv) != uninit_sv))
12780             break;
12781         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
12782
12783     case OP_AELEMFAST:
12784         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
12785             if (match) {
12786                 SV **svp;
12787                 AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
12788                 if (!av || SvRMAGICAL(av))
12789                     break;
12790                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12791                 if (!svp || *svp != uninit_sv)
12792                     break;
12793             }
12794             return varname(NULL, '$', obase->op_targ,
12795                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12796         }
12797         else {
12798             gv = cGVOPx_gv(obase);
12799             if (!gv)
12800                 break;
12801             if (match) {
12802                 SV **svp;
12803                 AV *const av = GvAV(gv);
12804                 if (!av || SvRMAGICAL(av))
12805                     break;
12806                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12807                 if (!svp || *svp != uninit_sv)
12808                     break;
12809             }
12810             return varname(gv, '$', 0,
12811                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12812         }
12813         break;
12814
12815     case OP_EXISTS:
12816         o = cUNOPx(obase)->op_first;
12817         if (!o || o->op_type != OP_NULL ||
12818                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
12819             break;
12820         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
12821
12822     case OP_AELEM:
12823     case OP_HELEM:
12824         if (PL_op == obase)
12825             /* $a[uninit_expr] or $h{uninit_expr} */
12826             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
12827
12828         gv = NULL;
12829         o = cBINOPx(obase)->op_first;
12830         kid = cBINOPx(obase)->op_last;
12831
12832         /* get the av or hv, and optionally the gv */
12833         sv = NULL;
12834         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12835             sv = PAD_SV(o->op_targ);
12836         }
12837         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12838                 && cUNOPo->op_first->op_type == OP_GV)
12839         {
12840             gv = cGVOPx_gv(cUNOPo->op_first);
12841             if (!gv)
12842                 break;
12843             sv = o->op_type
12844                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
12845         }
12846         if (!sv)
12847             break;
12848
12849         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12850             /* index is constant */
12851             if (match) {
12852                 if (SvMAGICAL(sv))
12853                     break;
12854                 if (obase->op_type == OP_HELEM) {
12855                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), cSVOPx_sv(kid), 0, 0);
12856                     if (!he || HeVAL(he) != uninit_sv)
12857                         break;
12858                 }
12859                 else {
12860                     SV * const * const svp = av_fetch(MUTABLE_AV(sv), SvIV(cSVOPx_sv(kid)), FALSE);
12861                     if (!svp || *svp != uninit_sv)
12862                         break;
12863                 }
12864             }
12865             if (obase->op_type == OP_HELEM)
12866                 return varname(gv, '%', o->op_targ,
12867                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12868             else
12869                 return varname(gv, '@', o->op_targ, NULL,
12870                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12871         }
12872         else  {
12873             /* index is an expression;
12874              * attempt to find a match within the aggregate */
12875             if (obase->op_type == OP_HELEM) {
12876                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12877                 if (keysv)
12878                     return varname(gv, '%', o->op_targ,
12879                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12880             }
12881             else {
12882                 const I32 index
12883                     = find_array_subscript((const AV *)sv, uninit_sv);
12884                 if (index >= 0)
12885                     return varname(gv, '@', o->op_targ,
12886                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12887             }
12888             if (match)
12889                 break;
12890             return varname(gv,
12891                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12892                 ? '@' : '%',
12893                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12894         }
12895         break;
12896
12897     case OP_AASSIGN:
12898         /* only examine RHS */
12899         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12900
12901     case OP_OPEN:
12902         o = cUNOPx(obase)->op_first;
12903         if (o->op_type == OP_PUSHMARK)
12904             o = o->op_sibling;
12905
12906         if (!o->op_sibling) {
12907             /* one-arg version of open is highly magical */
12908
12909             if (o->op_type == OP_GV) { /* open FOO; */
12910                 gv = cGVOPx_gv(o);
12911                 if (match && GvSV(gv) != uninit_sv)
12912                     break;
12913                 return varname(gv, '$', 0,
12914                             NULL, 0, FUV_SUBSCRIPT_NONE);
12915             }
12916             /* other possibilities not handled are:
12917              * open $x; or open my $x;  should return '${*$x}'
12918              * open expr;               should return '$'.expr ideally
12919              */
12920              break;
12921         }
12922         goto do_op;
12923
12924     /* ops where $_ may be an implicit arg */
12925     case OP_TRANS:
12926     case OP_SUBST:
12927     case OP_MATCH:
12928         if ( !(obase->op_flags & OPf_STACKED)) {
12929             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12930                                  ? PAD_SVl(obase->op_targ)
12931                                  : DEFSV))
12932             {
12933                 sv = sv_newmortal();
12934                 sv_setpvs(sv, "$_");
12935                 return sv;
12936             }
12937         }
12938         goto do_op;
12939
12940     case OP_PRTF:
12941     case OP_PRINT:
12942     case OP_SAY:
12943         match = 1; /* print etc can return undef on defined args */
12944         /* skip filehandle as it can't produce 'undef' warning  */
12945         o = cUNOPx(obase)->op_first;
12946         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
12947             o = o->op_sibling->op_sibling;
12948         goto do_op2;
12949
12950
12951     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
12952     case OP_RV2SV:
12953     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
12954
12955         /* the following ops are capable of returning PL_sv_undef even for
12956          * defined arg(s) */
12957
12958     case OP_BACKTICK:
12959     case OP_PIPE_OP:
12960     case OP_FILENO:
12961     case OP_BINMODE:
12962     case OP_TIED:
12963     case OP_GETC:
12964     case OP_SYSREAD:
12965     case OP_SEND:
12966     case OP_IOCTL:
12967     case OP_SOCKET:
12968     case OP_SOCKPAIR:
12969     case OP_BIND:
12970     case OP_CONNECT:
12971     case OP_LISTEN:
12972     case OP_ACCEPT:
12973     case OP_SHUTDOWN:
12974     case OP_SSOCKOPT:
12975     case OP_GETPEERNAME:
12976     case OP_FTRREAD:
12977     case OP_FTRWRITE:
12978     case OP_FTREXEC:
12979     case OP_FTROWNED:
12980     case OP_FTEREAD:
12981     case OP_FTEWRITE:
12982     case OP_FTEEXEC:
12983     case OP_FTEOWNED:
12984     case OP_FTIS:
12985     case OP_FTZERO:
12986     case OP_FTSIZE:
12987     case OP_FTFILE:
12988     case OP_FTDIR:
12989     case OP_FTLINK:
12990     case OP_FTPIPE:
12991     case OP_FTSOCK:
12992     case OP_FTBLK:
12993     case OP_FTCHR:
12994     case OP_FTTTY:
12995     case OP_FTSUID:
12996     case OP_FTSGID:
12997     case OP_FTSVTX:
12998     case OP_FTTEXT:
12999     case OP_FTBINARY:
13000     case OP_FTMTIME:
13001     case OP_FTATIME:
13002     case OP_FTCTIME:
13003     case OP_READLINK:
13004     case OP_OPEN_DIR:
13005     case OP_READDIR:
13006     case OP_TELLDIR:
13007     case OP_SEEKDIR:
13008     case OP_REWINDDIR:
13009     case OP_CLOSEDIR:
13010     case OP_GMTIME:
13011     case OP_ALARM:
13012     case OP_SEMGET:
13013     case OP_GETLOGIN:
13014     case OP_UNDEF:
13015     case OP_SUBSTR:
13016     case OP_AEACH:
13017     case OP_EACH:
13018     case OP_SORT:
13019     case OP_CALLER:
13020     case OP_DOFILE:
13021     case OP_PROTOTYPE:
13022     case OP_NCMP:
13023     case OP_SMARTMATCH:
13024     case OP_UNPACK:
13025     case OP_SYSOPEN:
13026     case OP_SYSSEEK:
13027         match = 1;
13028         goto do_op;
13029
13030     case OP_ENTERSUB:
13031     case OP_GOTO:
13032         /* XXX tmp hack: these two may call an XS sub, and currently
13033           XS subs don't have a SUB entry on the context stack, so CV and
13034           pad determination goes wrong, and BAD things happen. So, just
13035           don't try to determine the value under those circumstances.
13036           Need a better fix at dome point. DAPM 11/2007 */
13037         break;
13038
13039     case OP_FLIP:
13040     case OP_FLOP:
13041     {
13042         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
13043         if (gv && GvSV(gv) == uninit_sv)
13044             return newSVpvs_flags("$.", SVs_TEMP);
13045         goto do_op;
13046     }
13047
13048     case OP_POS:
13049         /* def-ness of rval pos() is independent of the def-ness of its arg */
13050         if ( !(obase->op_flags & OPf_MOD))
13051             break;
13052
13053     case OP_SCHOMP:
13054     case OP_CHOMP:
13055         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
13056             return newSVpvs_flags("${$/}", SVs_TEMP);
13057         /*FALLTHROUGH*/
13058
13059     default:
13060     do_op:
13061         if (!(obase->op_flags & OPf_KIDS))
13062             break;
13063         o = cUNOPx(obase)->op_first;
13064         
13065     do_op2:
13066         if (!o)
13067             break;
13068
13069         /* if all except one arg are constant, or have no side-effects,
13070          * or are optimized away, then it's unambiguous */
13071         o2 = NULL;
13072         for (kid=o; kid; kid = kid->op_sibling) {
13073             if (kid) {
13074                 const OPCODE type = kid->op_type;
13075                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
13076                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
13077                   || (type == OP_PUSHMARK)
13078                 )
13079                 continue;
13080             }
13081             if (o2) { /* more than one found */
13082                 o2 = NULL;
13083                 break;
13084             }
13085             o2 = kid;
13086         }
13087         if (o2)
13088             return find_uninit_var(o2, uninit_sv, match);
13089
13090         /* scan all args */
13091         while (o) {
13092             sv = find_uninit_var(o, uninit_sv, 1);
13093             if (sv)
13094                 return sv;
13095             o = o->op_sibling;
13096         }
13097         break;
13098     }
13099     return NULL;
13100 }
13101
13102
13103 /*
13104 =for apidoc report_uninit
13105
13106 Print appropriate "Use of uninitialized variable" warning
13107
13108 =cut
13109 */
13110
13111 void
13112 Perl_report_uninit(pTHX_ const SV *uninit_sv)
13113 {
13114     dVAR;
13115     if (PL_op) {
13116         SV* varname = NULL;
13117         if (uninit_sv) {
13118             varname = find_uninit_var(PL_op, uninit_sv,0);
13119             if (varname)
13120                 sv_insert(varname, 0, 0, " ", 1);
13121         }
13122         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13123                 varname ? SvPV_nolen_const(varname) : "",
13124                 " in ", OP_DESC(PL_op));
13125     }
13126     else
13127         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13128                     "", "", "");
13129 }
13130
13131 /*
13132  * Local variables:
13133  * c-indentation-style: bsd
13134  * c-basic-offset: 4
13135  * indent-tabs-mode: t
13136  * End:
13137  *
13138  * ex: set ts=8 sts=4 sw=4 noet:
13139  */