fb82cafb51d6cf1a23b042dc1073cce6e68f1f36
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #define FCALL *f
36
37 #ifdef __Lynx__
38 /* Missing proto on LynxOS */
39   char *gconvert(double, int, int,  char *);
40 #endif
41
42 #ifdef PERL_UTF8_CACHE_ASSERT
43 /* if adding more checks watch out for the following tests:
44  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
45  *   lib/utf8.t lib/Unicode/Collate/t/index.t
46  * --jhi
47  */
48 #   define ASSERT_UTF8_CACHE(cache) \
49     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
50                               assert((cache)[2] <= (cache)[3]); \
51                               assert((cache)[3] <= (cache)[1]);} \
52                               } STMT_END
53 #else
54 #   define ASSERT_UTF8_CACHE(cache) NOOP
55 #endif
56
57 #ifdef PERL_OLD_COPY_ON_WRITE
58 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
59 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
60 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
61    on-write.  */
62 #endif
63
64 /* ============================================================================
65
66 =head1 Allocation and deallocation of SVs.
67
68 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
69 sv, av, hv...) contains type and reference count information, and for
70 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
71 contains fields specific to each type.  Some types store all they need
72 in the head, so don't have a body.
73
74 In all but the most memory-paranoid configuations (ex: PURIFY), heads
75 and bodies are allocated out of arenas, which by default are
76 approximately 4K chunks of memory parcelled up into N heads or bodies.
77 Sv-bodies are allocated by their sv-type, guaranteeing size
78 consistency needed to allocate safely from arrays.
79
80 For SV-heads, the first slot in each arena is reserved, and holds a
81 link to the next arena, some flags, and a note of the number of slots.
82 Snaked through each arena chain is a linked list of free items; when
83 this becomes empty, an extra arena is allocated and divided up into N
84 items which are threaded into the free list.
85
86 SV-bodies are similar, but they use arena-sets by default, which
87 separate the link and info from the arena itself, and reclaim the 1st
88 slot in the arena.  SV-bodies are further described later.
89
90 The following global variables are associated with arenas:
91
92     PL_sv_arenaroot     pointer to list of SV arenas
93     PL_sv_root          pointer to list of free SV structures
94
95     PL_body_arenas      head of linked-list of body arenas
96     PL_body_roots[]     array of pointers to list of free bodies of svtype
97                         arrays are indexed by the svtype needed
98
99 A few special SV heads are not allocated from an arena, but are
100 instead directly created in the interpreter structure, eg PL_sv_undef.
101 The size of arenas can be changed from the default by setting
102 PERL_ARENA_SIZE appropriately at compile time.
103
104 The SV arena serves the secondary purpose of allowing still-live SVs
105 to be located and destroyed during final cleanup.
106
107 At the lowest level, the macros new_SV() and del_SV() grab and free
108 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
109 to return the SV to the free list with error checking.) new_SV() calls
110 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
111 SVs in the free list have their SvTYPE field set to all ones.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 The function visit() scans the SV arenas list, and calls a specified
118 function for each SV it finds which is still live - ie which has an SvTYPE
119 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
120 following functions (specified as [function that calls visit()] / [function
121 called by visit() for each SV]):
122
123     sv_report_used() / do_report_used()
124                         dump all remaining SVs (debugging aid)
125
126     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
127                         Attempt to free all objects pointed to by RVs,
128                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
129                         try to do the same for all objects indirectly
130                         referenced by typeglobs too.  Called once from
131                         perl_destruct(), prior to calling sv_clean_all()
132                         below.
133
134     sv_clean_all() / do_clean_all()
135                         SvREFCNT_dec(sv) each remaining SV, possibly
136                         triggering an sv_free(). It also sets the
137                         SVf_BREAK flag on the SV to indicate that the
138                         refcnt has been artificially lowered, and thus
139                         stopping sv_free() from giving spurious warnings
140                         about SVs which unexpectedly have a refcnt
141                         of zero.  called repeatedly from perl_destruct()
142                         until there are no SVs left.
143
144 =head2 Arena allocator API Summary
145
146 Private API to rest of sv.c
147
148     new_SV(),  del_SV(),
149
150     new_XIV(), del_XIV(),
151     new_XNV(), del_XNV(),
152     etc
153
154 Public API:
155
156     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
157
158 =cut
159
160  * ========================================================================= */
161
162 /*
163  * "A time to plant, and a time to uproot what was planted..."
164  */
165
166 void
167 Perl_offer_nice_chunk(pTHX_ void *const chunk, const U32 chunk_size)
168 {
169     dVAR;
170     void *new_chunk;
171     U32 new_chunk_size;
172
173     PERL_ARGS_ASSERT_OFFER_NICE_CHUNK;
174
175     new_chunk = (void *)(chunk);
176     new_chunk_size = (chunk_size);
177     if (new_chunk_size > PL_nice_chunk_size) {
178         Safefree(PL_nice_chunk);
179         PL_nice_chunk = (char *) new_chunk;
180         PL_nice_chunk_size = new_chunk_size;
181     } else {
182         Safefree(chunk);
183     }
184 }
185
186 #ifdef PERL_MEM_LOG
187 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
188             Perl_mem_log_new_sv(sv, file, line, func)
189 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
190             Perl_mem_log_del_sv(sv, file, line, func)
191 #else
192 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
193 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
194 #endif
195
196 #ifdef DEBUG_LEAKING_SCALARS
197 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
198 #  define DEBUG_SV_SERIAL(sv)                                               \
199     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
200             PTR2UV(sv), (long)(sv)->sv_debug_serial))
201 #else
202 #  define FREE_SV_DEBUG_FILE(sv)
203 #  define DEBUG_SV_SERIAL(sv)   NOOP
204 #endif
205
206 #ifdef PERL_POISON
207 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
208 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
209 /* Whilst I'd love to do this, it seems that things like to check on
210    unreferenced scalars
211 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
212 */
213 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
214                                 PoisonNew(&SvREFCNT(sv), 1, U32)
215 #else
216 #  define SvARENA_CHAIN(sv)     SvANY(sv)
217 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
218 #  define POSION_SV_HEAD(sv)
219 #endif
220
221 /* Mark an SV head as unused, and add to free list.
222  *
223  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
224  * its refcount artificially decremented during global destruction, so
225  * there may be dangling pointers to it. The last thing we want in that
226  * case is for it to be reused. */
227
228 #define plant_SV(p) \
229     STMT_START {                                        \
230         const U32 old_flags = SvFLAGS(p);                       \
231         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
232         DEBUG_SV_SERIAL(p);                             \
233         FREE_SV_DEBUG_FILE(p);                          \
234         POSION_SV_HEAD(p);                              \
235         SvFLAGS(p) = SVTYPEMASK;                        \
236         if (!(old_flags & SVf_BREAK)) {         \
237             SvARENA_CHAIN_SET(p, PL_sv_root);   \
238             PL_sv_root = (p);                           \
239         }                                               \
240         --PL_sv_count;                                  \
241     } STMT_END
242
243 #define uproot_SV(p) \
244     STMT_START {                                        \
245         (p) = PL_sv_root;                               \
246         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
247         ++PL_sv_count;                                  \
248     } STMT_END
249
250
251 /* make some more SVs by adding another arena */
252
253 STATIC SV*
254 S_more_sv(pTHX)
255 {
256     dVAR;
257     SV* sv;
258
259     if (PL_nice_chunk) {
260         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
261         PL_nice_chunk = NULL;
262         PL_nice_chunk_size = 0;
263     }
264     else {
265         char *chunk;                /* must use New here to match call to */
266         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
267         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
268     }
269     uproot_SV(sv);
270     return sv;
271 }
272
273 /* new_SV(): return a new, empty SV head */
274
275 #ifdef DEBUG_LEAKING_SCALARS
276 /* provide a real function for a debugger to play with */
277 STATIC SV*
278 S_new_SV(pTHX_ const char *file, int line, const char *func)
279 {
280     SV* sv;
281
282     if (PL_sv_root)
283         uproot_SV(sv);
284     else
285         sv = S_more_sv(aTHX);
286     SvANY(sv) = 0;
287     SvREFCNT(sv) = 1;
288     SvFLAGS(sv) = 0;
289     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
290     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
291                 ? PL_parser->copline
292                 :  PL_curcop
293                     ? CopLINE(PL_curcop)
294                     : 0
295             );
296     sv->sv_debug_inpad = 0;
297     sv->sv_debug_cloned = 0;
298     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
299
300     sv->sv_debug_serial = PL_sv_serial++;
301
302     MEM_LOG_NEW_SV(sv, file, line, func);
303     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
304             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
305
306     return sv;
307 }
308 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
309
310 #else
311 #  define new_SV(p) \
312     STMT_START {                                        \
313         if (PL_sv_root)                                 \
314             uproot_SV(p);                               \
315         else                                            \
316             (p) = S_more_sv(aTHX);                      \
317         SvANY(p) = 0;                                   \
318         SvREFCNT(p) = 1;                                \
319         SvFLAGS(p) = 0;                                 \
320         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
321     } STMT_END
322 #endif
323
324
325 /* del_SV(): return an empty SV head to the free list */
326
327 #ifdef DEBUGGING
328
329 #define del_SV(p) \
330     STMT_START {                                        \
331         if (DEBUG_D_TEST)                               \
332             del_sv(p);                                  \
333         else                                            \
334             plant_SV(p);                                \
335     } STMT_END
336
337 STATIC void
338 S_del_sv(pTHX_ SV *p)
339 {
340     dVAR;
341
342     PERL_ARGS_ASSERT_DEL_SV;
343
344     if (DEBUG_D_TEST) {
345         SV* sva;
346         bool ok = 0;
347         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
348             const SV * const sv = sva + 1;
349             const SV * const svend = &sva[SvREFCNT(sva)];
350             if (p >= sv && p < svend) {
351                 ok = 1;
352                 break;
353             }
354         }
355         if (!ok) {
356             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
357                              "Attempt to free non-arena SV: 0x%"UVxf
358                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
359             return;
360         }
361     }
362     plant_SV(p);
363 }
364
365 #else /* ! DEBUGGING */
366
367 #define del_SV(p)   plant_SV(p)
368
369 #endif /* DEBUGGING */
370
371
372 /*
373 =head1 SV Manipulation Functions
374
375 =for apidoc sv_add_arena
376
377 Given a chunk of memory, link it to the head of the list of arenas,
378 and split it into a list of free SVs.
379
380 =cut
381 */
382
383 static void
384 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
385 {
386     dVAR;
387     SV *const sva = MUTABLE_SV(ptr);
388     register SV* sv;
389     register SV* svend;
390
391     PERL_ARGS_ASSERT_SV_ADD_ARENA;
392
393     /* The first SV in an arena isn't an SV. */
394     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
395     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
396     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
397
398     PL_sv_arenaroot = sva;
399     PL_sv_root = sva + 1;
400
401     svend = &sva[SvREFCNT(sva) - 1];
402     sv = sva + 1;
403     while (sv < svend) {
404         SvARENA_CHAIN_SET(sv, (sv + 1));
405 #ifdef DEBUGGING
406         SvREFCNT(sv) = 0;
407 #endif
408         /* Must always set typemask because it's always checked in on cleanup
409            when the arenas are walked looking for objects.  */
410         SvFLAGS(sv) = SVTYPEMASK;
411         sv++;
412     }
413     SvARENA_CHAIN_SET(sv, 0);
414 #ifdef DEBUGGING
415     SvREFCNT(sv) = 0;
416 #endif
417     SvFLAGS(sv) = SVTYPEMASK;
418 }
419
420 /* visit(): call the named function for each non-free SV in the arenas
421  * whose flags field matches the flags/mask args. */
422
423 STATIC I32
424 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
425 {
426     dVAR;
427     SV* sva;
428     I32 visited = 0;
429
430     PERL_ARGS_ASSERT_VISIT;
431
432     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
433         register const SV * const svend = &sva[SvREFCNT(sva)];
434         register SV* sv;
435         for (sv = sva + 1; sv < svend; ++sv) {
436             if (SvTYPE(sv) != SVTYPEMASK
437                     && (sv->sv_flags & mask) == flags
438                     && SvREFCNT(sv))
439             {
440                 (FCALL)(aTHX_ sv);
441                 ++visited;
442             }
443         }
444     }
445     return visited;
446 }
447
448 #ifdef DEBUGGING
449
450 /* called by sv_report_used() for each live SV */
451
452 static void
453 do_report_used(pTHX_ SV *const sv)
454 {
455     if (SvTYPE(sv) != SVTYPEMASK) {
456         PerlIO_printf(Perl_debug_log, "****\n");
457         sv_dump(sv);
458     }
459 }
460 #endif
461
462 /*
463 =for apidoc sv_report_used
464
465 Dump the contents of all SVs not yet freed. (Debugging aid).
466
467 =cut
468 */
469
470 void
471 Perl_sv_report_used(pTHX)
472 {
473 #ifdef DEBUGGING
474     visit(do_report_used, 0, 0);
475 #else
476     PERL_UNUSED_CONTEXT;
477 #endif
478 }
479
480 /* called by sv_clean_objs() for each live SV */
481
482 static void
483 do_clean_objs(pTHX_ SV *const ref)
484 {
485     dVAR;
486     assert (SvROK(ref));
487     {
488         SV * const target = SvRV(ref);
489         if (SvOBJECT(target)) {
490             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
491             if (SvWEAKREF(ref)) {
492                 sv_del_backref(target, ref);
493                 SvWEAKREF_off(ref);
494                 SvRV_set(ref, NULL);
495             } else {
496                 SvROK_off(ref);
497                 SvRV_set(ref, NULL);
498                 SvREFCNT_dec(target);
499             }
500         }
501     }
502
503     /* XXX Might want to check arrays, etc. */
504 }
505
506 /* called by sv_clean_objs() for each live SV */
507
508 #ifndef DISABLE_DESTRUCTOR_KLUDGE
509 static void
510 do_clean_named_objs(pTHX_ SV *const sv)
511 {
512     dVAR;
513     assert(SvTYPE(sv) == SVt_PVGV);
514     assert(isGV_with_GP(sv));
515     if (GvGP(sv)) {
516         if ((
517 #ifdef PERL_DONT_CREATE_GVSV
518              GvSV(sv) &&
519 #endif
520              SvOBJECT(GvSV(sv))) ||
521              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
522              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
523              /* In certain rare cases GvIOp(sv) can be NULL, which would make SvOBJECT(GvIO(sv)) dereference NULL. */
524              (GvIO(sv) ? (SvFLAGS(GvIOp(sv)) & SVs_OBJECT) : 0) ||
525              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
526         {
527             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
528             SvFLAGS(sv) |= SVf_BREAK;
529             SvREFCNT_dec(sv);
530         }
531     }
532 }
533 #endif
534
535 /*
536 =for apidoc sv_clean_objs
537
538 Attempt to destroy all objects not yet freed
539
540 =cut
541 */
542
543 void
544 Perl_sv_clean_objs(pTHX)
545 {
546     dVAR;
547     PL_in_clean_objs = TRUE;
548     visit(do_clean_objs, SVf_ROK, SVf_ROK);
549 #ifndef DISABLE_DESTRUCTOR_KLUDGE
550     /* some barnacles may yet remain, clinging to typeglobs */
551     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
552 #endif
553     PL_in_clean_objs = FALSE;
554 }
555
556 /* called by sv_clean_all() for each live SV */
557
558 static void
559 do_clean_all(pTHX_ SV *const sv)
560 {
561     dVAR;
562     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
563         /* don't clean pid table and strtab */
564         return;
565     }
566     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
567     SvFLAGS(sv) |= SVf_BREAK;
568     SvREFCNT_dec(sv);
569 }
570
571 /*
572 =for apidoc sv_clean_all
573
574 Decrement the refcnt of each remaining SV, possibly triggering a
575 cleanup. This function may have to be called multiple times to free
576 SVs which are in complex self-referential hierarchies.
577
578 =cut
579 */
580
581 I32
582 Perl_sv_clean_all(pTHX)
583 {
584     dVAR;
585     I32 cleaned;
586     PL_in_clean_all = TRUE;
587     cleaned = visit(do_clean_all, 0,0);
588     PL_in_clean_all = FALSE;
589     return cleaned;
590 }
591
592 /*
593   ARENASETS: a meta-arena implementation which separates arena-info
594   into struct arena_set, which contains an array of struct
595   arena_descs, each holding info for a single arena.  By separating
596   the meta-info from the arena, we recover the 1st slot, formerly
597   borrowed for list management.  The arena_set is about the size of an
598   arena, avoiding the needless malloc overhead of a naive linked-list.
599
600   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
601   memory in the last arena-set (1/2 on average).  In trade, we get
602   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
603   smaller types).  The recovery of the wasted space allows use of
604   small arenas for large, rare body types, by changing array* fields
605   in body_details_by_type[] below.
606 */
607 struct arena_desc {
608     char       *arena;          /* the raw storage, allocated aligned */
609     size_t      size;           /* its size ~4k typ */
610     svtype      utype;          /* bodytype stored in arena */
611 };
612
613 struct arena_set;
614
615 /* Get the maximum number of elements in set[] such that struct arena_set
616    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
617    therefore likely to be 1 aligned memory page.  */
618
619 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
620                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
621
622 struct arena_set {
623     struct arena_set* next;
624     unsigned int   set_size;    /* ie ARENAS_PER_SET */
625     unsigned int   curr;        /* index of next available arena-desc */
626     struct arena_desc set[ARENAS_PER_SET];
627 };
628
629 /*
630 =for apidoc sv_free_arenas
631
632 Deallocate the memory used by all arenas. Note that all the individual SV
633 heads and bodies within the arenas must already have been freed.
634
635 =cut
636 */
637 void
638 Perl_sv_free_arenas(pTHX)
639 {
640     dVAR;
641     SV* sva;
642     SV* svanext;
643     unsigned int i;
644
645     /* Free arenas here, but be careful about fake ones.  (We assume
646        contiguity of the fake ones with the corresponding real ones.) */
647
648     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
649         svanext = MUTABLE_SV(SvANY(sva));
650         while (svanext && SvFAKE(svanext))
651             svanext = MUTABLE_SV(SvANY(svanext));
652
653         if (!SvFAKE(sva))
654             Safefree(sva);
655     }
656
657     {
658         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
659
660         while (aroot) {
661             struct arena_set *current = aroot;
662             i = aroot->curr;
663             while (i--) {
664                 assert(aroot->set[i].arena);
665                 Safefree(aroot->set[i].arena);
666             }
667             aroot = aroot->next;
668             Safefree(current);
669         }
670     }
671     PL_body_arenas = 0;
672
673     i = PERL_ARENA_ROOTS_SIZE;
674     while (i--)
675         PL_body_roots[i] = 0;
676
677     Safefree(PL_nice_chunk);
678     PL_nice_chunk = NULL;
679     PL_nice_chunk_size = 0;
680     PL_sv_arenaroot = 0;
681     PL_sv_root = 0;
682 }
683
684 /*
685   Here are mid-level routines that manage the allocation of bodies out
686   of the various arenas.  There are 5 kinds of arenas:
687
688   1. SV-head arenas, which are discussed and handled above
689   2. regular body arenas
690   3. arenas for reduced-size bodies
691   4. Hash-Entry arenas
692   5. pte arenas (thread related)
693
694   Arena types 2 & 3 are chained by body-type off an array of
695   arena-root pointers, which is indexed by svtype.  Some of the
696   larger/less used body types are malloced singly, since a large
697   unused block of them is wasteful.  Also, several svtypes dont have
698   bodies; the data fits into the sv-head itself.  The arena-root
699   pointer thus has a few unused root-pointers (which may be hijacked
700   later for arena types 4,5)
701
702   3 differs from 2 as an optimization; some body types have several
703   unused fields in the front of the structure (which are kept in-place
704   for consistency).  These bodies can be allocated in smaller chunks,
705   because the leading fields arent accessed.  Pointers to such bodies
706   are decremented to point at the unused 'ghost' memory, knowing that
707   the pointers are used with offsets to the real memory.
708
709   HE, HEK arenas are managed separately, with separate code, but may
710   be merge-able later..
711
712   PTE arenas are not sv-bodies, but they share these mid-level
713   mechanics, so are considered here.  The new mid-level mechanics rely
714   on the sv_type of the body being allocated, so we just reserve one
715   of the unused body-slots for PTEs, then use it in those (2) PTE
716   contexts below (line ~10k)
717 */
718
719 /* get_arena(size): this creates custom-sized arenas
720    TBD: export properly for hv.c: S_more_he().
721 */
722 void*
723 Perl_get_arena(pTHX_ const size_t arena_size, const svtype bodytype)
724 {
725     dVAR;
726     struct arena_desc* adesc;
727     struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
728     unsigned int curr;
729
730     /* shouldnt need this
731     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
732     */
733
734     /* may need new arena-set to hold new arena */
735     if (!aroot || aroot->curr >= aroot->set_size) {
736         struct arena_set *newroot;
737         Newxz(newroot, 1, struct arena_set);
738         newroot->set_size = ARENAS_PER_SET;
739         newroot->next = aroot;
740         aroot = newroot;
741         PL_body_arenas = (void *) newroot;
742         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
743     }
744
745     /* ok, now have arena-set with at least 1 empty/available arena-desc */
746     curr = aroot->curr++;
747     adesc = &(aroot->set[curr]);
748     assert(!adesc->arena);
749     
750     Newx(adesc->arena, arena_size, char);
751     adesc->size = arena_size;
752     adesc->utype = bodytype;
753     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
754                           curr, (void*)adesc->arena, (UV)arena_size));
755
756     return adesc->arena;
757 }
758
759
760 /* return a thing to the free list */
761
762 #define del_body(thing, root)                   \
763     STMT_START {                                \
764         void ** const thing_copy = (void **)thing;\
765         *thing_copy = *root;                    \
766         *root = (void*)thing_copy;              \
767     } STMT_END
768
769 /* 
770
771 =head1 SV-Body Allocation
772
773 Allocation of SV-bodies is similar to SV-heads, differing as follows;
774 the allocation mechanism is used for many body types, so is somewhat
775 more complicated, it uses arena-sets, and has no need for still-live
776 SV detection.
777
778 At the outermost level, (new|del)_X*V macros return bodies of the
779 appropriate type.  These macros call either (new|del)_body_type or
780 (new|del)_body_allocated macro pairs, depending on specifics of the
781 type.  Most body types use the former pair, the latter pair is used to
782 allocate body types with "ghost fields".
783
784 "ghost fields" are fields that are unused in certain types, and
785 consequently don't need to actually exist.  They are declared because
786 they're part of a "base type", which allows use of functions as
787 methods.  The simplest examples are AVs and HVs, 2 aggregate types
788 which don't use the fields which support SCALAR semantics.
789
790 For these types, the arenas are carved up into appropriately sized
791 chunks, we thus avoid wasted memory for those unaccessed members.
792 When bodies are allocated, we adjust the pointer back in memory by the
793 size of the part not allocated, so it's as if we allocated the full
794 structure.  (But things will all go boom if you write to the part that
795 is "not there", because you'll be overwriting the last members of the
796 preceding structure in memory.)
797
798 We calculate the correction using the STRUCT_OFFSET macro on the first
799 member present. If the allocated structure is smaller (no initial NV
800 actually allocated) then the net effect is to subtract the size of the NV
801 from the pointer, to return a new pointer as if an initial NV were actually
802 allocated. (We were using structures named *_allocated for this, but
803 this turned out to be a subtle bug, because a structure without an NV
804 could have a lower alignment constraint, but the compiler is allowed to
805 optimised accesses based on the alignment constraint of the actual pointer
806 to the full structure, for example, using a single 64 bit load instruction
807 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
808
809 This is the same trick as was used for NV and IV bodies. Ironically it
810 doesn't need to be used for NV bodies any more, because NV is now at
811 the start of the structure. IV bodies don't need it either, because
812 they are no longer allocated.
813
814 In turn, the new_body_* allocators call S_new_body(), which invokes
815 new_body_inline macro, which takes a lock, and takes a body off the
816 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
817 necessary to refresh an empty list.  Then the lock is released, and
818 the body is returned.
819
820 S_more_bodies calls get_arena(), and carves it up into an array of N
821 bodies, which it strings into a linked list.  It looks up arena-size
822 and body-size from the body_details table described below, thus
823 supporting the multiple body-types.
824
825 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
826 the (new|del)_X*V macros are mapped directly to malloc/free.
827
828 */
829
830 /* 
831
832 For each sv-type, struct body_details bodies_by_type[] carries
833 parameters which control these aspects of SV handling:
834
835 Arena_size determines whether arenas are used for this body type, and if
836 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
837 zero, forcing individual mallocs and frees.
838
839 Body_size determines how big a body is, and therefore how many fit into
840 each arena.  Offset carries the body-pointer adjustment needed for
841 "ghost fields", and is used in *_allocated macros.
842
843 But its main purpose is to parameterize info needed in
844 Perl_sv_upgrade().  The info here dramatically simplifies the function
845 vs the implementation in 5.8.8, making it table-driven.  All fields
846 are used for this, except for arena_size.
847
848 For the sv-types that have no bodies, arenas are not used, so those
849 PL_body_roots[sv_type] are unused, and can be overloaded.  In
850 something of a special case, SVt_NULL is borrowed for HE arenas;
851 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
852 bodies_by_type[SVt_NULL] slot is not used, as the table is not
853 available in hv.c.
854
855 PTEs also use arenas, but are never seen in Perl_sv_upgrade. Nonetheless,
856 they get their own slot in bodies_by_type[PTE_SVSLOT =SVt_IV], so they can
857 just use the same allocation semantics.  At first, PTEs were also
858 overloaded to a non-body sv-type, but this yielded hard-to-find malloc
859 bugs, so was simplified by claiming a new slot.  This choice has no
860 consequence at this time.
861
862 */
863
864 struct body_details {
865     U8 body_size;       /* Size to allocate  */
866     U8 copy;            /* Size of structure to copy (may be shorter)  */
867     U8 offset;
868     unsigned int type : 4;          /* We have space for a sanity check.  */
869     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
870     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
871     unsigned int arena : 1;         /* Allocated from an arena */
872     size_t arena_size;              /* Size of arena to allocate */
873 };
874
875 #define HADNV FALSE
876 #define NONV TRUE
877
878
879 #ifdef PURIFY
880 /* With -DPURFIY we allocate everything directly, and don't use arenas.
881    This seems a rather elegant way to simplify some of the code below.  */
882 #define HASARENA FALSE
883 #else
884 #define HASARENA TRUE
885 #endif
886 #define NOARENA FALSE
887
888 /* Size the arenas to exactly fit a given number of bodies.  A count
889    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
890    simplifying the default.  If count > 0, the arena is sized to fit
891    only that many bodies, allowing arenas to be used for large, rare
892    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
893    limited by PERL_ARENA_SIZE, so we can safely oversize the
894    declarations.
895  */
896 #define FIT_ARENA0(body_size)                           \
897     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
898 #define FIT_ARENAn(count,body_size)                     \
899     ( count * body_size <= PERL_ARENA_SIZE)             \
900     ? count * body_size                                 \
901     : FIT_ARENA0 (body_size)
902 #define FIT_ARENA(count,body_size)                      \
903     count                                               \
904     ? FIT_ARENAn (count, body_size)                     \
905     : FIT_ARENA0 (body_size)
906
907 /* Calculate the length to copy. Specifically work out the length less any
908    final padding the compiler needed to add.  See the comment in sv_upgrade
909    for why copying the padding proved to be a bug.  */
910
911 #define copy_length(type, last_member) \
912         STRUCT_OFFSET(type, last_member) \
913         + sizeof (((type*)SvANY((const SV *)0))->last_member)
914
915 static const struct body_details bodies_by_type[] = {
916     { sizeof(HE), 0, 0, SVt_NULL,
917       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
918
919     /* The bind placeholder pretends to be an RV for now.
920        Also it's marked as "can't upgrade" to stop anyone using it before it's
921        implemented.  */
922     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
923
924     /* IVs are in the head, so the allocation size is 0.
925        However, the slot is overloaded for PTEs.  */
926     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
927       sizeof(IV), /* This is used to copy out the IV body.  */
928       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
929       NOARENA /* IVS don't need an arena  */,
930       /* But PTEs need to know the size of their arena  */
931       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
932     },
933
934     /* 8 bytes on most ILP32 with IEEE doubles */
935     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
936       FIT_ARENA(0, sizeof(NV)) },
937
938     /* 8 bytes on most ILP32 with IEEE doubles */
939     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
940       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
941       + STRUCT_OFFSET(XPV, xpv_cur),
942       SVt_PV, FALSE, NONV, HASARENA,
943       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
944
945     /* 12 */
946     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
947       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
948       + STRUCT_OFFSET(XPVIV, xpv_cur),
949       SVt_PVIV, FALSE, NONV, HASARENA,
950       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
951
952     /* 20 */
953     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
954       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
955
956     /* 28 */
957     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
958       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
959
960     /* something big */
961     { sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
962       sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur),
963       + STRUCT_OFFSET(regexp, xpv_cur),
964       SVt_REGEXP, FALSE, NONV, HASARENA,
965       FIT_ARENA(0, sizeof(regexp) - STRUCT_OFFSET(regexp, xpv_cur))
966     },
967
968     /* 48 */
969     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
970       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
971     
972     /* 64 */
973     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
974       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
975
976     { sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill),
977       copy_length(XPVAV, xmg_stash) - STRUCT_OFFSET(XPVAV, xav_fill),
978       + STRUCT_OFFSET(XPVAV, xav_fill),
979       SVt_PVAV, TRUE, NONV, HASARENA,
980       FIT_ARENA(0, sizeof(XPVAV) - STRUCT_OFFSET(XPVAV, xav_fill)) },
981
982     { sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill),
983       copy_length(XPVHV, xmg_stash) - STRUCT_OFFSET(XPVHV, xhv_fill),
984       + STRUCT_OFFSET(XPVHV, xhv_fill),
985       SVt_PVHV, TRUE, NONV, HASARENA,
986       FIT_ARENA(0, sizeof(XPVHV) - STRUCT_OFFSET(XPVHV, xhv_fill)) },
987
988     /* 56 */
989     { sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
990       sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur),
991       + STRUCT_OFFSET(XPVCV, xpv_cur),
992       SVt_PVCV, TRUE, NONV, HASARENA,
993       FIT_ARENA(0, sizeof(XPVCV) - STRUCT_OFFSET(XPVCV, xpv_cur)) },
994
995     { sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
996       sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur),
997       + STRUCT_OFFSET(XPVFM, xpv_cur),
998       SVt_PVFM, TRUE, NONV, NOARENA,
999       FIT_ARENA(20, sizeof(XPVFM) - STRUCT_OFFSET(XPVFM, xpv_cur)) },
1000
1001     /* XPVIO is 84 bytes, fits 48x */
1002     { sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1003       sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur),
1004       + STRUCT_OFFSET(XPVIO, xpv_cur),
1005       SVt_PVIO, TRUE, NONV, HASARENA,
1006       FIT_ARENA(24, sizeof(XPVIO) - STRUCT_OFFSET(XPVIO, xpv_cur)) },
1007 };
1008
1009 #define new_body_type(sv_type)          \
1010     (void *)((char *)S_new_body(aTHX_ sv_type))
1011
1012 #define del_body_type(p, sv_type)       \
1013     del_body(p, &PL_body_roots[sv_type])
1014
1015
1016 #define new_body_allocated(sv_type)             \
1017     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1018              - bodies_by_type[sv_type].offset)
1019
1020 #define del_body_allocated(p, sv_type)          \
1021     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
1022
1023
1024 #define my_safemalloc(s)        (void*)safemalloc(s)
1025 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
1026 #define my_safefree(p)  safefree((char*)p)
1027
1028 #ifdef PURIFY
1029
1030 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
1031 #define del_XNV(p)      my_safefree(p)
1032
1033 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
1034 #define del_XPVNV(p)    my_safefree(p)
1035
1036 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
1037 #define del_XPVAV(p)    my_safefree(p)
1038
1039 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
1040 #define del_XPVHV(p)    my_safefree(p)
1041
1042 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
1043 #define del_XPVMG(p)    my_safefree(p)
1044
1045 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
1046 #define del_XPVGV(p)    my_safefree(p)
1047
1048 #else /* !PURIFY */
1049
1050 #define new_XNV()       new_body_type(SVt_NV)
1051 #define del_XNV(p)      del_body_type(p, SVt_NV)
1052
1053 #define new_XPVNV()     new_body_type(SVt_PVNV)
1054 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1055
1056 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1057 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1058
1059 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1060 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1061
1062 #define new_XPVMG()     new_body_type(SVt_PVMG)
1063 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1064
1065 #define new_XPVGV()     new_body_type(SVt_PVGV)
1066 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1067
1068 #endif /* PURIFY */
1069
1070 /* no arena for you! */
1071
1072 #define new_NOARENA(details) \
1073         my_safemalloc((details)->body_size + (details)->offset)
1074 #define new_NOARENAZ(details) \
1075         my_safecalloc((details)->body_size + (details)->offset)
1076
1077 STATIC void *
1078 S_more_bodies (pTHX_ const svtype sv_type)
1079 {
1080     dVAR;
1081     void ** const root = &PL_body_roots[sv_type];
1082     const struct body_details * const bdp = &bodies_by_type[sv_type];
1083     const size_t body_size = bdp->body_size;
1084     char *start;
1085     const char *end;
1086     const size_t arena_size = Perl_malloc_good_size(bdp->arena_size);
1087 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1088     static bool done_sanity_check;
1089
1090     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1091      * variables like done_sanity_check. */
1092     if (!done_sanity_check) {
1093         unsigned int i = SVt_LAST;
1094
1095         done_sanity_check = TRUE;
1096
1097         while (i--)
1098             assert (bodies_by_type[i].type == i);
1099     }
1100 #endif
1101
1102     assert(bdp->arena_size);
1103
1104     start = (char*) Perl_get_arena(aTHX_ arena_size, sv_type);
1105
1106     end = start + arena_size - 2 * body_size;
1107
1108     /* computed count doesnt reflect the 1st slot reservation */
1109 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1110     DEBUG_m(PerlIO_printf(Perl_debug_log,
1111                           "arena %p end %p arena-size %d (from %d) type %d "
1112                           "size %d ct %d\n",
1113                           (void*)start, (void*)end, (int)arena_size,
1114                           (int)bdp->arena_size, sv_type, (int)body_size,
1115                           (int)arena_size / (int)body_size));
1116 #else
1117     DEBUG_m(PerlIO_printf(Perl_debug_log,
1118                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1119                           (void*)start, (void*)end,
1120                           (int)bdp->arena_size, sv_type, (int)body_size,
1121                           (int)bdp->arena_size / (int)body_size));
1122 #endif
1123     *root = (void *)start;
1124
1125     while (start <= end) {
1126         char * const next = start + body_size;
1127         *(void**) start = (void *)next;
1128         start = next;
1129     }
1130     *(void **)start = 0;
1131
1132     return *root;
1133 }
1134
1135 /* grab a new thing from the free list, allocating more if necessary.
1136    The inline version is used for speed in hot routines, and the
1137    function using it serves the rest (unless PURIFY).
1138 */
1139 #define new_body_inline(xpv, sv_type) \
1140     STMT_START { \
1141         void ** const r3wt = &PL_body_roots[sv_type]; \
1142         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1143           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1144         *(r3wt) = *(void**)(xpv); \
1145     } STMT_END
1146
1147 #ifndef PURIFY
1148
1149 STATIC void *
1150 S_new_body(pTHX_ const svtype sv_type)
1151 {
1152     dVAR;
1153     void *xpv;
1154     new_body_inline(xpv, sv_type);
1155     return xpv;
1156 }
1157
1158 #endif
1159
1160 static const struct body_details fake_rv =
1161     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1162
1163 /*
1164 =for apidoc sv_upgrade
1165
1166 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1167 SV, then copies across as much information as possible from the old body.
1168 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1169
1170 =cut
1171 */
1172
1173 void
1174 Perl_sv_upgrade(pTHX_ register SV *const sv, svtype new_type)
1175 {
1176     dVAR;
1177     void*       old_body;
1178     void*       new_body;
1179     const svtype old_type = SvTYPE(sv);
1180     const struct body_details *new_type_details;
1181     const struct body_details *old_type_details
1182         = bodies_by_type + old_type;
1183     SV *referant = NULL;
1184
1185     PERL_ARGS_ASSERT_SV_UPGRADE;
1186
1187     if (old_type == new_type)
1188         return;
1189
1190     /* This clause was purposefully added ahead of the early return above to
1191        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1192        inference by Nick I-S that it would fix other troublesome cases. See
1193        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1194
1195        Given that shared hash key scalars are no longer PVIV, but PV, there is
1196        no longer need to unshare so as to free up the IVX slot for its proper
1197        purpose. So it's safe to move the early return earlier.  */
1198
1199     if (new_type != SVt_PV && SvIsCOW(sv)) {
1200         sv_force_normal_flags(sv, 0);
1201     }
1202
1203     old_body = SvANY(sv);
1204
1205     /* Copying structures onto other structures that have been neatly zeroed
1206        has a subtle gotcha. Consider XPVMG
1207
1208        +------+------+------+------+------+-------+-------+
1209        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1210        +------+------+------+------+------+-------+-------+
1211        0      4      8     12     16     20      24      28
1212
1213        where NVs are aligned to 8 bytes, so that sizeof that structure is
1214        actually 32 bytes long, with 4 bytes of padding at the end:
1215
1216        +------+------+------+------+------+-------+-------+------+
1217        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1218        +------+------+------+------+------+-------+-------+------+
1219        0      4      8     12     16     20      24      28     32
1220
1221        so what happens if you allocate memory for this structure:
1222
1223        +------+------+------+------+------+-------+-------+------+------+...
1224        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1225        +------+------+------+------+------+-------+-------+------+------+...
1226        0      4      8     12     16     20      24      28     32     36
1227
1228        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1229        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1230        started out as zero once, but it's quite possible that it isn't. So now,
1231        rather than a nicely zeroed GP, you have it pointing somewhere random.
1232        Bugs ensue.
1233
1234        (In fact, GP ends up pointing at a previous GP structure, because the
1235        principle cause of the padding in XPVMG getting garbage is a copy of
1236        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1237        this happens to be moot because XPVGV has been re-ordered, with GP
1238        no longer after STASH)
1239
1240        So we are careful and work out the size of used parts of all the
1241        structures.  */
1242
1243     switch (old_type) {
1244     case SVt_NULL:
1245         break;
1246     case SVt_IV:
1247         if (SvROK(sv)) {
1248             referant = SvRV(sv);
1249             old_type_details = &fake_rv;
1250             if (new_type == SVt_NV)
1251                 new_type = SVt_PVNV;
1252         } else {
1253             if (new_type < SVt_PVIV) {
1254                 new_type = (new_type == SVt_NV)
1255                     ? SVt_PVNV : SVt_PVIV;
1256             }
1257         }
1258         break;
1259     case SVt_NV:
1260         if (new_type < SVt_PVNV) {
1261             new_type = SVt_PVNV;
1262         }
1263         break;
1264     case SVt_PV:
1265         assert(new_type > SVt_PV);
1266         assert(SVt_IV < SVt_PV);
1267         assert(SVt_NV < SVt_PV);
1268         break;
1269     case SVt_PVIV:
1270         break;
1271     case SVt_PVNV:
1272         break;
1273     case SVt_PVMG:
1274         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1275            there's no way that it can be safely upgraded, because perl.c
1276            expects to Safefree(SvANY(PL_mess_sv))  */
1277         assert(sv != PL_mess_sv);
1278         /* This flag bit is used to mean other things in other scalar types.
1279            Given that it only has meaning inside the pad, it shouldn't be set
1280            on anything that can get upgraded.  */
1281         assert(!SvPAD_TYPED(sv));
1282         break;
1283     default:
1284         if (old_type_details->cant_upgrade)
1285             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1286                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1287     }
1288
1289     if (old_type > new_type)
1290         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1291                 (int)old_type, (int)new_type);
1292
1293     new_type_details = bodies_by_type + new_type;
1294
1295     SvFLAGS(sv) &= ~SVTYPEMASK;
1296     SvFLAGS(sv) |= new_type;
1297
1298     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1299        the return statements above will have triggered.  */
1300     assert (new_type != SVt_NULL);
1301     switch (new_type) {
1302     case SVt_IV:
1303         assert(old_type == SVt_NULL);
1304         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1305         SvIV_set(sv, 0);
1306         return;
1307     case SVt_NV:
1308         assert(old_type == SVt_NULL);
1309         SvANY(sv) = new_XNV();
1310         SvNV_set(sv, 0);
1311         return;
1312     case SVt_PVHV:
1313     case SVt_PVAV:
1314         assert(new_type_details->body_size);
1315
1316 #ifndef PURIFY  
1317         assert(new_type_details->arena);
1318         assert(new_type_details->arena_size);
1319         /* This points to the start of the allocated area.  */
1320         new_body_inline(new_body, new_type);
1321         Zero(new_body, new_type_details->body_size, char);
1322         new_body = ((char *)new_body) - new_type_details->offset;
1323 #else
1324         /* We always allocated the full length item with PURIFY. To do this
1325            we fake things so that arena is false for all 16 types..  */
1326         new_body = new_NOARENAZ(new_type_details);
1327 #endif
1328         SvANY(sv) = new_body;
1329         if (new_type == SVt_PVAV) {
1330             AvMAX(sv)   = -1;
1331             AvFILLp(sv) = -1;
1332             AvREAL_only(sv);
1333             if (old_type_details->body_size) {
1334                 AvALLOC(sv) = 0;
1335             } else {
1336                 /* It will have been zeroed when the new body was allocated.
1337                    Lets not write to it, in case it confuses a write-back
1338                    cache.  */
1339             }
1340         } else {
1341             assert(!SvOK(sv));
1342             SvOK_off(sv);
1343 #ifndef NODEFAULT_SHAREKEYS
1344             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1345 #endif
1346             HvMAX(sv) = 7; /* (start with 8 buckets) */
1347             if (old_type_details->body_size) {
1348                 HvFILL(sv) = 0;
1349             } else {
1350                 /* It will have been zeroed when the new body was allocated.
1351                    Lets not write to it, in case it confuses a write-back
1352                    cache.  */
1353             }
1354         }
1355
1356         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1357            The target created by newSVrv also is, and it can have magic.
1358            However, it never has SvPVX set.
1359         */
1360         if (old_type == SVt_IV) {
1361             assert(!SvROK(sv));
1362         } else if (old_type >= SVt_PV) {
1363             assert(SvPVX_const(sv) == 0);
1364         }
1365
1366         if (old_type >= SVt_PVMG) {
1367             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1368             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1369         } else {
1370             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1371         }
1372         break;
1373
1374
1375     case SVt_PVIV:
1376         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1377            no route from NV to PVIV, NOK can never be true  */
1378         assert(!SvNOKp(sv));
1379         assert(!SvNOK(sv));
1380     case SVt_PVIO:
1381     case SVt_PVFM:
1382     case SVt_PVGV:
1383     case SVt_PVCV:
1384     case SVt_PVLV:
1385     case SVt_REGEXP:
1386     case SVt_PVMG:
1387     case SVt_PVNV:
1388     case SVt_PV:
1389
1390         assert(new_type_details->body_size);
1391         /* We always allocated the full length item with PURIFY. To do this
1392            we fake things so that arena is false for all 16 types..  */
1393         if(new_type_details->arena) {
1394             /* This points to the start of the allocated area.  */
1395             new_body_inline(new_body, new_type);
1396             Zero(new_body, new_type_details->body_size, char);
1397             new_body = ((char *)new_body) - new_type_details->offset;
1398         } else {
1399             new_body = new_NOARENAZ(new_type_details);
1400         }
1401         SvANY(sv) = new_body;
1402
1403         if (old_type_details->copy) {
1404             /* There is now the potential for an upgrade from something without
1405                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1406             int offset = old_type_details->offset;
1407             int length = old_type_details->copy;
1408
1409             if (new_type_details->offset > old_type_details->offset) {
1410                 const int difference
1411                     = new_type_details->offset - old_type_details->offset;
1412                 offset += difference;
1413                 length -= difference;
1414             }
1415             assert (length >= 0);
1416                 
1417             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1418                  char);
1419         }
1420
1421 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1422         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1423          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1424          * NV slot, but the new one does, then we need to initialise the
1425          * freshly created NV slot with whatever the correct bit pattern is
1426          * for 0.0  */
1427         if (old_type_details->zero_nv && !new_type_details->zero_nv
1428             && !isGV_with_GP(sv))
1429             SvNV_set(sv, 0);
1430 #endif
1431
1432         if (new_type == SVt_PVIO) {
1433             IO * const io = MUTABLE_IO(sv);
1434             GV *iogv = gv_fetchpvs("IO::Handle::", GV_ADD, SVt_PVHV);
1435
1436             SvOBJECT_on(io);
1437             /* Clear the stashcache because a new IO could overrule a package
1438                name */
1439             hv_clear(PL_stashcache);
1440
1441             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1442             IoPAGE_LEN(sv) = 60;
1443         }
1444         if (old_type < SVt_PV) {
1445             /* referant will be NULL unless the old type was SVt_IV emulating
1446                SVt_RV */
1447             sv->sv_u.svu_rv = referant;
1448         }
1449         break;
1450     default:
1451         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1452                    (unsigned long)new_type);
1453     }
1454
1455     if (old_type > SVt_IV) { /* SVt_IVs are overloaded for PTEs */
1456 #ifdef PURIFY
1457         my_safefree(old_body);
1458 #else
1459         /* Note that there is an assumption that all bodies of types that
1460            can be upgraded came from arenas. Only the more complex non-
1461            upgradable types are allowed to be directly malloc()ed.  */
1462         assert(old_type_details->arena);
1463         del_body((void*)((char*)old_body + old_type_details->offset),
1464                  &PL_body_roots[old_type]);
1465 #endif
1466     }
1467 }
1468
1469 /*
1470 =for apidoc sv_backoff
1471
1472 Remove any string offset. You should normally use the C<SvOOK_off> macro
1473 wrapper instead.
1474
1475 =cut
1476 */
1477
1478 int
1479 Perl_sv_backoff(pTHX_ register SV *const sv)
1480 {
1481     STRLEN delta;
1482     const char * const s = SvPVX_const(sv);
1483
1484     PERL_ARGS_ASSERT_SV_BACKOFF;
1485     PERL_UNUSED_CONTEXT;
1486
1487     assert(SvOOK(sv));
1488     assert(SvTYPE(sv) != SVt_PVHV);
1489     assert(SvTYPE(sv) != SVt_PVAV);
1490
1491     SvOOK_offset(sv, delta);
1492     
1493     SvLEN_set(sv, SvLEN(sv) + delta);
1494     SvPV_set(sv, SvPVX(sv) - delta);
1495     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1496     SvFLAGS(sv) &= ~SVf_OOK;
1497     return 0;
1498 }
1499
1500 /*
1501 =for apidoc sv_grow
1502
1503 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1504 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1505 Use the C<SvGROW> wrapper instead.
1506
1507 =cut
1508 */
1509
1510 char *
1511 Perl_sv_grow(pTHX_ register SV *const sv, register STRLEN newlen)
1512 {
1513     register char *s;
1514
1515     PERL_ARGS_ASSERT_SV_GROW;
1516
1517     if (PL_madskills && newlen >= 0x100000) {
1518         PerlIO_printf(Perl_debug_log,
1519                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1520     }
1521 #ifdef HAS_64K_LIMIT
1522     if (newlen >= 0x10000) {
1523         PerlIO_printf(Perl_debug_log,
1524                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1525         my_exit(1);
1526     }
1527 #endif /* HAS_64K_LIMIT */
1528     if (SvROK(sv))
1529         sv_unref(sv);
1530     if (SvTYPE(sv) < SVt_PV) {
1531         sv_upgrade(sv, SVt_PV);
1532         s = SvPVX_mutable(sv);
1533     }
1534     else if (SvOOK(sv)) {       /* pv is offset? */
1535         sv_backoff(sv);
1536         s = SvPVX_mutable(sv);
1537         if (newlen > SvLEN(sv))
1538             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1539 #ifdef HAS_64K_LIMIT
1540         if (newlen >= 0x10000)
1541             newlen = 0xFFFF;
1542 #endif
1543     }
1544     else
1545         s = SvPVX_mutable(sv);
1546
1547     if (newlen > SvLEN(sv)) {           /* need more room? */
1548 #ifndef Perl_safesysmalloc_size
1549         newlen = PERL_STRLEN_ROUNDUP(newlen);
1550 #endif
1551         if (SvLEN(sv) && s) {
1552             s = (char*)saferealloc(s, newlen);
1553         }
1554         else {
1555             s = (char*)safemalloc(newlen);
1556             if (SvPVX_const(sv) && SvCUR(sv)) {
1557                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1558             }
1559         }
1560         SvPV_set(sv, s);
1561 #ifdef Perl_safesysmalloc_size
1562         /* Do this here, do it once, do it right, and then we will never get
1563            called back into sv_grow() unless there really is some growing
1564            needed.  */
1565         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1566 #else
1567         SvLEN_set(sv, newlen);
1568 #endif
1569     }
1570     return s;
1571 }
1572
1573 /*
1574 =for apidoc sv_setiv
1575
1576 Copies an integer into the given SV, upgrading first if necessary.
1577 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1578
1579 =cut
1580 */
1581
1582 void
1583 Perl_sv_setiv(pTHX_ register SV *const sv, const IV i)
1584 {
1585     dVAR;
1586
1587     PERL_ARGS_ASSERT_SV_SETIV;
1588
1589     SV_CHECK_THINKFIRST_COW_DROP(sv);
1590     switch (SvTYPE(sv)) {
1591     case SVt_NULL:
1592     case SVt_NV:
1593         sv_upgrade(sv, SVt_IV);
1594         break;
1595     case SVt_PV:
1596         sv_upgrade(sv, SVt_PVIV);
1597         break;
1598
1599     case SVt_PVGV:
1600         if (!isGV_with_GP(sv))
1601             break;
1602     case SVt_PVAV:
1603     case SVt_PVHV:
1604     case SVt_PVCV:
1605     case SVt_PVFM:
1606     case SVt_PVIO:
1607         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1608                    OP_DESC(PL_op));
1609     default: NOOP;
1610     }
1611     (void)SvIOK_only(sv);                       /* validate number */
1612     SvIV_set(sv, i);
1613     SvTAINT(sv);
1614 }
1615
1616 /*
1617 =for apidoc sv_setiv_mg
1618
1619 Like C<sv_setiv>, but also handles 'set' magic.
1620
1621 =cut
1622 */
1623
1624 void
1625 Perl_sv_setiv_mg(pTHX_ register SV *const sv, const IV i)
1626 {
1627     PERL_ARGS_ASSERT_SV_SETIV_MG;
1628
1629     sv_setiv(sv,i);
1630     SvSETMAGIC(sv);
1631 }
1632
1633 /*
1634 =for apidoc sv_setuv
1635
1636 Copies an unsigned integer into the given SV, upgrading first if necessary.
1637 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1638
1639 =cut
1640 */
1641
1642 void
1643 Perl_sv_setuv(pTHX_ register SV *const sv, const UV u)
1644 {
1645     PERL_ARGS_ASSERT_SV_SETUV;
1646
1647     /* With these two if statements:
1648        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1649
1650        without
1651        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1652
1653        If you wish to remove them, please benchmark to see what the effect is
1654     */
1655     if (u <= (UV)IV_MAX) {
1656        sv_setiv(sv, (IV)u);
1657        return;
1658     }
1659     sv_setiv(sv, 0);
1660     SvIsUV_on(sv);
1661     SvUV_set(sv, u);
1662 }
1663
1664 /*
1665 =for apidoc sv_setuv_mg
1666
1667 Like C<sv_setuv>, but also handles 'set' magic.
1668
1669 =cut
1670 */
1671
1672 void
1673 Perl_sv_setuv_mg(pTHX_ register SV *const sv, const UV u)
1674 {
1675     PERL_ARGS_ASSERT_SV_SETUV_MG;
1676
1677     sv_setuv(sv,u);
1678     SvSETMAGIC(sv);
1679 }
1680
1681 /*
1682 =for apidoc sv_setnv
1683
1684 Copies a double into the given SV, upgrading first if necessary.
1685 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1686
1687 =cut
1688 */
1689
1690 void
1691 Perl_sv_setnv(pTHX_ register SV *const sv, const NV num)
1692 {
1693     dVAR;
1694
1695     PERL_ARGS_ASSERT_SV_SETNV;
1696
1697     SV_CHECK_THINKFIRST_COW_DROP(sv);
1698     switch (SvTYPE(sv)) {
1699     case SVt_NULL:
1700     case SVt_IV:
1701         sv_upgrade(sv, SVt_NV);
1702         break;
1703     case SVt_PV:
1704     case SVt_PVIV:
1705         sv_upgrade(sv, SVt_PVNV);
1706         break;
1707
1708     case SVt_PVGV:
1709         if (!isGV_with_GP(sv))
1710             break;
1711     case SVt_PVAV:
1712     case SVt_PVHV:
1713     case SVt_PVCV:
1714     case SVt_PVFM:
1715     case SVt_PVIO:
1716         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1717                    OP_NAME(PL_op));
1718     default: NOOP;
1719     }
1720     SvNV_set(sv, num);
1721     (void)SvNOK_only(sv);                       /* validate number */
1722     SvTAINT(sv);
1723 }
1724
1725 /*
1726 =for apidoc sv_setnv_mg
1727
1728 Like C<sv_setnv>, but also handles 'set' magic.
1729
1730 =cut
1731 */
1732
1733 void
1734 Perl_sv_setnv_mg(pTHX_ register SV *const sv, const NV num)
1735 {
1736     PERL_ARGS_ASSERT_SV_SETNV_MG;
1737
1738     sv_setnv(sv,num);
1739     SvSETMAGIC(sv);
1740 }
1741
1742 /* Print an "isn't numeric" warning, using a cleaned-up,
1743  * printable version of the offending string
1744  */
1745
1746 STATIC void
1747 S_not_a_number(pTHX_ SV *const sv)
1748 {
1749      dVAR;
1750      SV *dsv;
1751      char tmpbuf[64];
1752      const char *pv;
1753
1754      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1755
1756      if (DO_UTF8(sv)) {
1757           dsv = newSVpvs_flags("", SVs_TEMP);
1758           pv = sv_uni_display(dsv, sv, 10, 0);
1759      } else {
1760           char *d = tmpbuf;
1761           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1762           /* each *s can expand to 4 chars + "...\0",
1763              i.e. need room for 8 chars */
1764         
1765           const char *s = SvPVX_const(sv);
1766           const char * const end = s + SvCUR(sv);
1767           for ( ; s < end && d < limit; s++ ) {
1768                int ch = *s & 0xFF;
1769                if (ch & 128 && !isPRINT_LC(ch)) {
1770                     *d++ = 'M';
1771                     *d++ = '-';
1772                     ch &= 127;
1773                }
1774                if (ch == '\n') {
1775                     *d++ = '\\';
1776                     *d++ = 'n';
1777                }
1778                else if (ch == '\r') {
1779                     *d++ = '\\';
1780                     *d++ = 'r';
1781                }
1782                else if (ch == '\f') {
1783                     *d++ = '\\';
1784                     *d++ = 'f';
1785                }
1786                else if (ch == '\\') {
1787                     *d++ = '\\';
1788                     *d++ = '\\';
1789                }
1790                else if (ch == '\0') {
1791                     *d++ = '\\';
1792                     *d++ = '0';
1793                }
1794                else if (isPRINT_LC(ch))
1795                     *d++ = ch;
1796                else {
1797                     *d++ = '^';
1798                     *d++ = toCTRL(ch);
1799                }
1800           }
1801           if (s < end) {
1802                *d++ = '.';
1803                *d++ = '.';
1804                *d++ = '.';
1805           }
1806           *d = '\0';
1807           pv = tmpbuf;
1808     }
1809
1810     if (PL_op)
1811         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1812                     "Argument \"%s\" isn't numeric in %s", pv,
1813                     OP_DESC(PL_op));
1814     else
1815         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1816                     "Argument \"%s\" isn't numeric", pv);
1817 }
1818
1819 /*
1820 =for apidoc looks_like_number
1821
1822 Test if the content of an SV looks like a number (or is a number).
1823 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1824 non-numeric warning), even if your atof() doesn't grok them.
1825
1826 =cut
1827 */
1828
1829 I32
1830 Perl_looks_like_number(pTHX_ SV *const sv)
1831 {
1832     register const char *sbegin;
1833     STRLEN len;
1834
1835     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1836
1837     if (SvPOK(sv)) {
1838         sbegin = SvPVX_const(sv);
1839         len = SvCUR(sv);
1840     }
1841     else if (SvPOKp(sv))
1842         sbegin = SvPV_const(sv, len);
1843     else
1844         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1845     return grok_number(sbegin, len, NULL);
1846 }
1847
1848 STATIC bool
1849 S_glob_2number(pTHX_ GV * const gv)
1850 {
1851     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1852     SV *const buffer = sv_newmortal();
1853
1854     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1855
1856     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1857        is on.  */
1858     SvFAKE_off(gv);
1859     gv_efullname3(buffer, gv, "*");
1860     SvFLAGS(gv) |= wasfake;
1861
1862     /* We know that all GVs stringify to something that is not-a-number,
1863         so no need to test that.  */
1864     if (ckWARN(WARN_NUMERIC))
1865         not_a_number(buffer);
1866     /* We just want something true to return, so that S_sv_2iuv_common
1867         can tail call us and return true.  */
1868     return TRUE;
1869 }
1870
1871 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1872    until proven guilty, assume that things are not that bad... */
1873
1874 /*
1875    NV_PRESERVES_UV:
1876
1877    As 64 bit platforms often have an NV that doesn't preserve all bits of
1878    an IV (an assumption perl has been based on to date) it becomes necessary
1879    to remove the assumption that the NV always carries enough precision to
1880    recreate the IV whenever needed, and that the NV is the canonical form.
1881    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1882    precision as a side effect of conversion (which would lead to insanity
1883    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1884    1) to distinguish between IV/UV/NV slots that have cached a valid
1885       conversion where precision was lost and IV/UV/NV slots that have a
1886       valid conversion which has lost no precision
1887    2) to ensure that if a numeric conversion to one form is requested that
1888       would lose precision, the precise conversion (or differently
1889       imprecise conversion) is also performed and cached, to prevent
1890       requests for different numeric formats on the same SV causing
1891       lossy conversion chains. (lossless conversion chains are perfectly
1892       acceptable (still))
1893
1894
1895    flags are used:
1896    SvIOKp is true if the IV slot contains a valid value
1897    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1898    SvNOKp is true if the NV slot contains a valid value
1899    SvNOK  is true only if the NV value is accurate
1900
1901    so
1902    while converting from PV to NV, check to see if converting that NV to an
1903    IV(or UV) would lose accuracy over a direct conversion from PV to
1904    IV(or UV). If it would, cache both conversions, return NV, but mark
1905    SV as IOK NOKp (ie not NOK).
1906
1907    While converting from PV to IV, check to see if converting that IV to an
1908    NV would lose accuracy over a direct conversion from PV to NV. If it
1909    would, cache both conversions, flag similarly.
1910
1911    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1912    correctly because if IV & NV were set NV *always* overruled.
1913    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1914    changes - now IV and NV together means that the two are interchangeable:
1915    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1916
1917    The benefit of this is that operations such as pp_add know that if
1918    SvIOK is true for both left and right operands, then integer addition
1919    can be used instead of floating point (for cases where the result won't
1920    overflow). Before, floating point was always used, which could lead to
1921    loss of precision compared with integer addition.
1922
1923    * making IV and NV equal status should make maths accurate on 64 bit
1924      platforms
1925    * may speed up maths somewhat if pp_add and friends start to use
1926      integers when possible instead of fp. (Hopefully the overhead in
1927      looking for SvIOK and checking for overflow will not outweigh the
1928      fp to integer speedup)
1929    * will slow down integer operations (callers of SvIV) on "inaccurate"
1930      values, as the change from SvIOK to SvIOKp will cause a call into
1931      sv_2iv each time rather than a macro access direct to the IV slot
1932    * should speed up number->string conversion on integers as IV is
1933      favoured when IV and NV are equally accurate
1934
1935    ####################################################################
1936    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1937    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1938    On the other hand, SvUOK is true iff UV.
1939    ####################################################################
1940
1941    Your mileage will vary depending your CPU's relative fp to integer
1942    performance ratio.
1943 */
1944
1945 #ifndef NV_PRESERVES_UV
1946 #  define IS_NUMBER_UNDERFLOW_IV 1
1947 #  define IS_NUMBER_UNDERFLOW_UV 2
1948 #  define IS_NUMBER_IV_AND_UV    2
1949 #  define IS_NUMBER_OVERFLOW_IV  4
1950 #  define IS_NUMBER_OVERFLOW_UV  5
1951
1952 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1953
1954 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1955 STATIC int
1956 S_sv_2iuv_non_preserve(pTHX_ register SV *const sv
1957 #  ifdef DEBUGGING
1958                        , I32 numtype
1959 #  endif
1960                        )
1961 {
1962     dVAR;
1963
1964     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1965
1966     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1967     if (SvNVX(sv) < (NV)IV_MIN) {
1968         (void)SvIOKp_on(sv);
1969         (void)SvNOK_on(sv);
1970         SvIV_set(sv, IV_MIN);
1971         return IS_NUMBER_UNDERFLOW_IV;
1972     }
1973     if (SvNVX(sv) > (NV)UV_MAX) {
1974         (void)SvIOKp_on(sv);
1975         (void)SvNOK_on(sv);
1976         SvIsUV_on(sv);
1977         SvUV_set(sv, UV_MAX);
1978         return IS_NUMBER_OVERFLOW_UV;
1979     }
1980     (void)SvIOKp_on(sv);
1981     (void)SvNOK_on(sv);
1982     /* Can't use strtol etc to convert this string.  (See truth table in
1983        sv_2iv  */
1984     if (SvNVX(sv) <= (UV)IV_MAX) {
1985         SvIV_set(sv, I_V(SvNVX(sv)));
1986         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1987             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1988         } else {
1989             /* Integer is imprecise. NOK, IOKp */
1990         }
1991         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1992     }
1993     SvIsUV_on(sv);
1994     SvUV_set(sv, U_V(SvNVX(sv)));
1995     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1996         if (SvUVX(sv) == UV_MAX) {
1997             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1998                possibly be preserved by NV. Hence, it must be overflow.
1999                NOK, IOKp */
2000             return IS_NUMBER_OVERFLOW_UV;
2001         }
2002         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2003     } else {
2004         /* Integer is imprecise. NOK, IOKp */
2005     }
2006     return IS_NUMBER_OVERFLOW_IV;
2007 }
2008 #endif /* !NV_PRESERVES_UV*/
2009
2010 STATIC bool
2011 S_sv_2iuv_common(pTHX_ SV *const sv)
2012 {
2013     dVAR;
2014
2015     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2016
2017     if (SvNOKp(sv)) {
2018         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2019          * without also getting a cached IV/UV from it at the same time
2020          * (ie PV->NV conversion should detect loss of accuracy and cache
2021          * IV or UV at same time to avoid this. */
2022         /* IV-over-UV optimisation - choose to cache IV if possible */
2023
2024         if (SvTYPE(sv) == SVt_NV)
2025             sv_upgrade(sv, SVt_PVNV);
2026
2027         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2028         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2029            certainly cast into the IV range at IV_MAX, whereas the correct
2030            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2031            cases go to UV */
2032 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2033         if (Perl_isnan(SvNVX(sv))) {
2034             SvUV_set(sv, 0);
2035             SvIsUV_on(sv);
2036             return FALSE;
2037         }
2038 #endif
2039         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2040             SvIV_set(sv, I_V(SvNVX(sv)));
2041             if (SvNVX(sv) == (NV) SvIVX(sv)
2042 #ifndef NV_PRESERVES_UV
2043                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2044                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2045                 /* Don't flag it as "accurately an integer" if the number
2046                    came from a (by definition imprecise) NV operation, and
2047                    we're outside the range of NV integer precision */
2048 #endif
2049                 ) {
2050                 if (SvNOK(sv))
2051                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2052                 else {
2053                     /* scalar has trailing garbage, eg "42a" */
2054                 }
2055                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2056                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2057                                       PTR2UV(sv),
2058                                       SvNVX(sv),
2059                                       SvIVX(sv)));
2060
2061             } else {
2062                 /* IV not precise.  No need to convert from PV, as NV
2063                    conversion would already have cached IV if it detected
2064                    that PV->IV would be better than PV->NV->IV
2065                    flags already correct - don't set public IOK.  */
2066                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2067                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2068                                       PTR2UV(sv),
2069                                       SvNVX(sv),
2070                                       SvIVX(sv)));
2071             }
2072             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2073                but the cast (NV)IV_MIN rounds to a the value less (more
2074                negative) than IV_MIN which happens to be equal to SvNVX ??
2075                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2076                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2077                (NV)UVX == NVX are both true, but the values differ. :-(
2078                Hopefully for 2s complement IV_MIN is something like
2079                0x8000000000000000 which will be exact. NWC */
2080         }
2081         else {
2082             SvUV_set(sv, U_V(SvNVX(sv)));
2083             if (
2084                 (SvNVX(sv) == (NV) SvUVX(sv))
2085 #ifndef  NV_PRESERVES_UV
2086                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2087                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2088                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2089                 /* Don't flag it as "accurately an integer" if the number
2090                    came from a (by definition imprecise) NV operation, and
2091                    we're outside the range of NV integer precision */
2092 #endif
2093                 && SvNOK(sv)
2094                 )
2095                 SvIOK_on(sv);
2096             SvIsUV_on(sv);
2097             DEBUG_c(PerlIO_printf(Perl_debug_log,
2098                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2099                                   PTR2UV(sv),
2100                                   SvUVX(sv),
2101                                   SvUVX(sv)));
2102         }
2103     }
2104     else if (SvPOKp(sv) && SvLEN(sv)) {
2105         UV value;
2106         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2107         /* We want to avoid a possible problem when we cache an IV/ a UV which
2108            may be later translated to an NV, and the resulting NV is not
2109            the same as the direct translation of the initial string
2110            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2111            be careful to ensure that the value with the .456 is around if the
2112            NV value is requested in the future).
2113         
2114            This means that if we cache such an IV/a UV, we need to cache the
2115            NV as well.  Moreover, we trade speed for space, and do not
2116            cache the NV if we are sure it's not needed.
2117          */
2118
2119         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2120         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2121              == IS_NUMBER_IN_UV) {
2122             /* It's definitely an integer, only upgrade to PVIV */
2123             if (SvTYPE(sv) < SVt_PVIV)
2124                 sv_upgrade(sv, SVt_PVIV);
2125             (void)SvIOK_on(sv);
2126         } else if (SvTYPE(sv) < SVt_PVNV)
2127             sv_upgrade(sv, SVt_PVNV);
2128
2129         /* If NVs preserve UVs then we only use the UV value if we know that
2130            we aren't going to call atof() below. If NVs don't preserve UVs
2131            then the value returned may have more precision than atof() will
2132            return, even though value isn't perfectly accurate.  */
2133         if ((numtype & (IS_NUMBER_IN_UV
2134 #ifdef NV_PRESERVES_UV
2135                         | IS_NUMBER_NOT_INT
2136 #endif
2137             )) == IS_NUMBER_IN_UV) {
2138             /* This won't turn off the public IOK flag if it was set above  */
2139             (void)SvIOKp_on(sv);
2140
2141             if (!(numtype & IS_NUMBER_NEG)) {
2142                 /* positive */;
2143                 if (value <= (UV)IV_MAX) {
2144                     SvIV_set(sv, (IV)value);
2145                 } else {
2146                     /* it didn't overflow, and it was positive. */
2147                     SvUV_set(sv, value);
2148                     SvIsUV_on(sv);
2149                 }
2150             } else {
2151                 /* 2s complement assumption  */
2152                 if (value <= (UV)IV_MIN) {
2153                     SvIV_set(sv, -(IV)value);
2154                 } else {
2155                     /* Too negative for an IV.  This is a double upgrade, but
2156                        I'm assuming it will be rare.  */
2157                     if (SvTYPE(sv) < SVt_PVNV)
2158                         sv_upgrade(sv, SVt_PVNV);
2159                     SvNOK_on(sv);
2160                     SvIOK_off(sv);
2161                     SvIOKp_on(sv);
2162                     SvNV_set(sv, -(NV)value);
2163                     SvIV_set(sv, IV_MIN);
2164                 }
2165             }
2166         }
2167         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2168            will be in the previous block to set the IV slot, and the next
2169            block to set the NV slot.  So no else here.  */
2170         
2171         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2172             != IS_NUMBER_IN_UV) {
2173             /* It wasn't an (integer that doesn't overflow the UV). */
2174             SvNV_set(sv, Atof(SvPVX_const(sv)));
2175
2176             if (! numtype && ckWARN(WARN_NUMERIC))
2177                 not_a_number(sv);
2178
2179 #if defined(USE_LONG_DOUBLE)
2180             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2181                                   PTR2UV(sv), SvNVX(sv)));
2182 #else
2183             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2184                                   PTR2UV(sv), SvNVX(sv)));
2185 #endif
2186
2187 #ifdef NV_PRESERVES_UV
2188             (void)SvIOKp_on(sv);
2189             (void)SvNOK_on(sv);
2190             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2191                 SvIV_set(sv, I_V(SvNVX(sv)));
2192                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2193                     SvIOK_on(sv);
2194                 } else {
2195                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2196                 }
2197                 /* UV will not work better than IV */
2198             } else {
2199                 if (SvNVX(sv) > (NV)UV_MAX) {
2200                     SvIsUV_on(sv);
2201                     /* Integer is inaccurate. NOK, IOKp, is UV */
2202                     SvUV_set(sv, UV_MAX);
2203                 } else {
2204                     SvUV_set(sv, U_V(SvNVX(sv)));
2205                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2206                        NV preservse UV so can do correct comparison.  */
2207                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2208                         SvIOK_on(sv);
2209                     } else {
2210                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2211                     }
2212                 }
2213                 SvIsUV_on(sv);
2214             }
2215 #else /* NV_PRESERVES_UV */
2216             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2217                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2218                 /* The IV/UV slot will have been set from value returned by
2219                    grok_number above.  The NV slot has just been set using
2220                    Atof.  */
2221                 SvNOK_on(sv);
2222                 assert (SvIOKp(sv));
2223             } else {
2224                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2225                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2226                     /* Small enough to preserve all bits. */
2227                     (void)SvIOKp_on(sv);
2228                     SvNOK_on(sv);
2229                     SvIV_set(sv, I_V(SvNVX(sv)));
2230                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2231                         SvIOK_on(sv);
2232                     /* Assumption: first non-preserved integer is < IV_MAX,
2233                        this NV is in the preserved range, therefore: */
2234                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2235                           < (UV)IV_MAX)) {
2236                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2237                     }
2238                 } else {
2239                     /* IN_UV NOT_INT
2240                          0      0       already failed to read UV.
2241                          0      1       already failed to read UV.
2242                          1      0       you won't get here in this case. IV/UV
2243                                         slot set, public IOK, Atof() unneeded.
2244                          1      1       already read UV.
2245                        so there's no point in sv_2iuv_non_preserve() attempting
2246                        to use atol, strtol, strtoul etc.  */
2247 #  ifdef DEBUGGING
2248                     sv_2iuv_non_preserve (sv, numtype);
2249 #  else
2250                     sv_2iuv_non_preserve (sv);
2251 #  endif
2252                 }
2253             }
2254 #endif /* NV_PRESERVES_UV */
2255         /* It might be more code efficient to go through the entire logic above
2256            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2257            gets complex and potentially buggy, so more programmer efficient
2258            to do it this way, by turning off the public flags:  */
2259         if (!numtype)
2260             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2261         }
2262     }
2263     else  {
2264         if (isGV_with_GP(sv))
2265             return glob_2number(MUTABLE_GV(sv));
2266
2267         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2268             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2269                 report_uninit(sv);
2270         }
2271         if (SvTYPE(sv) < SVt_IV)
2272             /* Typically the caller expects that sv_any is not NULL now.  */
2273             sv_upgrade(sv, SVt_IV);
2274         /* Return 0 from the caller.  */
2275         return TRUE;
2276     }
2277     return FALSE;
2278 }
2279
2280 /*
2281 =for apidoc sv_2iv_flags
2282
2283 Return the integer value of an SV, doing any necessary string
2284 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2285 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2286
2287 =cut
2288 */
2289
2290 IV
2291 Perl_sv_2iv_flags(pTHX_ register SV *const sv, const I32 flags)
2292 {
2293     dVAR;
2294     if (!sv)
2295         return 0;
2296     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2297         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2298            cache IVs just in case. In practice it seems that they never
2299            actually anywhere accessible by user Perl code, let alone get used
2300            in anything other than a string context.  */
2301         if (flags & SV_GMAGIC)
2302             mg_get(sv);
2303         if (SvIOKp(sv))
2304             return SvIVX(sv);
2305         if (SvNOKp(sv)) {
2306             return I_V(SvNVX(sv));
2307         }
2308         if (SvPOKp(sv) && SvLEN(sv)) {
2309             UV value;
2310             const int numtype
2311                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2312
2313             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2314                 == IS_NUMBER_IN_UV) {
2315                 /* It's definitely an integer */
2316                 if (numtype & IS_NUMBER_NEG) {
2317                     if (value < (UV)IV_MIN)
2318                         return -(IV)value;
2319                 } else {
2320                     if (value < (UV)IV_MAX)
2321                         return (IV)value;
2322                 }
2323             }
2324             if (!numtype) {
2325                 if (ckWARN(WARN_NUMERIC))
2326                     not_a_number(sv);
2327             }
2328             return I_V(Atof(SvPVX_const(sv)));
2329         }
2330         if (SvROK(sv)) {
2331             goto return_rok;
2332         }
2333         assert(SvTYPE(sv) >= SVt_PVMG);
2334         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2335     } else if (SvTHINKFIRST(sv)) {
2336         if (SvROK(sv)) {
2337         return_rok:
2338             if (SvAMAGIC(sv)) {
2339                 SV * const tmpstr=AMG_CALLun(sv,numer);
2340                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2341                     return SvIV(tmpstr);
2342                 }
2343             }
2344             return PTR2IV(SvRV(sv));
2345         }
2346         if (SvIsCOW(sv)) {
2347             sv_force_normal_flags(sv, 0);
2348         }
2349         if (SvREADONLY(sv) && !SvOK(sv)) {
2350             if (ckWARN(WARN_UNINITIALIZED))
2351                 report_uninit(sv);
2352             return 0;
2353         }
2354     }
2355     if (!SvIOKp(sv)) {
2356         if (S_sv_2iuv_common(aTHX_ sv))
2357             return 0;
2358     }
2359     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2360         PTR2UV(sv),SvIVX(sv)));
2361     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2362 }
2363
2364 /*
2365 =for apidoc sv_2uv_flags
2366
2367 Return the unsigned integer value of an SV, doing any necessary string
2368 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2369 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2370
2371 =cut
2372 */
2373
2374 UV
2375 Perl_sv_2uv_flags(pTHX_ register SV *const sv, const I32 flags)
2376 {
2377     dVAR;
2378     if (!sv)
2379         return 0;
2380     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2381         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2382            cache IVs just in case.  */
2383         if (flags & SV_GMAGIC)
2384             mg_get(sv);
2385         if (SvIOKp(sv))
2386             return SvUVX(sv);
2387         if (SvNOKp(sv))
2388             return U_V(SvNVX(sv));
2389         if (SvPOKp(sv) && SvLEN(sv)) {
2390             UV value;
2391             const int numtype
2392                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2393
2394             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2395                 == IS_NUMBER_IN_UV) {
2396                 /* It's definitely an integer */
2397                 if (!(numtype & IS_NUMBER_NEG))
2398                     return value;
2399             }
2400             if (!numtype) {
2401                 if (ckWARN(WARN_NUMERIC))
2402                     not_a_number(sv);
2403             }
2404             return U_V(Atof(SvPVX_const(sv)));
2405         }
2406         if (SvROK(sv)) {
2407             goto return_rok;
2408         }
2409         assert(SvTYPE(sv) >= SVt_PVMG);
2410         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2411     } else if (SvTHINKFIRST(sv)) {
2412         if (SvROK(sv)) {
2413         return_rok:
2414             if (SvAMAGIC(sv)) {
2415                 SV *const tmpstr = AMG_CALLun(sv,numer);
2416                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2417                     return SvUV(tmpstr);
2418                 }
2419             }
2420             return PTR2UV(SvRV(sv));
2421         }
2422         if (SvIsCOW(sv)) {
2423             sv_force_normal_flags(sv, 0);
2424         }
2425         if (SvREADONLY(sv) && !SvOK(sv)) {
2426             if (ckWARN(WARN_UNINITIALIZED))
2427                 report_uninit(sv);
2428             return 0;
2429         }
2430     }
2431     if (!SvIOKp(sv)) {
2432         if (S_sv_2iuv_common(aTHX_ sv))
2433             return 0;
2434     }
2435
2436     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2437                           PTR2UV(sv),SvUVX(sv)));
2438     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2439 }
2440
2441 /*
2442 =for apidoc sv_2nv
2443
2444 Return the num value of an SV, doing any necessary string or integer
2445 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2446 macros.
2447
2448 =cut
2449 */
2450
2451 NV
2452 Perl_sv_2nv(pTHX_ register SV *const sv)
2453 {
2454     dVAR;
2455     if (!sv)
2456         return 0.0;
2457     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2458         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2459            cache IVs just in case.  */
2460         mg_get(sv);
2461         if (SvNOKp(sv))
2462             return SvNVX(sv);
2463         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2464             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2465                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2466                 not_a_number(sv);
2467             return Atof(SvPVX_const(sv));
2468         }
2469         if (SvIOKp(sv)) {
2470             if (SvIsUV(sv))
2471                 return (NV)SvUVX(sv);
2472             else
2473                 return (NV)SvIVX(sv);
2474         }
2475         if (SvROK(sv)) {
2476             goto return_rok;
2477         }
2478         assert(SvTYPE(sv) >= SVt_PVMG);
2479         /* This falls through to the report_uninit near the end of the
2480            function. */
2481     } else if (SvTHINKFIRST(sv)) {
2482         if (SvROK(sv)) {
2483         return_rok:
2484             if (SvAMAGIC(sv)) {
2485                 SV *const tmpstr = AMG_CALLun(sv,numer);
2486                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2487                     return SvNV(tmpstr);
2488                 }
2489             }
2490             return PTR2NV(SvRV(sv));
2491         }
2492         if (SvIsCOW(sv)) {
2493             sv_force_normal_flags(sv, 0);
2494         }
2495         if (SvREADONLY(sv) && !SvOK(sv)) {
2496             if (ckWARN(WARN_UNINITIALIZED))
2497                 report_uninit(sv);
2498             return 0.0;
2499         }
2500     }
2501     if (SvTYPE(sv) < SVt_NV) {
2502         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2503         sv_upgrade(sv, SVt_NV);
2504 #ifdef USE_LONG_DOUBLE
2505         DEBUG_c({
2506             STORE_NUMERIC_LOCAL_SET_STANDARD();
2507             PerlIO_printf(Perl_debug_log,
2508                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2509                           PTR2UV(sv), SvNVX(sv));
2510             RESTORE_NUMERIC_LOCAL();
2511         });
2512 #else
2513         DEBUG_c({
2514             STORE_NUMERIC_LOCAL_SET_STANDARD();
2515             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2516                           PTR2UV(sv), SvNVX(sv));
2517             RESTORE_NUMERIC_LOCAL();
2518         });
2519 #endif
2520     }
2521     else if (SvTYPE(sv) < SVt_PVNV)
2522         sv_upgrade(sv, SVt_PVNV);
2523     if (SvNOKp(sv)) {
2524         return SvNVX(sv);
2525     }
2526     if (SvIOKp(sv)) {
2527         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2528 #ifdef NV_PRESERVES_UV
2529         if (SvIOK(sv))
2530             SvNOK_on(sv);
2531         else
2532             SvNOKp_on(sv);
2533 #else
2534         /* Only set the public NV OK flag if this NV preserves the IV  */
2535         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2536         if (SvIOK(sv) &&
2537             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2538                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2539             SvNOK_on(sv);
2540         else
2541             SvNOKp_on(sv);
2542 #endif
2543     }
2544     else if (SvPOKp(sv) && SvLEN(sv)) {
2545         UV value;
2546         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2547         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2548             not_a_number(sv);
2549 #ifdef NV_PRESERVES_UV
2550         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2551             == IS_NUMBER_IN_UV) {
2552             /* It's definitely an integer */
2553             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2554         } else
2555             SvNV_set(sv, Atof(SvPVX_const(sv)));
2556         if (numtype)
2557             SvNOK_on(sv);
2558         else
2559             SvNOKp_on(sv);
2560 #else
2561         SvNV_set(sv, Atof(SvPVX_const(sv)));
2562         /* Only set the public NV OK flag if this NV preserves the value in
2563            the PV at least as well as an IV/UV would.
2564            Not sure how to do this 100% reliably. */
2565         /* if that shift count is out of range then Configure's test is
2566            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2567            UV_BITS */
2568         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2569             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2570             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2571         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2572             /* Can't use strtol etc to convert this string, so don't try.
2573                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2574             SvNOK_on(sv);
2575         } else {
2576             /* value has been set.  It may not be precise.  */
2577             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2578                 /* 2s complement assumption for (UV)IV_MIN  */
2579                 SvNOK_on(sv); /* Integer is too negative.  */
2580             } else {
2581                 SvNOKp_on(sv);
2582                 SvIOKp_on(sv);
2583
2584                 if (numtype & IS_NUMBER_NEG) {
2585                     SvIV_set(sv, -(IV)value);
2586                 } else if (value <= (UV)IV_MAX) {
2587                     SvIV_set(sv, (IV)value);
2588                 } else {
2589                     SvUV_set(sv, value);
2590                     SvIsUV_on(sv);
2591                 }
2592
2593                 if (numtype & IS_NUMBER_NOT_INT) {
2594                     /* I believe that even if the original PV had decimals,
2595                        they are lost beyond the limit of the FP precision.
2596                        However, neither is canonical, so both only get p
2597                        flags.  NWC, 2000/11/25 */
2598                     /* Both already have p flags, so do nothing */
2599                 } else {
2600                     const NV nv = SvNVX(sv);
2601                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2602                         if (SvIVX(sv) == I_V(nv)) {
2603                             SvNOK_on(sv);
2604                         } else {
2605                             /* It had no "." so it must be integer.  */
2606                         }
2607                         SvIOK_on(sv);
2608                     } else {
2609                         /* between IV_MAX and NV(UV_MAX).
2610                            Could be slightly > UV_MAX */
2611
2612                         if (numtype & IS_NUMBER_NOT_INT) {
2613                             /* UV and NV both imprecise.  */
2614                         } else {
2615                             const UV nv_as_uv = U_V(nv);
2616
2617                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2618                                 SvNOK_on(sv);
2619                             }
2620                             SvIOK_on(sv);
2621                         }
2622                     }
2623                 }
2624             }
2625         }
2626         /* It might be more code efficient to go through the entire logic above
2627            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2628            gets complex and potentially buggy, so more programmer efficient
2629            to do it this way, by turning off the public flags:  */
2630         if (!numtype)
2631             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2632 #endif /* NV_PRESERVES_UV */
2633     }
2634     else  {
2635         if (isGV_with_GP(sv)) {
2636             glob_2number(MUTABLE_GV(sv));
2637             return 0.0;
2638         }
2639
2640         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2641             report_uninit(sv);
2642         assert (SvTYPE(sv) >= SVt_NV);
2643         /* Typically the caller expects that sv_any is not NULL now.  */
2644         /* XXX Ilya implies that this is a bug in callers that assume this
2645            and ideally should be fixed.  */
2646         return 0.0;
2647     }
2648 #if defined(USE_LONG_DOUBLE)
2649     DEBUG_c({
2650         STORE_NUMERIC_LOCAL_SET_STANDARD();
2651         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2652                       PTR2UV(sv), SvNVX(sv));
2653         RESTORE_NUMERIC_LOCAL();
2654     });
2655 #else
2656     DEBUG_c({
2657         STORE_NUMERIC_LOCAL_SET_STANDARD();
2658         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2659                       PTR2UV(sv), SvNVX(sv));
2660         RESTORE_NUMERIC_LOCAL();
2661     });
2662 #endif
2663     return SvNVX(sv);
2664 }
2665
2666 /*
2667 =for apidoc sv_2num
2668
2669 Return an SV with the numeric value of the source SV, doing any necessary
2670 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2671 access this function.
2672
2673 =cut
2674 */
2675
2676 SV *
2677 Perl_sv_2num(pTHX_ register SV *const sv)
2678 {
2679     PERL_ARGS_ASSERT_SV_2NUM;
2680
2681     if (!SvROK(sv))
2682         return sv;
2683     if (SvAMAGIC(sv)) {
2684         SV * const tmpsv = AMG_CALLun(sv,numer);
2685         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2686             return sv_2num(tmpsv);
2687     }
2688     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2689 }
2690
2691 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2692  * UV as a string towards the end of buf, and return pointers to start and
2693  * end of it.
2694  *
2695  * We assume that buf is at least TYPE_CHARS(UV) long.
2696  */
2697
2698 static char *
2699 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2700 {
2701     char *ptr = buf + TYPE_CHARS(UV);
2702     char * const ebuf = ptr;
2703     int sign;
2704
2705     PERL_ARGS_ASSERT_UIV_2BUF;
2706
2707     if (is_uv)
2708         sign = 0;
2709     else if (iv >= 0) {
2710         uv = iv;
2711         sign = 0;
2712     } else {
2713         uv = -iv;
2714         sign = 1;
2715     }
2716     do {
2717         *--ptr = '0' + (char)(uv % 10);
2718     } while (uv /= 10);
2719     if (sign)
2720         *--ptr = '-';
2721     *peob = ebuf;
2722     return ptr;
2723 }
2724
2725 /*
2726 =for apidoc sv_2pv_flags
2727
2728 Returns a pointer to the string value of an SV, and sets *lp to its length.
2729 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2730 if necessary.
2731 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2732 usually end up here too.
2733
2734 =cut
2735 */
2736
2737 char *
2738 Perl_sv_2pv_flags(pTHX_ register SV *const sv, STRLEN *const lp, const I32 flags)
2739 {
2740     dVAR;
2741     register char *s;
2742
2743     if (!sv) {
2744         if (lp)
2745             *lp = 0;
2746         return (char *)"";
2747     }
2748     if (SvGMAGICAL(sv)) {
2749         if (flags & SV_GMAGIC)
2750             mg_get(sv);
2751         if (SvPOKp(sv)) {
2752             if (lp)
2753                 *lp = SvCUR(sv);
2754             if (flags & SV_MUTABLE_RETURN)
2755                 return SvPVX_mutable(sv);
2756             if (flags & SV_CONST_RETURN)
2757                 return (char *)SvPVX_const(sv);
2758             return SvPVX(sv);
2759         }
2760         if (SvIOKp(sv) || SvNOKp(sv)) {
2761             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2762             STRLEN len;
2763
2764             if (SvIOKp(sv)) {
2765                 len = SvIsUV(sv)
2766                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2767                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2768             } else {
2769                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2770                 len = strlen(tbuf);
2771             }
2772             assert(!SvROK(sv));
2773             {
2774                 dVAR;
2775
2776 #ifdef FIXNEGATIVEZERO
2777                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2778                     tbuf[0] = '0';
2779                     tbuf[1] = 0;
2780                     len = 1;
2781                 }
2782 #endif
2783                 SvUPGRADE(sv, SVt_PV);
2784                 if (lp)
2785                     *lp = len;
2786                 s = SvGROW_mutable(sv, len + 1);
2787                 SvCUR_set(sv, len);
2788                 SvPOKp_on(sv);
2789                 return (char*)memcpy(s, tbuf, len + 1);
2790             }
2791         }
2792         if (SvROK(sv)) {
2793             goto return_rok;
2794         }
2795         assert(SvTYPE(sv) >= SVt_PVMG);
2796         /* This falls through to the report_uninit near the end of the
2797            function. */
2798     } else if (SvTHINKFIRST(sv)) {
2799         if (SvROK(sv)) {
2800         return_rok:
2801             if (SvAMAGIC(sv)) {
2802                 SV *const tmpstr = AMG_CALLun(sv,string);
2803                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2804                     /* Unwrap this:  */
2805                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2806                      */
2807
2808                     char *pv;
2809                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2810                         if (flags & SV_CONST_RETURN) {
2811                             pv = (char *) SvPVX_const(tmpstr);
2812                         } else {
2813                             pv = (flags & SV_MUTABLE_RETURN)
2814                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2815                         }
2816                         if (lp)
2817                             *lp = SvCUR(tmpstr);
2818                     } else {
2819                         pv = sv_2pv_flags(tmpstr, lp, flags);
2820                     }
2821                     if (SvUTF8(tmpstr))
2822                         SvUTF8_on(sv);
2823                     else
2824                         SvUTF8_off(sv);
2825                     return pv;
2826                 }
2827             }
2828             {
2829                 STRLEN len;
2830                 char *retval;
2831                 char *buffer;
2832                 SV *const referent = SvRV(sv);
2833
2834                 if (!referent) {
2835                     len = 7;
2836                     retval = buffer = savepvn("NULLREF", len);
2837                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2838                     REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2839                     I32 seen_evals = 0;
2840
2841                     assert(re);
2842                         
2843                     /* If the regex is UTF-8 we want the containing scalar to
2844                        have an UTF-8 flag too */
2845                     if (RX_UTF8(re))
2846                         SvUTF8_on(sv);
2847                     else
2848                         SvUTF8_off(sv); 
2849
2850                     if ((seen_evals = RX_SEEN_EVALS(re)))
2851                         PL_reginterp_cnt += seen_evals;
2852
2853                     if (lp)
2854                         *lp = RX_WRAPLEN(re);
2855  
2856                     return RX_WRAPPED(re);
2857                 } else {
2858                     const char *const typestr = sv_reftype(referent, 0);
2859                     const STRLEN typelen = strlen(typestr);
2860                     UV addr = PTR2UV(referent);
2861                     const char *stashname = NULL;
2862                     STRLEN stashnamelen = 0; /* hush, gcc */
2863                     const char *buffer_end;
2864
2865                     if (SvOBJECT(referent)) {
2866                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2867
2868                         if (name) {
2869                             stashname = HEK_KEY(name);
2870                             stashnamelen = HEK_LEN(name);
2871
2872                             if (HEK_UTF8(name)) {
2873                                 SvUTF8_on(sv);
2874                             } else {
2875                                 SvUTF8_off(sv);
2876                             }
2877                         } else {
2878                             stashname = "__ANON__";
2879                             stashnamelen = 8;
2880                         }
2881                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2882                             + 2 * sizeof(UV) + 2 /* )\0 */;
2883                     } else {
2884                         len = typelen + 3 /* (0x */
2885                             + 2 * sizeof(UV) + 2 /* )\0 */;
2886                     }
2887
2888                     Newx(buffer, len, char);
2889                     buffer_end = retval = buffer + len;
2890
2891                     /* Working backwards  */
2892                     *--retval = '\0';
2893                     *--retval = ')';
2894                     do {
2895                         *--retval = PL_hexdigit[addr & 15];
2896                     } while (addr >>= 4);
2897                     *--retval = 'x';
2898                     *--retval = '0';
2899                     *--retval = '(';
2900
2901                     retval -= typelen;
2902                     memcpy(retval, typestr, typelen);
2903
2904                     if (stashname) {
2905                         *--retval = '=';
2906                         retval -= stashnamelen;
2907                         memcpy(retval, stashname, stashnamelen);
2908                     }
2909                     /* retval may not neccesarily have reached the start of the
2910                        buffer here.  */
2911                     assert (retval >= buffer);
2912
2913                     len = buffer_end - retval - 1; /* -1 for that \0  */
2914                 }
2915                 if (lp)
2916                     *lp = len;
2917                 SAVEFREEPV(buffer);
2918                 return retval;
2919             }
2920         }
2921         if (SvREADONLY(sv) && !SvOK(sv)) {
2922             if (lp)
2923                 *lp = 0;
2924             if (flags & SV_UNDEF_RETURNS_NULL)
2925                 return NULL;
2926             if (ckWARN(WARN_UNINITIALIZED))
2927                 report_uninit(sv);
2928             return (char *)"";
2929         }
2930     }
2931     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2932         /* I'm assuming that if both IV and NV are equally valid then
2933            converting the IV is going to be more efficient */
2934         const U32 isUIOK = SvIsUV(sv);
2935         char buf[TYPE_CHARS(UV)];
2936         char *ebuf, *ptr;
2937         STRLEN len;
2938
2939         if (SvTYPE(sv) < SVt_PVIV)
2940             sv_upgrade(sv, SVt_PVIV);
2941         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2942         len = ebuf - ptr;
2943         /* inlined from sv_setpvn */
2944         s = SvGROW_mutable(sv, len + 1);
2945         Move(ptr, s, len, char);
2946         s += len;
2947         *s = '\0';
2948     }
2949     else if (SvNOKp(sv)) {
2950         dSAVE_ERRNO;
2951         if (SvTYPE(sv) < SVt_PVNV)
2952             sv_upgrade(sv, SVt_PVNV);
2953         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2954         s = SvGROW_mutable(sv, NV_DIG + 20);
2955         /* some Xenix systems wipe out errno here */
2956 #ifdef apollo
2957         if (SvNVX(sv) == 0.0)
2958             my_strlcpy(s, "0", SvLEN(sv));
2959         else
2960 #endif /*apollo*/
2961         {
2962             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2963         }
2964         RESTORE_ERRNO;
2965 #ifdef FIXNEGATIVEZERO
2966         if (*s == '-' && s[1] == '0' && !s[2]) {
2967             s[0] = '0';
2968             s[1] = 0;
2969         }
2970 #endif
2971         while (*s) s++;
2972 #ifdef hcx
2973         if (s[-1] == '.')
2974             *--s = '\0';
2975 #endif
2976     }
2977     else {
2978         if (isGV_with_GP(sv)) {
2979             GV *const gv = MUTABLE_GV(sv);
2980             const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
2981             SV *const buffer = sv_newmortal();
2982
2983             /* FAKE globs can get coerced, so need to turn this off temporarily
2984                if it is on.  */
2985             SvFAKE_off(gv);
2986             gv_efullname3(buffer, gv, "*");
2987             SvFLAGS(gv) |= wasfake;
2988
2989             assert(SvPOK(buffer));
2990             if (lp) {
2991                 *lp = SvCUR(buffer);
2992             }
2993             return SvPVX(buffer);
2994         }
2995
2996         if (lp)
2997             *lp = 0;
2998         if (flags & SV_UNDEF_RETURNS_NULL)
2999             return NULL;
3000         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
3001             report_uninit(sv);
3002         if (SvTYPE(sv) < SVt_PV)
3003             /* Typically the caller expects that sv_any is not NULL now.  */
3004             sv_upgrade(sv, SVt_PV);
3005         return (char *)"";
3006     }
3007     {
3008         const STRLEN len = s - SvPVX_const(sv);
3009         if (lp) 
3010             *lp = len;
3011         SvCUR_set(sv, len);
3012     }
3013     SvPOK_on(sv);
3014     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3015                           PTR2UV(sv),SvPVX_const(sv)));
3016     if (flags & SV_CONST_RETURN)
3017         return (char *)SvPVX_const(sv);
3018     if (flags & SV_MUTABLE_RETURN)
3019         return SvPVX_mutable(sv);
3020     return SvPVX(sv);
3021 }
3022
3023 /*
3024 =for apidoc sv_copypv
3025
3026 Copies a stringified representation of the source SV into the
3027 destination SV.  Automatically performs any necessary mg_get and
3028 coercion of numeric values into strings.  Guaranteed to preserve
3029 UTF8 flag even from overloaded objects.  Similar in nature to
3030 sv_2pv[_flags] but operates directly on an SV instead of just the
3031 string.  Mostly uses sv_2pv_flags to do its work, except when that
3032 would lose the UTF-8'ness of the PV.
3033
3034 =cut
3035 */
3036
3037 void
3038 Perl_sv_copypv(pTHX_ SV *const dsv, register SV *const ssv)
3039 {
3040     STRLEN len;
3041     const char * const s = SvPV_const(ssv,len);
3042
3043     PERL_ARGS_ASSERT_SV_COPYPV;
3044
3045     sv_setpvn(dsv,s,len);
3046     if (SvUTF8(ssv))
3047         SvUTF8_on(dsv);
3048     else
3049         SvUTF8_off(dsv);
3050 }
3051
3052 /*
3053 =for apidoc sv_2pvbyte
3054
3055 Return a pointer to the byte-encoded representation of the SV, and set *lp
3056 to its length.  May cause the SV to be downgraded from UTF-8 as a
3057 side-effect.
3058
3059 Usually accessed via the C<SvPVbyte> macro.
3060
3061 =cut
3062 */
3063
3064 char *
3065 Perl_sv_2pvbyte(pTHX_ register SV *const sv, STRLEN *const lp)
3066 {
3067     PERL_ARGS_ASSERT_SV_2PVBYTE;
3068
3069     sv_utf8_downgrade(sv,0);
3070     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3071 }
3072
3073 /*
3074 =for apidoc sv_2pvutf8
3075
3076 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3077 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3078
3079 Usually accessed via the C<SvPVutf8> macro.
3080
3081 =cut
3082 */
3083
3084 char *
3085 Perl_sv_2pvutf8(pTHX_ register SV *const sv, STRLEN *const lp)
3086 {
3087     PERL_ARGS_ASSERT_SV_2PVUTF8;
3088
3089     sv_utf8_upgrade(sv);
3090     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3091 }
3092
3093
3094 /*
3095 =for apidoc sv_2bool
3096
3097 This function is only called on magical items, and is only used by
3098 sv_true() or its macro equivalent.
3099
3100 =cut
3101 */
3102
3103 bool
3104 Perl_sv_2bool(pTHX_ register SV *const sv)
3105 {
3106     dVAR;
3107
3108     PERL_ARGS_ASSERT_SV_2BOOL;
3109
3110     SvGETMAGIC(sv);
3111
3112     if (!SvOK(sv))
3113         return 0;
3114     if (SvROK(sv)) {
3115         if (SvAMAGIC(sv)) {
3116             SV * const tmpsv = AMG_CALLun(sv,bool_);
3117             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3118                 return (bool)SvTRUE(tmpsv);
3119         }
3120         return SvRV(sv) != 0;
3121     }
3122     if (SvPOKp(sv)) {
3123         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
3124         if (Xpvtmp &&
3125                 (*sv->sv_u.svu_pv > '0' ||
3126                 Xpvtmp->xpv_cur > 1 ||
3127                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
3128             return 1;
3129         else
3130             return 0;
3131     }
3132     else {
3133         if (SvIOKp(sv))
3134             return SvIVX(sv) != 0;
3135         else {
3136             if (SvNOKp(sv))
3137                 return SvNVX(sv) != 0.0;
3138             else {
3139                 if (isGV_with_GP(sv))
3140                     return TRUE;
3141                 else
3142                     return FALSE;
3143             }
3144         }
3145     }
3146 }
3147
3148 /*
3149 =for apidoc sv_utf8_upgrade
3150
3151 Converts the PV of an SV to its UTF-8-encoded form.
3152 Forces the SV to string form if it is not already.
3153 Will C<mg_get> on C<sv> if appropriate.
3154 Always sets the SvUTF8 flag to avoid future validity checks even
3155 if the whole string is the same in UTF-8 as not.
3156 Returns the number of bytes in the converted string
3157
3158 This is not as a general purpose byte encoding to Unicode interface:
3159 use the Encode extension for that.
3160
3161 =for apidoc sv_utf8_upgrade_nomg
3162
3163 Like sv_utf8_upgrade, but doesn't do magic on C<sv>
3164
3165 =for apidoc sv_utf8_upgrade_flags
3166
3167 Converts the PV of an SV to its UTF-8-encoded form.
3168 Forces the SV to string form if it is not already.
3169 Always sets the SvUTF8 flag to avoid future validity checks even
3170 if all the bytes are invariant in UTF-8. If C<flags> has C<SV_GMAGIC> bit set,
3171 will C<mg_get> on C<sv> if appropriate, else not.
3172 Returns the number of bytes in the converted string
3173 C<sv_utf8_upgrade> and
3174 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3175
3176 This is not as a general purpose byte encoding to Unicode interface:
3177 use the Encode extension for that.
3178
3179 =cut
3180
3181 The grow version is currently not externally documented.  It adds a parameter,
3182 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3183 have free after it upon return.  This allows the caller to reserve extra space
3184 that it intends to fill, to avoid extra grows.
3185
3186 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3187 which can be used to tell this function to not first check to see if there are
3188 any characters that are different in UTF-8 (variant characters) which would
3189 force it to allocate a new string to sv, but to assume there are.  Typically
3190 this flag is used by a routine that has already parsed the string to find that
3191 there are such characters, and passes this information on so that the work
3192 doesn't have to be repeated.
3193
3194 (One might think that the calling routine could pass in the position of the
3195 first such variant, so it wouldn't have to be found again.  But that is not the
3196 case, because typically when the caller is likely to use this flag, it won't be
3197 calling this routine unless it finds something that won't fit into a byte.
3198 Otherwise it tries to not upgrade and just use bytes.  But some things that
3199 do fit into a byte are variants in utf8, and the caller may not have been
3200 keeping track of these.)
3201
3202 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3203 isn't guaranteed due to having other routines do the work in some input cases,
3204 or if the input is already flagged as being in utf8.
3205
3206 The speed of this could perhaps be improved for many cases if someone wanted to
3207 write a fast function that counts the number of variant characters in a string,
3208 especially if it could return the position of the first one.
3209
3210 */
3211
3212 STRLEN
3213 Perl_sv_utf8_upgrade_flags_grow(pTHX_ register SV *const sv, const I32 flags, STRLEN extra)
3214 {
3215     dVAR;
3216
3217     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3218
3219     if (sv == &PL_sv_undef)
3220         return 0;
3221     if (!SvPOK(sv)) {
3222         STRLEN len = 0;
3223         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3224             (void) sv_2pv_flags(sv,&len, flags);
3225             if (SvUTF8(sv)) {
3226                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3227                 return len;
3228             }
3229         } else {
3230             (void) SvPV_force(sv,len);
3231         }
3232     }
3233
3234     if (SvUTF8(sv)) {
3235         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3236         return SvCUR(sv);
3237     }
3238
3239     if (SvIsCOW(sv)) {
3240         sv_force_normal_flags(sv, 0);
3241     }
3242
3243     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3244         sv_recode_to_utf8(sv, PL_encoding);
3245         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3246         return SvCUR(sv);
3247     }
3248
3249     if (SvCUR(sv) == 0) {
3250         if (extra) SvGROW(sv, extra);
3251     } else { /* Assume Latin-1/EBCDIC */
3252         /* This function could be much more efficient if we
3253          * had a FLAG in SVs to signal if there are any variant
3254          * chars in the PV.  Given that there isn't such a flag
3255          * make the loop as fast as possible (although there are certainly ways
3256          * to speed this up, eg. through vectorization) */
3257         U8 * s = (U8 *) SvPVX_const(sv);
3258         U8 * e = (U8 *) SvEND(sv);
3259         U8 *t = s;
3260         STRLEN two_byte_count = 0;
3261         
3262         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3263
3264         /* See if really will need to convert to utf8.  We mustn't rely on our
3265          * incoming SV being well formed and having a trailing '\0', as certain
3266          * code in pp_formline can send us partially built SVs. */
3267
3268         while (t < e) {
3269             const U8 ch = *t++;
3270             if (NATIVE_IS_INVARIANT(ch)) continue;
3271
3272             t--;    /* t already incremented; re-point to first variant */
3273             two_byte_count = 1;
3274             goto must_be_utf8;
3275         }
3276
3277         /* utf8 conversion not needed because all are invariants.  Mark as
3278          * UTF-8 even if no variant - saves scanning loop */
3279         SvUTF8_on(sv);
3280         return SvCUR(sv);
3281
3282 must_be_utf8:
3283
3284         /* Here, the string should be converted to utf8, either because of an
3285          * input flag (two_byte_count = 0), or because a character that
3286          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3287          * the beginning of the string (if we didn't examine anything), or to
3288          * the first variant.  In either case, everything from s to t - 1 will
3289          * occupy only 1 byte each on output.
3290          *
3291          * There are two main ways to convert.  One is to create a new string
3292          * and go through the input starting from the beginning, appending each
3293          * converted value onto the new string as we go along.  It's probably
3294          * best to allocate enough space in the string for the worst possible
3295          * case rather than possibly running out of space and having to
3296          * reallocate and then copy what we've done so far.  Since everything
3297          * from s to t - 1 is invariant, the destination can be initialized
3298          * with these using a fast memory copy
3299          *
3300          * The other way is to figure out exactly how big the string should be
3301          * by parsing the entire input.  Then you don't have to make it big
3302          * enough to handle the worst possible case, and more importantly, if
3303          * the string you already have is large enough, you don't have to
3304          * allocate a new string, you can copy the last character in the input
3305          * string to the final position(s) that will be occupied by the
3306          * converted string and go backwards, stopping at t, since everything
3307          * before that is invariant.
3308          *
3309          * There are advantages and disadvantages to each method.
3310          *
3311          * In the first method, we can allocate a new string, do the memory
3312          * copy from the s to t - 1, and then proceed through the rest of the
3313          * string byte-by-byte.
3314          *
3315          * In the second method, we proceed through the rest of the input
3316          * string just calculating how big the converted string will be.  Then
3317          * there are two cases:
3318          *  1)  if the string has enough extra space to handle the converted
3319          *      value.  We go backwards through the string, converting until we
3320          *      get to the position we are at now, and then stop.  If this
3321          *      position is far enough along in the string, this method is
3322          *      faster than the other method.  If the memory copy were the same
3323          *      speed as the byte-by-byte loop, that position would be about
3324          *      half-way, as at the half-way mark, parsing to the end and back
3325          *      is one complete string's parse, the same amount as starting
3326          *      over and going all the way through.  Actually, it would be
3327          *      somewhat less than half-way, as it's faster to just count bytes
3328          *      than to also copy, and we don't have the overhead of allocating
3329          *      a new string, changing the scalar to use it, and freeing the
3330          *      existing one.  But if the memory copy is fast, the break-even
3331          *      point is somewhere after half way.  The counting loop could be
3332          *      sped up by vectorization, etc, to move the break-even point
3333          *      further towards the beginning.
3334          *  2)  if the string doesn't have enough space to handle the converted
3335          *      value.  A new string will have to be allocated, and one might
3336          *      as well, given that, start from the beginning doing the first
3337          *      method.  We've spent extra time parsing the string and in
3338          *      exchange all we've gotten is that we know precisely how big to
3339          *      make the new one.  Perl is more optimized for time than space,
3340          *      so this case is a loser.
3341          * So what I've decided to do is not use the 2nd method unless it is
3342          * guaranteed that a new string won't have to be allocated, assuming
3343          * the worst case.  I also decided not to put any more conditions on it
3344          * than this, for now.  It seems likely that, since the worst case is
3345          * twice as big as the unknown portion of the string (plus 1), we won't
3346          * be guaranteed enough space, causing us to go to the first method,
3347          * unless the string is short, or the first variant character is near
3348          * the end of it.  In either of these cases, it seems best to use the
3349          * 2nd method.  The only circumstance I can think of where this would
3350          * be really slower is if the string had once had much more data in it
3351          * than it does now, but there is still a substantial amount in it  */
3352
3353         {
3354             STRLEN invariant_head = t - s;
3355             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3356             if (SvLEN(sv) < size) {
3357
3358                 /* Here, have decided to allocate a new string */
3359
3360                 U8 *dst;
3361                 U8 *d;
3362
3363                 Newx(dst, size, U8);
3364
3365                 /* If no known invariants at the beginning of the input string,
3366                  * set so starts from there.  Otherwise, can use memory copy to
3367                  * get up to where we are now, and then start from here */
3368
3369                 if (invariant_head <= 0) {
3370                     d = dst;
3371                 } else {
3372                     Copy(s, dst, invariant_head, char);
3373                     d = dst + invariant_head;
3374                 }
3375
3376                 while (t < e) {
3377                     const UV uv = NATIVE8_TO_UNI(*t++);
3378                     if (UNI_IS_INVARIANT(uv))
3379                         *d++ = (U8)UNI_TO_NATIVE(uv);
3380                     else {
3381                         *d++ = (U8)UTF8_EIGHT_BIT_HI(uv);
3382                         *d++ = (U8)UTF8_EIGHT_BIT_LO(uv);
3383                     }
3384                 }
3385                 *d = '\0';
3386                 SvPV_free(sv); /* No longer using pre-existing string */
3387                 SvPV_set(sv, (char*)dst);
3388                 SvCUR_set(sv, d - dst);
3389                 SvLEN_set(sv, size);
3390             } else {
3391
3392                 /* Here, have decided to get the exact size of the string.
3393                  * Currently this happens only when we know that there is
3394                  * guaranteed enough space to fit the converted string, so
3395                  * don't have to worry about growing.  If two_byte_count is 0,
3396                  * then t points to the first byte of the string which hasn't
3397                  * been examined yet.  Otherwise two_byte_count is 1, and t
3398                  * points to the first byte in the string that will expand to
3399                  * two.  Depending on this, start examining at t or 1 after t.
3400                  * */
3401
3402                 U8 *d = t + two_byte_count;
3403
3404
3405                 /* Count up the remaining bytes that expand to two */
3406
3407                 while (d < e) {
3408                     const U8 chr = *d++;
3409                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3410                 }
3411
3412                 /* The string will expand by just the number of bytes that
3413                  * occupy two positions.  But we are one afterwards because of
3414                  * the increment just above.  This is the place to put the
3415                  * trailing NUL, and to set the length before we decrement */
3416
3417                 d += two_byte_count;
3418                 SvCUR_set(sv, d - s);
3419                 *d-- = '\0';
3420
3421
3422                 /* Having decremented d, it points to the position to put the
3423                  * very last byte of the expanded string.  Go backwards through
3424                  * the string, copying and expanding as we go, stopping when we
3425                  * get to the part that is invariant the rest of the way down */
3426
3427                 e--;
3428                 while (e >= t) {
3429                     const U8 ch = NATIVE8_TO_UNI(*e--);
3430                     if (UNI_IS_INVARIANT(ch)) {
3431                         *d-- = UNI_TO_NATIVE(ch);
3432                     } else {
3433                         *d-- = (U8)UTF8_EIGHT_BIT_LO(ch);
3434                         *d-- = (U8)UTF8_EIGHT_BIT_HI(ch);
3435                     }
3436                 }
3437             }
3438         }
3439     }
3440
3441     /* Mark as UTF-8 even if no variant - saves scanning loop */
3442     SvUTF8_on(sv);
3443     return SvCUR(sv);
3444 }
3445
3446 /*
3447 =for apidoc sv_utf8_downgrade
3448
3449 Attempts to convert the PV of an SV from characters to bytes.
3450 If the PV contains a character that cannot fit
3451 in a byte, this conversion will fail;
3452 in this case, either returns false or, if C<fail_ok> is not
3453 true, croaks.
3454
3455 This is not as a general purpose Unicode to byte encoding interface:
3456 use the Encode extension for that.
3457
3458 =cut
3459 */
3460
3461 bool
3462 Perl_sv_utf8_downgrade(pTHX_ register SV *const sv, const bool fail_ok)
3463 {
3464     dVAR;
3465
3466     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3467
3468     if (SvPOKp(sv) && SvUTF8(sv)) {
3469         if (SvCUR(sv)) {
3470             U8 *s;
3471             STRLEN len;
3472
3473             if (SvIsCOW(sv)) {
3474                 sv_force_normal_flags(sv, 0);
3475             }
3476             s = (U8 *) SvPV(sv, len);
3477             if (!utf8_to_bytes(s, &len)) {
3478                 if (fail_ok)
3479                     return FALSE;
3480                 else {
3481                     if (PL_op)
3482                         Perl_croak(aTHX_ "Wide character in %s",
3483                                    OP_DESC(PL_op));
3484                     else
3485                         Perl_croak(aTHX_ "Wide character");
3486                 }
3487             }
3488             SvCUR_set(sv, len);
3489         }
3490     }
3491     SvUTF8_off(sv);
3492     return TRUE;
3493 }
3494
3495 /*
3496 =for apidoc sv_utf8_encode
3497
3498 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3499 flag off so that it looks like octets again.
3500
3501 =cut
3502 */
3503
3504 void
3505 Perl_sv_utf8_encode(pTHX_ register SV *const sv)
3506 {
3507     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3508
3509     if (SvIsCOW(sv)) {
3510         sv_force_normal_flags(sv, 0);
3511     }
3512     if (SvREADONLY(sv)) {
3513         Perl_croak(aTHX_ "%s", PL_no_modify);
3514     }
3515     (void) sv_utf8_upgrade(sv);
3516     SvUTF8_off(sv);
3517 }
3518
3519 /*
3520 =for apidoc sv_utf8_decode
3521
3522 If the PV of the SV is an octet sequence in UTF-8
3523 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3524 so that it looks like a character. If the PV contains only single-byte
3525 characters, the C<SvUTF8> flag stays being off.
3526 Scans PV for validity and returns false if the PV is invalid UTF-8.
3527
3528 =cut
3529 */
3530
3531 bool
3532 Perl_sv_utf8_decode(pTHX_ register SV *const sv)
3533 {
3534     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3535
3536     if (SvPOKp(sv)) {
3537         const U8 *c;
3538         const U8 *e;
3539
3540         /* The octets may have got themselves encoded - get them back as
3541          * bytes
3542          */
3543         if (!sv_utf8_downgrade(sv, TRUE))
3544             return FALSE;
3545
3546         /* it is actually just a matter of turning the utf8 flag on, but
3547          * we want to make sure everything inside is valid utf8 first.
3548          */
3549         c = (const U8 *) SvPVX_const(sv);
3550         if (!is_utf8_string(c, SvCUR(sv)+1))
3551             return FALSE;
3552         e = (const U8 *) SvEND(sv);
3553         while (c < e) {
3554             const U8 ch = *c++;
3555             if (!UTF8_IS_INVARIANT(ch)) {
3556                 SvUTF8_on(sv);
3557                 break;
3558             }
3559         }
3560     }
3561     return TRUE;
3562 }
3563
3564 /*
3565 =for apidoc sv_setsv
3566
3567 Copies the contents of the source SV C<ssv> into the destination SV
3568 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3569 function if the source SV needs to be reused. Does not handle 'set' magic.
3570 Loosely speaking, it performs a copy-by-value, obliterating any previous
3571 content of the destination.
3572
3573 You probably want to use one of the assortment of wrappers, such as
3574 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3575 C<SvSetMagicSV_nosteal>.
3576
3577 =for apidoc sv_setsv_flags
3578
3579 Copies the contents of the source SV C<ssv> into the destination SV
3580 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3581 function if the source SV needs to be reused. Does not handle 'set' magic.
3582 Loosely speaking, it performs a copy-by-value, obliterating any previous
3583 content of the destination.
3584 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3585 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3586 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3587 and C<sv_setsv_nomg> are implemented in terms of this function.
3588
3589 You probably want to use one of the assortment of wrappers, such as
3590 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3591 C<SvSetMagicSV_nosteal>.
3592
3593 This is the primary function for copying scalars, and most other
3594 copy-ish functions and macros use this underneath.
3595
3596 =cut
3597 */
3598
3599 static void
3600 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3601 {
3602     I32 mro_changes = 0; /* 1 = method, 2 = isa */
3603
3604     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3605
3606     if (dtype != SVt_PVGV) {
3607         const char * const name = GvNAME(sstr);
3608         const STRLEN len = GvNAMELEN(sstr);
3609         {
3610             if (dtype >= SVt_PV) {
3611                 SvPV_free(dstr);
3612                 SvPV_set(dstr, 0);
3613                 SvLEN_set(dstr, 0);
3614                 SvCUR_set(dstr, 0);
3615             }
3616             SvUPGRADE(dstr, SVt_PVGV);
3617             (void)SvOK_off(dstr);
3618             /* FIXME - why are we doing this, then turning it off and on again
3619                below?  */
3620             isGV_with_GP_on(dstr);
3621         }
3622         GvSTASH(dstr) = GvSTASH(sstr);
3623         if (GvSTASH(dstr))
3624             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3625         gv_name_set(MUTABLE_GV(dstr), name, len, GV_ADD);
3626         SvFAKE_on(dstr);        /* can coerce to non-glob */
3627     }
3628
3629     if(GvGP(MUTABLE_GV(sstr))) {
3630         /* If source has method cache entry, clear it */
3631         if(GvCVGEN(sstr)) {
3632             SvREFCNT_dec(GvCV(sstr));
3633             GvCV(sstr) = NULL;
3634             GvCVGEN(sstr) = 0;
3635         }
3636         /* If source has a real method, then a method is
3637            going to change */
3638         else if(GvCV((const GV *)sstr)) {
3639             mro_changes = 1;
3640         }
3641     }
3642
3643     /* If dest already had a real method, that's a change as well */
3644     if(!mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)) {
3645         mro_changes = 1;
3646     }
3647
3648     if(strEQ(GvNAME((const GV *)dstr),"ISA"))
3649         mro_changes = 2;
3650
3651     gp_free(MUTABLE_GV(dstr));
3652     isGV_with_GP_off(dstr);
3653     (void)SvOK_off(dstr);
3654     isGV_with_GP_on(dstr);
3655     GvINTRO_off(dstr);          /* one-shot flag */
3656     GvGP(dstr) = gp_ref(GvGP(sstr));
3657     if (SvTAINTED(sstr))
3658         SvTAINT(dstr);
3659     if (GvIMPORTED(dstr) != GVf_IMPORTED
3660         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3661         {
3662             GvIMPORTED_on(dstr);
3663         }
3664     GvMULTI_on(dstr);
3665     if(mro_changes == 2) mro_isa_changed_in(GvSTASH(dstr));
3666     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3667     return;
3668 }
3669
3670 static void
3671 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3672 {
3673     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3674     SV *dref = NULL;
3675     const int intro = GvINTRO(dstr);
3676     SV **location;
3677     U8 import_flag = 0;
3678     const U32 stype = SvTYPE(sref);
3679     bool mro_changes = FALSE;
3680
3681     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3682
3683     if (intro) {
3684         GvINTRO_off(dstr);      /* one-shot flag */
3685         GvLINE(dstr) = CopLINE(PL_curcop);
3686         GvEGV(dstr) = MUTABLE_GV(dstr);
3687     }
3688     GvMULTI_on(dstr);
3689     switch (stype) {
3690     case SVt_PVCV:
3691         location = (SV **) &GvCV(dstr);
3692         import_flag = GVf_IMPORTED_CV;
3693         goto common;
3694     case SVt_PVHV:
3695         location = (SV **) &GvHV(dstr);
3696         import_flag = GVf_IMPORTED_HV;
3697         goto common;
3698     case SVt_PVAV:
3699         location = (SV **) &GvAV(dstr);
3700         if (strEQ(GvNAME((GV*)dstr), "ISA"))
3701             mro_changes = TRUE;
3702         import_flag = GVf_IMPORTED_AV;
3703         goto common;
3704     case SVt_PVIO:
3705         location = (SV **) &GvIOp(dstr);
3706         goto common;
3707     case SVt_PVFM:
3708         location = (SV **) &GvFORM(dstr);
3709         goto common;
3710     default:
3711         location = &GvSV(dstr);
3712         import_flag = GVf_IMPORTED_SV;
3713     common:
3714         if (intro) {
3715             if (stype == SVt_PVCV) {
3716                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3717                 if (GvCVGEN(dstr)) {
3718                     SvREFCNT_dec(GvCV(dstr));
3719                     GvCV(dstr) = NULL;
3720                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3721                 }
3722             }
3723             SAVEGENERICSV(*location);
3724         }
3725         else
3726             dref = *location;
3727         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3728             CV* const cv = MUTABLE_CV(*location);
3729             if (cv) {
3730                 if (!GvCVGEN((const GV *)dstr) &&
3731                     (CvROOT(cv) || CvXSUB(cv)))
3732                     {
3733                         /* Redefining a sub - warning is mandatory if
3734                            it was a const and its value changed. */
3735                         if (CvCONST(cv) && CvCONST((const CV *)sref)
3736                             && cv_const_sv(cv)
3737                             == cv_const_sv((const CV *)sref)) {
3738                             NOOP;
3739                             /* They are 2 constant subroutines generated from
3740                                the same constant. This probably means that
3741                                they are really the "same" proxy subroutine
3742                                instantiated in 2 places. Most likely this is
3743                                when a constant is exported twice.  Don't warn.
3744                             */
3745                         }
3746                         else if (ckWARN(WARN_REDEFINE)
3747                                  || (CvCONST(cv)
3748                                      && (!CvCONST((const CV *)sref)
3749                                          || sv_cmp(cv_const_sv(cv),
3750                                                    cv_const_sv((const CV *)
3751                                                                sref))))) {
3752                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3753                                         (const char *)
3754                                         (CvCONST(cv)
3755                                          ? "Constant subroutine %s::%s redefined"
3756                                          : "Subroutine %s::%s redefined"),
3757                                         HvNAME_get(GvSTASH((const GV *)dstr)),
3758                                         GvENAME(MUTABLE_GV(dstr)));
3759                         }
3760                     }
3761                 if (!intro)
3762                     cv_ckproto_len(cv, (const GV *)dstr,
3763                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3764                                    SvPOK(sref) ? SvCUR(sref) : 0);
3765             }
3766             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3767             GvASSUMECV_on(dstr);
3768             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3769         }
3770         *location = sref;
3771         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3772             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3773             GvFLAGS(dstr) |= import_flag;
3774         }
3775         break;
3776     }
3777     SvREFCNT_dec(dref);
3778     if (SvTAINTED(sstr))
3779         SvTAINT(dstr);
3780     if (mro_changes) mro_isa_changed_in(GvSTASH(dstr));
3781     return;
3782 }
3783
3784 void
3785 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV* sstr, const I32 flags)
3786 {
3787     dVAR;
3788     register U32 sflags;
3789     register int dtype;
3790     register svtype stype;
3791
3792     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3793
3794     if (sstr == dstr)
3795         return;
3796
3797     if (SvIS_FREED(dstr)) {
3798         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3799                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3800     }
3801     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3802     if (!sstr)
3803         sstr = &PL_sv_undef;
3804     if (SvIS_FREED(sstr)) {
3805         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3806                    (void*)sstr, (void*)dstr);
3807     }
3808     stype = SvTYPE(sstr);
3809     dtype = SvTYPE(dstr);
3810
3811     (void)SvAMAGIC_off(dstr);
3812     if ( SvVOK(dstr) )
3813     {
3814         /* need to nuke the magic */
3815         mg_free(dstr);
3816     }
3817
3818     /* There's a lot of redundancy below but we're going for speed here */
3819
3820     switch (stype) {
3821     case SVt_NULL:
3822       undef_sstr:
3823         if (dtype != SVt_PVGV) {
3824             (void)SvOK_off(dstr);
3825             return;
3826         }
3827         break;
3828     case SVt_IV:
3829         if (SvIOK(sstr)) {
3830             switch (dtype) {
3831             case SVt_NULL:
3832                 sv_upgrade(dstr, SVt_IV);
3833                 break;
3834             case SVt_NV:
3835             case SVt_PV:
3836                 sv_upgrade(dstr, SVt_PVIV);
3837                 break;
3838             case SVt_PVGV:
3839                 goto end_of_first_switch;
3840             }
3841             (void)SvIOK_only(dstr);
3842             SvIV_set(dstr,  SvIVX(sstr));
3843             if (SvIsUV(sstr))
3844                 SvIsUV_on(dstr);
3845             /* SvTAINTED can only be true if the SV has taint magic, which in
3846                turn means that the SV type is PVMG (or greater). This is the
3847                case statement for SVt_IV, so this cannot be true (whatever gcov
3848                may say).  */
3849             assert(!SvTAINTED(sstr));
3850             return;
3851         }
3852         if (!SvROK(sstr))
3853             goto undef_sstr;
3854         if (dtype < SVt_PV && dtype != SVt_IV)
3855             sv_upgrade(dstr, SVt_IV);
3856         break;
3857
3858     case SVt_NV:
3859         if (SvNOK(sstr)) {
3860             switch (dtype) {
3861             case SVt_NULL:
3862             case SVt_IV:
3863                 sv_upgrade(dstr, SVt_NV);
3864                 break;
3865             case SVt_PV:
3866             case SVt_PVIV:
3867                 sv_upgrade(dstr, SVt_PVNV);
3868                 break;
3869             case SVt_PVGV:
3870                 goto end_of_first_switch;
3871             }
3872             SvNV_set(dstr, SvNVX(sstr));
3873             (void)SvNOK_only(dstr);
3874             /* SvTAINTED can only be true if the SV has taint magic, which in
3875                turn means that the SV type is PVMG (or greater). This is the
3876                case statement for SVt_NV, so this cannot be true (whatever gcov
3877                may say).  */
3878             assert(!SvTAINTED(sstr));
3879             return;
3880         }
3881         goto undef_sstr;
3882
3883     case SVt_PVFM:
3884 #ifdef PERL_OLD_COPY_ON_WRITE
3885         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3886             if (dtype < SVt_PVIV)
3887                 sv_upgrade(dstr, SVt_PVIV);
3888             break;
3889         }
3890         /* Fall through */
3891 #endif
3892     case SVt_PV:
3893         if (dtype < SVt_PV)
3894             sv_upgrade(dstr, SVt_PV);
3895         break;
3896     case SVt_PVIV:
3897         if (dtype < SVt_PVIV)
3898             sv_upgrade(dstr, SVt_PVIV);
3899         break;
3900     case SVt_PVNV:
3901         if (dtype < SVt_PVNV)
3902             sv_upgrade(dstr, SVt_PVNV);
3903         break;
3904     default:
3905         {
3906         const char * const type = sv_reftype(sstr,0);
3907         if (PL_op)
3908             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3909         else
3910             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3911         }
3912         break;
3913
3914     case SVt_REGEXP:
3915         if (dtype < SVt_REGEXP)
3916             sv_upgrade(dstr, SVt_REGEXP);
3917         break;
3918
3919         /* case SVt_BIND: */
3920     case SVt_PVLV:
3921     case SVt_PVGV:
3922         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3923             glob_assign_glob(dstr, sstr, dtype);
3924             return;
3925         }
3926         /* SvVALID means that this PVGV is playing at being an FBM.  */
3927         /*FALLTHROUGH*/
3928
3929     case SVt_PVMG:
3930         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3931             mg_get(sstr);
3932             if (SvTYPE(sstr) != stype) {
3933                 stype = SvTYPE(sstr);
3934                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3935                     glob_assign_glob(dstr, sstr, dtype);
3936                     return;
3937                 }
3938             }
3939         }
3940         if (stype == SVt_PVLV)
3941             SvUPGRADE(dstr, SVt_PVNV);
3942         else
3943             SvUPGRADE(dstr, (svtype)stype);
3944     }
3945  end_of_first_switch:
3946
3947     /* dstr may have been upgraded.  */
3948     dtype = SvTYPE(dstr);
3949     sflags = SvFLAGS(sstr);
3950
3951     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
3952         /* Assigning to a subroutine sets the prototype.  */
3953         if (SvOK(sstr)) {
3954             STRLEN len;
3955             const char *const ptr = SvPV_const(sstr, len);
3956
3957             SvGROW(dstr, len + 1);
3958             Copy(ptr, SvPVX(dstr), len + 1, char);
3959             SvCUR_set(dstr, len);
3960             SvPOK_only(dstr);
3961             SvFLAGS(dstr) |= sflags & SVf_UTF8;
3962         } else {
3963             SvOK_off(dstr);
3964         }
3965     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
3966         const char * const type = sv_reftype(dstr,0);
3967         if (PL_op)
3968             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_NAME(PL_op));
3969         else
3970             Perl_croak(aTHX_ "Cannot copy to %s", type);
3971     } else if (sflags & SVf_ROK) {
3972         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3973             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
3974             sstr = SvRV(sstr);
3975             if (sstr == dstr) {
3976                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3977                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3978                 {
3979                     GvIMPORTED_on(dstr);
3980                 }
3981                 GvMULTI_on(dstr);
3982                 return;
3983             }
3984             glob_assign_glob(dstr, sstr, dtype);
3985             return;
3986         }
3987
3988         if (dtype >= SVt_PV) {
3989             if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3990                 glob_assign_ref(dstr, sstr);
3991                 return;
3992             }
3993             if (SvPVX_const(dstr)) {
3994                 SvPV_free(dstr);
3995                 SvLEN_set(dstr, 0);
3996                 SvCUR_set(dstr, 0);
3997             }
3998         }
3999         (void)SvOK_off(dstr);
4000         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4001         SvFLAGS(dstr) |= sflags & SVf_ROK;
4002         assert(!(sflags & SVp_NOK));
4003         assert(!(sflags & SVp_IOK));
4004         assert(!(sflags & SVf_NOK));
4005         assert(!(sflags & SVf_IOK));
4006     }
4007     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
4008         if (!(sflags & SVf_OK)) {
4009             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4010                            "Undefined value assigned to typeglob");
4011         }
4012         else {
4013             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
4014             if (dstr != (const SV *)gv) {
4015                 if (GvGP(dstr))
4016                     gp_free(MUTABLE_GV(dstr));
4017                 GvGP(dstr) = gp_ref(GvGP(gv));
4018             }
4019         }
4020     }
4021     else if (dtype == SVt_REGEXP && stype == SVt_REGEXP) {
4022         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4023     }
4024     else if (sflags & SVp_POK) {
4025         bool isSwipe = 0;
4026
4027         /*
4028          * Check to see if we can just swipe the string.  If so, it's a
4029          * possible small lose on short strings, but a big win on long ones.
4030          * It might even be a win on short strings if SvPVX_const(dstr)
4031          * has to be allocated and SvPVX_const(sstr) has to be freed.
4032          * Likewise if we can set up COW rather than doing an actual copy, we
4033          * drop to the else clause, as the swipe code and the COW setup code
4034          * have much in common.
4035          */
4036
4037         /* Whichever path we take through the next code, we want this true,
4038            and doing it now facilitates the COW check.  */
4039         (void)SvPOK_only(dstr);
4040
4041         if (
4042             /* If we're already COW then this clause is not true, and if COW
4043                is allowed then we drop down to the else and make dest COW 
4044                with us.  If caller hasn't said that we're allowed to COW
4045                shared hash keys then we don't do the COW setup, even if the
4046                source scalar is a shared hash key scalar.  */
4047             (((flags & SV_COW_SHARED_HASH_KEYS)
4048                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
4049                : 1 /* If making a COW copy is forbidden then the behaviour we
4050                        desire is as if the source SV isn't actually already
4051                        COW, even if it is.  So we act as if the source flags
4052                        are not COW, rather than actually testing them.  */
4053               )
4054 #ifndef PERL_OLD_COPY_ON_WRITE
4055              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4056                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4057                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4058                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4059                 but in turn, it's somewhat dead code, never expected to go
4060                 live, but more kept as a placeholder on how to do it better
4061                 in a newer implementation.  */
4062              /* If we are COW and dstr is a suitable target then we drop down
4063                 into the else and make dest a COW of us.  */
4064              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
4065 #endif
4066              )
4067             &&
4068             !(isSwipe =
4069                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4070                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4071                  (!(flags & SV_NOSTEAL)) &&
4072                                         /* and we're allowed to steal temps */
4073                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4074                  SvLEN(sstr)    &&        /* and really is a string */
4075                                 /* and won't be needed again, potentially */
4076               !(PL_op && PL_op->op_type == OP_AASSIGN))
4077 #ifdef PERL_OLD_COPY_ON_WRITE
4078             && ((flags & SV_COW_SHARED_HASH_KEYS)
4079                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4080                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4081                      && SvTYPE(sstr) >= SVt_PVIV && SvTYPE(sstr) != SVt_PVFM))
4082                 : 1)
4083 #endif
4084             ) {
4085             /* Failed the swipe test, and it's not a shared hash key either.
4086                Have to copy the string.  */
4087             STRLEN len = SvCUR(sstr);
4088             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
4089             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
4090             SvCUR_set(dstr, len);
4091             *SvEND(dstr) = '\0';
4092         } else {
4093             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4094                be true in here.  */
4095             /* Either it's a shared hash key, or it's suitable for
4096                copy-on-write or we can swipe the string.  */
4097             if (DEBUG_C_TEST) {
4098                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4099                 sv_dump(sstr);
4100                 sv_dump(dstr);
4101             }
4102 #ifdef PERL_OLD_COPY_ON_WRITE
4103             if (!isSwipe) {
4104                 if ((sflags & (SVf_FAKE | SVf_READONLY))
4105                     != (SVf_FAKE | SVf_READONLY)) {
4106                     SvREADONLY_on(sstr);
4107                     SvFAKE_on(sstr);
4108                     /* Make the source SV into a loop of 1.
4109                        (about to become 2) */
4110                     SV_COW_NEXT_SV_SET(sstr, sstr);
4111                 }
4112             }
4113 #endif
4114             /* Initial code is common.  */
4115             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4116                 SvPV_free(dstr);
4117             }
4118
4119             if (!isSwipe) {
4120                 /* making another shared SV.  */
4121                 STRLEN cur = SvCUR(sstr);
4122                 STRLEN len = SvLEN(sstr);
4123 #ifdef PERL_OLD_COPY_ON_WRITE
4124                 if (len) {
4125                     assert (SvTYPE(dstr) >= SVt_PVIV);
4126                     /* SvIsCOW_normal */
4127                     /* splice us in between source and next-after-source.  */
4128                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4129                     SV_COW_NEXT_SV_SET(sstr, dstr);
4130                     SvPV_set(dstr, SvPVX_mutable(sstr));
4131                 } else
4132 #endif
4133                 {
4134                     /* SvIsCOW_shared_hash */
4135                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4136                                           "Copy on write: Sharing hash\n"));
4137
4138                     assert (SvTYPE(dstr) >= SVt_PV);
4139                     SvPV_set(dstr,
4140                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4141                 }
4142                 SvLEN_set(dstr, len);
4143                 SvCUR_set(dstr, cur);
4144                 SvREADONLY_on(dstr);
4145                 SvFAKE_on(dstr);
4146             }
4147             else
4148                 {       /* Passes the swipe test.  */
4149                 SvPV_set(dstr, SvPVX_mutable(sstr));
4150                 SvLEN_set(dstr, SvLEN(sstr));
4151                 SvCUR_set(dstr, SvCUR(sstr));
4152
4153                 SvTEMP_off(dstr);
4154                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4155                 SvPV_set(sstr, NULL);
4156                 SvLEN_set(sstr, 0);
4157                 SvCUR_set(sstr, 0);
4158                 SvTEMP_off(sstr);
4159             }
4160         }
4161         if (sflags & SVp_NOK) {
4162             SvNV_set(dstr, SvNVX(sstr));
4163         }
4164         if (sflags & SVp_IOK) {
4165             SvIV_set(dstr, SvIVX(sstr));
4166             /* Must do this otherwise some other overloaded use of 0x80000000
4167                gets confused. I guess SVpbm_VALID */
4168             if (sflags & SVf_IVisUV)
4169                 SvIsUV_on(dstr);
4170         }
4171         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4172         {
4173             const MAGIC * const smg = SvVSTRING_mg(sstr);
4174             if (smg) {
4175                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4176                          smg->mg_ptr, smg->mg_len);
4177                 SvRMAGICAL_on(dstr);
4178             }
4179         }
4180     }
4181     else if (sflags & (SVp_IOK|SVp_NOK)) {
4182         (void)SvOK_off(dstr);
4183         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4184         if (sflags & SVp_IOK) {
4185             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4186             SvIV_set(dstr, SvIVX(sstr));
4187         }
4188         if (sflags & SVp_NOK) {
4189             SvNV_set(dstr, SvNVX(sstr));
4190         }
4191     }
4192     else {
4193         if (isGV_with_GP(sstr)) {
4194             /* This stringification rule for globs is spread in 3 places.
4195                This feels bad. FIXME.  */
4196             const U32 wasfake = sflags & SVf_FAKE;
4197
4198             /* FAKE globs can get coerced, so need to turn this off
4199                temporarily if it is on.  */
4200             SvFAKE_off(sstr);
4201             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4202             SvFLAGS(sstr) |= wasfake;
4203         }
4204         else
4205             (void)SvOK_off(dstr);
4206     }
4207     if (SvTAINTED(sstr))
4208         SvTAINT(dstr);
4209 }
4210
4211 /*
4212 =for apidoc sv_setsv_mg
4213
4214 Like C<sv_setsv>, but also handles 'set' magic.
4215
4216 =cut
4217 */
4218
4219 void
4220 Perl_sv_setsv_mg(pTHX_ SV *const dstr, register SV *const sstr)
4221 {
4222     PERL_ARGS_ASSERT_SV_SETSV_MG;
4223
4224     sv_setsv(dstr,sstr);
4225     SvSETMAGIC(dstr);
4226 }
4227
4228 #ifdef PERL_OLD_COPY_ON_WRITE
4229 SV *
4230 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4231 {
4232     STRLEN cur = SvCUR(sstr);
4233     STRLEN len = SvLEN(sstr);
4234     register char *new_pv;
4235
4236     PERL_ARGS_ASSERT_SV_SETSV_COW;
4237
4238     if (DEBUG_C_TEST) {
4239         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4240                       (void*)sstr, (void*)dstr);
4241         sv_dump(sstr);
4242         if (dstr)
4243                     sv_dump(dstr);
4244     }
4245
4246     if (dstr) {
4247         if (SvTHINKFIRST(dstr))
4248             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4249         else if (SvPVX_const(dstr))
4250             Safefree(SvPVX_const(dstr));
4251     }
4252     else
4253         new_SV(dstr);
4254     SvUPGRADE(dstr, SVt_PVIV);
4255
4256     assert (SvPOK(sstr));
4257     assert (SvPOKp(sstr));
4258     assert (!SvIOK(sstr));
4259     assert (!SvIOKp(sstr));
4260     assert (!SvNOK(sstr));
4261     assert (!SvNOKp(sstr));
4262
4263     if (SvIsCOW(sstr)) {
4264
4265         if (SvLEN(sstr) == 0) {
4266             /* source is a COW shared hash key.  */
4267             DEBUG_C(PerlIO_printf(Perl_debug_log,
4268                                   "Fast copy on write: Sharing hash\n"));
4269             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4270             goto common_exit;
4271         }
4272         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4273     } else {
4274         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4275         SvUPGRADE(sstr, SVt_PVIV);
4276         SvREADONLY_on(sstr);
4277         SvFAKE_on(sstr);
4278         DEBUG_C(PerlIO_printf(Perl_debug_log,
4279                               "Fast copy on write: Converting sstr to COW\n"));
4280         SV_COW_NEXT_SV_SET(dstr, sstr);
4281     }
4282     SV_COW_NEXT_SV_SET(sstr, dstr);
4283     new_pv = SvPVX_mutable(sstr);
4284
4285   common_exit:
4286     SvPV_set(dstr, new_pv);
4287     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
4288     if (SvUTF8(sstr))
4289         SvUTF8_on(dstr);
4290     SvLEN_set(dstr, len);
4291     SvCUR_set(dstr, cur);
4292     if (DEBUG_C_TEST) {
4293         sv_dump(dstr);
4294     }
4295     return dstr;
4296 }
4297 #endif
4298
4299 /*
4300 =for apidoc sv_setpvn
4301
4302 Copies a string into an SV.  The C<len> parameter indicates the number of
4303 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4304 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4305
4306 =cut
4307 */
4308
4309 void
4310 Perl_sv_setpvn(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4311 {
4312     dVAR;
4313     register char *dptr;
4314
4315     PERL_ARGS_ASSERT_SV_SETPVN;
4316
4317     SV_CHECK_THINKFIRST_COW_DROP(sv);
4318     if (!ptr) {
4319         (void)SvOK_off(sv);
4320         return;
4321     }
4322     else {
4323         /* len is STRLEN which is unsigned, need to copy to signed */
4324         const IV iv = len;
4325         if (iv < 0)
4326             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
4327     }
4328     SvUPGRADE(sv, SVt_PV);
4329
4330     dptr = SvGROW(sv, len + 1);
4331     Move(ptr,dptr,len,char);
4332     dptr[len] = '\0';
4333     SvCUR_set(sv, len);
4334     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4335     SvTAINT(sv);
4336 }
4337
4338 /*
4339 =for apidoc sv_setpvn_mg
4340
4341 Like C<sv_setpvn>, but also handles 'set' magic.
4342
4343 =cut
4344 */
4345
4346 void
4347 Perl_sv_setpvn_mg(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4348 {
4349     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4350
4351     sv_setpvn(sv,ptr,len);
4352     SvSETMAGIC(sv);
4353 }
4354
4355 /*
4356 =for apidoc sv_setpv
4357
4358 Copies a string into an SV.  The string must be null-terminated.  Does not
4359 handle 'set' magic.  See C<sv_setpv_mg>.
4360
4361 =cut
4362 */
4363
4364 void
4365 Perl_sv_setpv(pTHX_ register SV *const sv, register const char *const ptr)
4366 {
4367     dVAR;
4368     register STRLEN len;
4369
4370     PERL_ARGS_ASSERT_SV_SETPV;
4371
4372     SV_CHECK_THINKFIRST_COW_DROP(sv);
4373     if (!ptr) {
4374         (void)SvOK_off(sv);
4375         return;
4376     }
4377     len = strlen(ptr);
4378     SvUPGRADE(sv, SVt_PV);
4379
4380     SvGROW(sv, len + 1);
4381     Move(ptr,SvPVX(sv),len+1,char);
4382     SvCUR_set(sv, len);
4383     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4384     SvTAINT(sv);
4385 }
4386
4387 /*
4388 =for apidoc sv_setpv_mg
4389
4390 Like C<sv_setpv>, but also handles 'set' magic.
4391
4392 =cut
4393 */
4394
4395 void
4396 Perl_sv_setpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4397 {
4398     PERL_ARGS_ASSERT_SV_SETPV_MG;
4399
4400     sv_setpv(sv,ptr);
4401     SvSETMAGIC(sv);
4402 }
4403
4404 /*
4405 =for apidoc sv_usepvn_flags
4406
4407 Tells an SV to use C<ptr> to find its string value.  Normally the
4408 string is stored inside the SV but sv_usepvn allows the SV to use an
4409 outside string.  The C<ptr> should point to memory that was allocated
4410 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4411 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4412 so that pointer should not be freed or used by the programmer after
4413 giving it to sv_usepvn, and neither should any pointers from "behind"
4414 that pointer (e.g. ptr + 1) be used.
4415
4416 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4417 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4418 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4419 C<len>, and already meets the requirements for storing in C<SvPVX>)
4420
4421 =cut
4422 */
4423
4424 void
4425 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
4426 {
4427     dVAR;
4428     STRLEN allocate;
4429
4430     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
4431
4432     SV_CHECK_THINKFIRST_COW_DROP(sv);
4433     SvUPGRADE(sv, SVt_PV);
4434     if (!ptr) {
4435         (void)SvOK_off(sv);
4436         if (flags & SV_SMAGIC)
4437             SvSETMAGIC(sv);
4438         return;
4439     }
4440     if (SvPVX_const(sv))
4441         SvPV_free(sv);
4442
4443 #ifdef DEBUGGING
4444     if (flags & SV_HAS_TRAILING_NUL)
4445         assert(ptr[len] == '\0');
4446 #endif
4447
4448     allocate = (flags & SV_HAS_TRAILING_NUL)
4449         ? len + 1 :
4450 #ifdef Perl_safesysmalloc_size
4451         len + 1;
4452 #else 
4453         PERL_STRLEN_ROUNDUP(len + 1);
4454 #endif
4455     if (flags & SV_HAS_TRAILING_NUL) {
4456         /* It's long enough - do nothing.
4457            Specfically Perl_newCONSTSUB is relying on this.  */
4458     } else {
4459 #ifdef DEBUGGING
4460         /* Force a move to shake out bugs in callers.  */
4461         char *new_ptr = (char*)safemalloc(allocate);
4462         Copy(ptr, new_ptr, len, char);
4463         PoisonFree(ptr,len,char);
4464         Safefree(ptr);
4465         ptr = new_ptr;
4466 #else
4467         ptr = (char*) saferealloc (ptr, allocate);
4468 #endif
4469     }
4470 #ifdef Perl_safesysmalloc_size
4471     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
4472 #else
4473     SvLEN_set(sv, allocate);
4474 #endif
4475     SvCUR_set(sv, len);
4476     SvPV_set(sv, ptr);
4477     if (!(flags & SV_HAS_TRAILING_NUL)) {
4478         ptr[len] = '\0';
4479     }
4480     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4481     SvTAINT(sv);
4482     if (flags & SV_SMAGIC)
4483         SvSETMAGIC(sv);
4484 }
4485
4486 #ifdef PERL_OLD_COPY_ON_WRITE
4487 /* Need to do this *after* making the SV normal, as we need the buffer
4488    pointer to remain valid until after we've copied it.  If we let go too early,
4489    another thread could invalidate it by unsharing last of the same hash key
4490    (which it can do by means other than releasing copy-on-write Svs)
4491    or by changing the other copy-on-write SVs in the loop.  */
4492 STATIC void
4493 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4494 {
4495     PERL_ARGS_ASSERT_SV_RELEASE_COW;
4496
4497     { /* this SV was SvIsCOW_normal(sv) */
4498          /* we need to find the SV pointing to us.  */
4499         SV *current = SV_COW_NEXT_SV(after);
4500
4501         if (current == sv) {
4502             /* The SV we point to points back to us (there were only two of us
4503                in the loop.)
4504                Hence other SV is no longer copy on write either.  */
4505             SvFAKE_off(after);
4506             SvREADONLY_off(after);
4507         } else {
4508             /* We need to follow the pointers around the loop.  */
4509             SV *next;
4510             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4511                 assert (next);
4512                 current = next;
4513                  /* don't loop forever if the structure is bust, and we have
4514                     a pointer into a closed loop.  */
4515                 assert (current != after);
4516                 assert (SvPVX_const(current) == pvx);
4517             }
4518             /* Make the SV before us point to the SV after us.  */
4519             SV_COW_NEXT_SV_SET(current, after);
4520         }
4521     }
4522 }
4523 #endif
4524 /*
4525 =for apidoc sv_force_normal_flags
4526
4527 Undo various types of fakery on an SV: if the PV is a shared string, make
4528 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4529 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4530 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4531 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4532 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4533 set to some other value.) In addition, the C<flags> parameter gets passed to
4534 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4535 with flags set to 0.
4536
4537 =cut
4538 */
4539
4540 void
4541 Perl_sv_force_normal_flags(pTHX_ register SV *const sv, const U32 flags)
4542 {
4543     dVAR;
4544
4545     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
4546
4547 #ifdef PERL_OLD_COPY_ON_WRITE
4548     if (SvREADONLY(sv)) {
4549         if (SvFAKE(sv)) {
4550             const char * const pvx = SvPVX_const(sv);
4551             const STRLEN len = SvLEN(sv);
4552             const STRLEN cur = SvCUR(sv);
4553             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4554                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4555                we'll fail an assertion.  */
4556             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4557
4558             if (DEBUG_C_TEST) {
4559                 PerlIO_printf(Perl_debug_log,
4560                               "Copy on write: Force normal %ld\n",
4561                               (long) flags);
4562                 sv_dump(sv);
4563             }
4564             SvFAKE_off(sv);
4565             SvREADONLY_off(sv);
4566             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4567             SvPV_set(sv, NULL);
4568             SvLEN_set(sv, 0);
4569             if (flags & SV_COW_DROP_PV) {
4570                 /* OK, so we don't need to copy our buffer.  */
4571                 SvPOK_off(sv);
4572             } else {
4573                 SvGROW(sv, cur + 1);
4574                 Move(pvx,SvPVX(sv),cur,char);
4575                 SvCUR_set(sv, cur);
4576                 *SvEND(sv) = '\0';
4577             }
4578             if (len) {
4579                 sv_release_COW(sv, pvx, next);
4580             } else {
4581                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4582             }
4583             if (DEBUG_C_TEST) {
4584                 sv_dump(sv);
4585             }
4586         }
4587         else if (IN_PERL_RUNTIME)
4588             Perl_croak(aTHX_ "%s", PL_no_modify);
4589     }
4590 #else
4591     if (SvREADONLY(sv)) {
4592         if (SvFAKE(sv)) {
4593             const char * const pvx = SvPVX_const(sv);
4594             const STRLEN len = SvCUR(sv);
4595             SvFAKE_off(sv);
4596             SvREADONLY_off(sv);
4597             SvPV_set(sv, NULL);
4598             SvLEN_set(sv, 0);
4599             SvGROW(sv, len + 1);
4600             Move(pvx,SvPVX(sv),len,char);
4601             *SvEND(sv) = '\0';
4602             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4603         }
4604         else if (IN_PERL_RUNTIME)
4605             Perl_croak(aTHX_ "%s", PL_no_modify);
4606     }
4607 #endif
4608     if (SvROK(sv))
4609         sv_unref_flags(sv, flags);
4610     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4611         sv_unglob(sv);
4612 }
4613
4614 /*
4615 =for apidoc sv_chop
4616
4617 Efficient removal of characters from the beginning of the string buffer.
4618 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4619 the string buffer.  The C<ptr> becomes the first character of the adjusted
4620 string. Uses the "OOK hack".
4621 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4622 refer to the same chunk of data.
4623
4624 =cut
4625 */
4626
4627 void
4628 Perl_sv_chop(pTHX_ register SV *const sv, register const char *const ptr)
4629 {
4630     STRLEN delta;
4631     STRLEN old_delta;
4632     U8 *p;
4633 #ifdef DEBUGGING
4634     const U8 *real_start;
4635 #endif
4636     STRLEN max_delta;
4637
4638     PERL_ARGS_ASSERT_SV_CHOP;
4639
4640     if (!ptr || !SvPOKp(sv))
4641         return;
4642     delta = ptr - SvPVX_const(sv);
4643     if (!delta) {
4644         /* Nothing to do.  */
4645         return;
4646     }
4647     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), but after this line,
4648        nothing uses the value of ptr any more.  */
4649     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
4650     if (ptr <= SvPVX_const(sv))
4651         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
4652                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
4653     SV_CHECK_THINKFIRST(sv);
4654     if (delta > max_delta)
4655         Perl_croak(aTHX_ "panic: sv_chop ptr=%p (was %p), start=%p, end=%p",
4656                    SvPVX_const(sv) + delta, ptr, SvPVX_const(sv),
4657                    SvPVX_const(sv) + max_delta);
4658
4659     if (!SvOOK(sv)) {
4660         if (!SvLEN(sv)) { /* make copy of shared string */
4661             const char *pvx = SvPVX_const(sv);
4662             const STRLEN len = SvCUR(sv);
4663             SvGROW(sv, len + 1);
4664             Move(pvx,SvPVX(sv),len,char);
4665             *SvEND(sv) = '\0';
4666         }
4667         SvFLAGS(sv) |= SVf_OOK;
4668         old_delta = 0;
4669     } else {
4670         SvOOK_offset(sv, old_delta);
4671     }
4672     SvLEN_set(sv, SvLEN(sv) - delta);
4673     SvCUR_set(sv, SvCUR(sv) - delta);
4674     SvPV_set(sv, SvPVX(sv) + delta);
4675
4676     p = (U8 *)SvPVX_const(sv);
4677
4678     delta += old_delta;
4679
4680 #ifdef DEBUGGING
4681     real_start = p - delta;
4682 #endif
4683
4684     assert(delta);
4685     if (delta < 0x100) {
4686         *--p = (U8) delta;
4687     } else {
4688         *--p = 0;
4689         p -= sizeof(STRLEN);
4690         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
4691     }
4692
4693 #ifdef DEBUGGING
4694     /* Fill the preceding buffer with sentinals to verify that no-one is
4695        using it.  */
4696     while (p > real_start) {
4697         --p;
4698         *p = (U8)PTR2UV(p);
4699     }
4700 #endif
4701 }
4702
4703 /*
4704 =for apidoc sv_catpvn
4705
4706 Concatenates the string onto the end of the string which is in the SV.  The
4707 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4708 status set, then the bytes appended should be valid UTF-8.
4709 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4710
4711 =for apidoc sv_catpvn_flags
4712
4713 Concatenates the string onto the end of the string which is in the SV.  The
4714 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4715 status set, then the bytes appended should be valid UTF-8.
4716 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4717 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4718 in terms of this function.
4719
4720 =cut
4721 */
4722
4723 void
4724 Perl_sv_catpvn_flags(pTHX_ register SV *const dsv, register const char *sstr, register const STRLEN slen, const I32 flags)
4725 {
4726     dVAR;
4727     STRLEN dlen;
4728     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4729
4730     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
4731
4732     SvGROW(dsv, dlen + slen + 1);
4733     if (sstr == dstr)
4734         sstr = SvPVX_const(dsv);
4735     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4736     SvCUR_set(dsv, SvCUR(dsv) + slen);
4737     *SvEND(dsv) = '\0';
4738     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4739     SvTAINT(dsv);
4740     if (flags & SV_SMAGIC)
4741         SvSETMAGIC(dsv);
4742 }
4743
4744 /*
4745 =for apidoc sv_catsv
4746
4747 Concatenates the string from SV C<ssv> onto the end of the string in
4748 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4749 not 'set' magic.  See C<sv_catsv_mg>.
4750
4751 =for apidoc sv_catsv_flags
4752
4753 Concatenates the string from SV C<ssv> onto the end of the string in
4754 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4755 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4756 and C<sv_catsv_nomg> are implemented in terms of this function.
4757
4758 =cut */
4759
4760 void
4761 Perl_sv_catsv_flags(pTHX_ SV *const dsv, register SV *const ssv, const I32 flags)
4762 {
4763     dVAR;
4764  
4765     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
4766
4767    if (ssv) {
4768         STRLEN slen;
4769         const char *spv = SvPV_const(ssv, slen);
4770         if (spv) {
4771             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4772                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4773                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4774                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4775                 dsv->sv_flags doesn't have that bit set.
4776                 Andy Dougherty  12 Oct 2001
4777             */
4778             const I32 sutf8 = DO_UTF8(ssv);
4779             I32 dutf8;
4780
4781             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4782                 mg_get(dsv);
4783             dutf8 = DO_UTF8(dsv);
4784
4785             if (dutf8 != sutf8) {
4786                 if (dutf8) {
4787                     /* Not modifying source SV, so taking a temporary copy. */
4788                     SV* const csv = newSVpvn_flags(spv, slen, SVs_TEMP);
4789
4790                     sv_utf8_upgrade(csv);
4791                     spv = SvPV_const(csv, slen);
4792                 }
4793                 else
4794                     /* Leave enough space for the cat that's about to happen */
4795                     sv_utf8_upgrade_flags_grow(dsv, 0, slen);
4796             }
4797             sv_catpvn_nomg(dsv, spv, slen);
4798         }
4799     }
4800     if (flags & SV_SMAGIC)
4801         SvSETMAGIC(dsv);
4802 }
4803
4804 /*
4805 =for apidoc sv_catpv
4806
4807 Concatenates the string onto the end of the string which is in the SV.
4808 If the SV has the UTF-8 status set, then the bytes appended should be
4809 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4810
4811 =cut */
4812
4813 void
4814 Perl_sv_catpv(pTHX_ register SV *const sv, register const char *ptr)
4815 {
4816     dVAR;
4817     register STRLEN len;
4818     STRLEN tlen;
4819     char *junk;
4820
4821     PERL_ARGS_ASSERT_SV_CATPV;
4822
4823     if (!ptr)
4824         return;
4825     junk = SvPV_force(sv, tlen);
4826     len = strlen(ptr);
4827     SvGROW(sv, tlen + len + 1);
4828     if (ptr == junk)
4829         ptr = SvPVX_const(sv);
4830     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4831     SvCUR_set(sv, SvCUR(sv) + len);
4832     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4833     SvTAINT(sv);
4834 }
4835
4836 /*
4837 =for apidoc sv_catpv_mg
4838
4839 Like C<sv_catpv>, but also handles 'set' magic.
4840
4841 =cut
4842 */
4843
4844 void
4845 Perl_sv_catpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4846 {
4847     PERL_ARGS_ASSERT_SV_CATPV_MG;
4848
4849     sv_catpv(sv,ptr);
4850     SvSETMAGIC(sv);
4851 }
4852
4853 /*
4854 =for apidoc newSV
4855
4856 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4857 bytes of preallocated string space the SV should have.  An extra byte for a
4858 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4859 space is allocated.)  The reference count for the new SV is set to 1.
4860
4861 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4862 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4863 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4864 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4865 modules supporting older perls.
4866
4867 =cut
4868 */
4869
4870 SV *
4871 Perl_newSV(pTHX_ const STRLEN len)
4872 {
4873     dVAR;
4874     register SV *sv;
4875
4876     new_SV(sv);
4877     if (len) {
4878         sv_upgrade(sv, SVt_PV);
4879         SvGROW(sv, len + 1);
4880     }
4881     return sv;
4882 }
4883 /*
4884 =for apidoc sv_magicext
4885
4886 Adds magic to an SV, upgrading it if necessary. Applies the
4887 supplied vtable and returns a pointer to the magic added.
4888
4889 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4890 In particular, you can add magic to SvREADONLY SVs, and add more than
4891 one instance of the same 'how'.
4892
4893 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4894 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4895 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4896 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4897
4898 (This is now used as a subroutine by C<sv_magic>.)
4899
4900 =cut
4901 */
4902 MAGIC * 
4903 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
4904                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
4905 {
4906     dVAR;
4907     MAGIC* mg;
4908
4909     PERL_ARGS_ASSERT_SV_MAGICEXT;
4910
4911     SvUPGRADE(sv, SVt_PVMG);
4912     Newxz(mg, 1, MAGIC);
4913     mg->mg_moremagic = SvMAGIC(sv);
4914     SvMAGIC_set(sv, mg);
4915
4916     /* Sometimes a magic contains a reference loop, where the sv and
4917        object refer to each other.  To prevent a reference loop that
4918        would prevent such objects being freed, we look for such loops
4919        and if we find one we avoid incrementing the object refcount.
4920
4921        Note we cannot do this to avoid self-tie loops as intervening RV must
4922        have its REFCNT incremented to keep it in existence.
4923
4924     */
4925     if (!obj || obj == sv ||
4926         how == PERL_MAGIC_arylen ||
4927         how == PERL_MAGIC_symtab ||
4928         (SvTYPE(obj) == SVt_PVGV &&
4929             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
4930              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
4931              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
4932     {
4933         mg->mg_obj = obj;
4934     }
4935     else {
4936         mg->mg_obj = SvREFCNT_inc_simple(obj);
4937         mg->mg_flags |= MGf_REFCOUNTED;
4938     }
4939
4940     /* Normal self-ties simply pass a null object, and instead of
4941        using mg_obj directly, use the SvTIED_obj macro to produce a
4942        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4943        with an RV obj pointing to the glob containing the PVIO.  In
4944        this case, to avoid a reference loop, we need to weaken the
4945        reference.
4946     */
4947
4948     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4949         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
4950     {
4951       sv_rvweaken(obj);
4952     }
4953
4954     mg->mg_type = how;
4955     mg->mg_len = namlen;
4956     if (name) {
4957         if (namlen > 0)
4958             mg->mg_ptr = savepvn(name, namlen);
4959         else if (namlen == HEf_SVKEY) {
4960             /* Yes, this is casting away const. This is only for the case of
4961                HEf_SVKEY. I think we need to document this abberation of the
4962                constness of the API, rather than making name non-const, as
4963                that change propagating outwards a long way.  */
4964             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
4965         } else
4966             mg->mg_ptr = (char *) name;
4967     }
4968     mg->mg_virtual = (MGVTBL *) vtable;
4969
4970     mg_magical(sv);
4971     if (SvGMAGICAL(sv))
4972         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4973     return mg;
4974 }
4975
4976 /*
4977 =for apidoc sv_magic
4978
4979 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4980 then adds a new magic item of type C<how> to the head of the magic list.
4981
4982 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4983 handling of the C<name> and C<namlen> arguments.
4984
4985 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4986 to add more than one instance of the same 'how'.
4987
4988 =cut
4989 */
4990
4991 void
4992 Perl_sv_magic(pTHX_ register SV *const sv, SV *const obj, const int how, 
4993              const char *const name, const I32 namlen)
4994 {
4995     dVAR;
4996     const MGVTBL *vtable;
4997     MAGIC* mg;
4998
4999     PERL_ARGS_ASSERT_SV_MAGIC;
5000
5001 #ifdef PERL_OLD_COPY_ON_WRITE
5002     if (SvIsCOW(sv))
5003         sv_force_normal_flags(sv, 0);
5004 #endif
5005     if (SvREADONLY(sv)) {
5006         if (
5007             /* its okay to attach magic to shared strings; the subsequent
5008              * upgrade to PVMG will unshare the string */
5009             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
5010
5011             && IN_PERL_RUNTIME
5012             && how != PERL_MAGIC_regex_global
5013             && how != PERL_MAGIC_bm
5014             && how != PERL_MAGIC_fm
5015             && how != PERL_MAGIC_sv
5016             && how != PERL_MAGIC_backref
5017            )
5018         {
5019             Perl_croak(aTHX_ "%s", PL_no_modify);
5020         }
5021     }
5022     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5023         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5024             /* sv_magic() refuses to add a magic of the same 'how' as an
5025                existing one
5026              */
5027             if (how == PERL_MAGIC_taint) {
5028                 mg->mg_len |= 1;
5029                 /* Any scalar which already had taint magic on which someone
5030                    (erroneously?) did SvIOK_on() or similar will now be
5031                    incorrectly sporting public "OK" flags.  */
5032                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
5033             }
5034             return;
5035         }
5036     }
5037
5038     switch (how) {
5039     case PERL_MAGIC_sv:
5040         vtable = &PL_vtbl_sv;
5041         break;
5042     case PERL_MAGIC_overload:
5043         vtable = &PL_vtbl_amagic;
5044         break;
5045     case PERL_MAGIC_overload_elem:
5046         vtable = &PL_vtbl_amagicelem;
5047         break;
5048     case PERL_MAGIC_overload_table:
5049         vtable = &PL_vtbl_ovrld;
5050         break;
5051     case PERL_MAGIC_bm:
5052         vtable = &PL_vtbl_bm;
5053         break;
5054     case PERL_MAGIC_regdata:
5055         vtable = &PL_vtbl_regdata;
5056         break;
5057     case PERL_MAGIC_regdatum:
5058         vtable = &PL_vtbl_regdatum;
5059         break;
5060     case PERL_MAGIC_env:
5061         vtable = &PL_vtbl_env;
5062         break;
5063     case PERL_MAGIC_fm:
5064         vtable = &PL_vtbl_fm;
5065         break;
5066     case PERL_MAGIC_envelem:
5067         vtable = &PL_vtbl_envelem;
5068         break;
5069     case PERL_MAGIC_regex_global:
5070         vtable = &PL_vtbl_mglob;
5071         break;
5072     case PERL_MAGIC_isa:
5073         vtable = &PL_vtbl_isa;
5074         break;
5075     case PERL_MAGIC_isaelem:
5076         vtable = &PL_vtbl_isaelem;
5077         break;
5078     case PERL_MAGIC_nkeys:
5079         vtable = &PL_vtbl_nkeys;
5080         break;
5081     case PERL_MAGIC_dbfile:
5082         vtable = NULL;
5083         break;
5084     case PERL_MAGIC_dbline:
5085         vtable = &PL_vtbl_dbline;
5086         break;
5087 #ifdef USE_LOCALE_COLLATE
5088     case PERL_MAGIC_collxfrm:
5089         vtable = &PL_vtbl_collxfrm;
5090         break;
5091 #endif /* USE_LOCALE_COLLATE */
5092     case PERL_MAGIC_tied:
5093         vtable = &PL_vtbl_pack;
5094         break;
5095     case PERL_MAGIC_tiedelem:
5096     case PERL_MAGIC_tiedscalar:
5097         vtable = &PL_vtbl_packelem;
5098         break;
5099     case PERL_MAGIC_qr:
5100         vtable = &PL_vtbl_regexp;
5101         break;
5102     case PERL_MAGIC_sig:
5103         vtable = &PL_vtbl_sig;
5104         break;
5105     case PERL_MAGIC_sigelem:
5106         vtable = &PL_vtbl_sigelem;
5107         break;
5108     case PERL_MAGIC_taint:
5109         vtable = &PL_vtbl_taint;
5110         break;
5111     case PERL_MAGIC_uvar:
5112         vtable = &PL_vtbl_uvar;
5113         break;
5114     case PERL_MAGIC_vec:
5115         vtable = &PL_vtbl_vec;
5116         break;
5117     case PERL_MAGIC_arylen_p:
5118     case PERL_MAGIC_rhash:
5119     case PERL_MAGIC_symtab:
5120     case PERL_MAGIC_vstring:
5121         vtable = NULL;
5122         break;
5123     case PERL_MAGIC_utf8:
5124         vtable = &PL_vtbl_utf8;
5125         break;
5126     case PERL_MAGIC_substr:
5127         vtable = &PL_vtbl_substr;
5128         break;
5129     case PERL_MAGIC_defelem:
5130         vtable = &PL_vtbl_defelem;
5131         break;
5132     case PERL_MAGIC_arylen:
5133         vtable = &PL_vtbl_arylen;
5134         break;
5135     case PERL_MAGIC_pos:
5136         vtable = &PL_vtbl_pos;
5137         break;
5138     case PERL_MAGIC_backref:
5139         vtable = &PL_vtbl_backref;
5140         break;
5141     case PERL_MAGIC_hintselem:
5142         vtable = &PL_vtbl_hintselem;
5143         break;
5144     case PERL_MAGIC_hints:
5145         vtable = &PL_vtbl_hints;
5146         break;
5147     case PERL_MAGIC_ext:
5148         /* Reserved for use by extensions not perl internals.           */
5149         /* Useful for attaching extension internal data to perl vars.   */
5150         /* Note that multiple extensions may clash if magical scalars   */
5151         /* etc holding private data from one are passed to another.     */
5152         vtable = NULL;
5153         break;
5154     default:
5155         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5156     }
5157
5158     /* Rest of work is done else where */
5159     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5160
5161     switch (how) {
5162     case PERL_MAGIC_taint:
5163         mg->mg_len = 1;
5164         break;
5165     case PERL_MAGIC_ext:
5166     case PERL_MAGIC_dbfile:
5167         SvRMAGICAL_on(sv);
5168         break;
5169     }
5170 }
5171
5172 /*
5173 =for apidoc sv_unmagic
5174
5175 Removes all magic of type C<type> from an SV.
5176
5177 =cut
5178 */
5179
5180 int
5181 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5182 {
5183     MAGIC* mg;
5184     MAGIC** mgp;
5185
5186     PERL_ARGS_ASSERT_SV_UNMAGIC;
5187
5188     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5189         return 0;
5190     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5191     for (mg = *mgp; mg; mg = *mgp) {
5192         if (mg->mg_type == type) {
5193             const MGVTBL* const vtbl = mg->mg_virtual;
5194             *mgp = mg->mg_moremagic;
5195             if (vtbl && vtbl->svt_free)
5196                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
5197             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5198                 if (mg->mg_len > 0)
5199                     Safefree(mg->mg_ptr);
5200                 else if (mg->mg_len == HEf_SVKEY)
5201                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5202                 else if (mg->mg_type == PERL_MAGIC_utf8)
5203                     Safefree(mg->mg_ptr);
5204             }
5205             if (mg->mg_flags & MGf_REFCOUNTED)
5206                 SvREFCNT_dec(mg->mg_obj);
5207             Safefree(mg);
5208         }
5209         else
5210             mgp = &mg->mg_moremagic;
5211     }
5212     if (SvMAGIC(sv)) {
5213         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5214             mg_magical(sv);     /*    else fix the flags now */
5215     }
5216     else {
5217         SvMAGICAL_off(sv);
5218         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5219     }
5220     return 0;
5221 }
5222
5223 /*
5224 =for apidoc sv_rvweaken
5225
5226 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5227 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5228 push a back-reference to this RV onto the array of backreferences
5229 associated with that magic. If the RV is magical, set magic will be
5230 called after the RV is cleared.
5231
5232 =cut
5233 */
5234
5235 SV *
5236 Perl_sv_rvweaken(pTHX_ SV *const sv)
5237 {
5238     SV *tsv;
5239
5240     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5241
5242     if (!SvOK(sv))  /* let undefs pass */
5243         return sv;
5244     if (!SvROK(sv))
5245         Perl_croak(aTHX_ "Can't weaken a nonreference");
5246     else if (SvWEAKREF(sv)) {
5247         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5248         return sv;
5249     }
5250     tsv = SvRV(sv);
5251     Perl_sv_add_backref(aTHX_ tsv, sv);
5252     SvWEAKREF_on(sv);
5253     SvREFCNT_dec(tsv);
5254     return sv;
5255 }
5256
5257 /* Give tsv backref magic if it hasn't already got it, then push a
5258  * back-reference to sv onto the array associated with the backref magic.
5259  */
5260
5261 /* A discussion about the backreferences array and its refcount:
5262  *
5263  * The AV holding the backreferences is pointed to either as the mg_obj of
5264  * PERL_MAGIC_backref, or in the specific case of a HV that has the hv_aux
5265  * structure, from the xhv_backreferences field. (A HV without hv_aux will
5266  * have the standard magic instead.) The array is created with a refcount
5267  * of 2. This means that if during global destruction the array gets
5268  * picked on first to have its refcount decremented by the random zapper,
5269  * it won't actually be freed, meaning it's still theere for when its
5270  * parent gets freed.
5271  * When the parent SV is freed, in the case of magic, the magic is freed,
5272  * Perl_magic_killbackrefs is called which decrements one refcount, then
5273  * mg_obj is freed which kills the second count.
5274  * In the vase of a HV being freed, one ref is removed by
5275  * Perl_hv_kill_backrefs, the other by Perl_sv_kill_backrefs, which it
5276  * calls.
5277  */
5278
5279 void
5280 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5281 {
5282     dVAR;
5283     AV *av;
5284
5285     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5286
5287     if (SvTYPE(tsv) == SVt_PVHV) {
5288         AV **const avp = Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5289
5290         av = *avp;
5291         if (!av) {
5292             /* There is no AV in the offical place - try a fixup.  */
5293             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
5294
5295             if (mg) {
5296                 /* Aha. They've got it stowed in magic.  Bring it back.  */
5297                 av = MUTABLE_AV(mg->mg_obj);
5298                 /* Stop mg_free decreasing the refernce count.  */
5299                 mg->mg_obj = NULL;
5300                 /* Stop mg_free even calling the destructor, given that
5301                    there's no AV to free up.  */
5302                 mg->mg_virtual = 0;
5303                 sv_unmagic(tsv, PERL_MAGIC_backref);
5304             } else {
5305                 av = newAV();
5306                 AvREAL_off(av);
5307                 SvREFCNT_inc_simple_void(av); /* see discussion above */
5308             }
5309             *avp = av;
5310         }
5311     } else {
5312         const MAGIC *const mg
5313             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5314         if (mg)
5315             av = MUTABLE_AV(mg->mg_obj);
5316         else {
5317             av = newAV();
5318             AvREAL_off(av);
5319             sv_magic(tsv, MUTABLE_SV(av), PERL_MAGIC_backref, NULL, 0);
5320             /* av now has a refcnt of 2; see discussion above */
5321         }
5322     }
5323     if (AvFILLp(av) >= AvMAX(av)) {
5324         av_extend(av, AvFILLp(av)+1);
5325     }
5326     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5327 }
5328
5329 /* delete a back-reference to ourselves from the backref magic associated
5330  * with the SV we point to.
5331  */
5332
5333 STATIC void
5334 S_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5335 {
5336     dVAR;
5337     AV *av = NULL;
5338     SV **svp;
5339     I32 i;
5340
5341     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5342
5343     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
5344         av = *Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5345         /* We mustn't attempt to "fix up" the hash here by moving the
5346            backreference array back to the hv_aux structure, as that is stored
5347            in the main HvARRAY(), and hfreentries assumes that no-one
5348            reallocates HvARRAY() while it is running.  */
5349     }
5350     if (!av) {
5351         const MAGIC *const mg
5352             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5353         if (mg)
5354             av = MUTABLE_AV(mg->mg_obj);
5355     }
5356
5357     if (!av)
5358         Perl_croak(aTHX_ "panic: del_backref");
5359
5360     assert(!SvIS_FREED(av));
5361
5362     svp = AvARRAY(av);
5363     /* We shouldn't be in here more than once, but for paranoia reasons lets
5364        not assume this.  */
5365     for (i = AvFILLp(av); i >= 0; i--) {
5366         if (svp[i] == sv) {
5367             const SSize_t fill = AvFILLp(av);
5368             if (i != fill) {
5369                 /* We weren't the last entry.
5370                    An unordered list has this property that you can take the
5371                    last element off the end to fill the hole, and it's still
5372                    an unordered list :-)
5373                 */
5374                 svp[i] = svp[fill];
5375             }
5376             svp[fill] = NULL;
5377             AvFILLp(av) = fill - 1;
5378         }
5379     }
5380 }
5381
5382 int
5383 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
5384 {
5385     SV **svp = AvARRAY(av);
5386
5387     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
5388     PERL_UNUSED_ARG(sv);
5389
5390     assert(!svp || !SvIS_FREED(av));
5391     if (svp) {
5392         SV *const *const last = svp + AvFILLp(av);
5393
5394         while (svp <= last) {
5395             if (*svp) {
5396                 SV *const referrer = *svp;
5397                 if (SvWEAKREF(referrer)) {
5398                     /* XXX Should we check that it hasn't changed? */
5399                     SvRV_set(referrer, 0);
5400                     SvOK_off(referrer);
5401                     SvWEAKREF_off(referrer);
5402                     SvSETMAGIC(referrer);
5403                 } else if (SvTYPE(referrer) == SVt_PVGV ||
5404                            SvTYPE(referrer) == SVt_PVLV) {
5405                     /* You lookin' at me?  */
5406                     assert(GvSTASH(referrer));
5407                     assert(GvSTASH(referrer) == (const HV *)sv);
5408                     GvSTASH(referrer) = 0;
5409                 } else {
5410                     Perl_croak(aTHX_
5411                                "panic: magic_killbackrefs (flags=%"UVxf")",
5412                                (UV)SvFLAGS(referrer));
5413                 }
5414
5415                 *svp = NULL;
5416             }
5417             svp++;
5418         }
5419     }
5420     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
5421     return 0;
5422 }
5423
5424 /*
5425 =for apidoc sv_insert
5426
5427 Inserts a string at the specified offset/length within the SV. Similar to
5428 the Perl substr() function. Handles get magic.
5429
5430 =for apidoc sv_insert_flags
5431
5432 Same as C<sv_insert>, but the extra C<flags> are passed the C<SvPV_force_flags> that applies to C<bigstr>.
5433
5434 =cut
5435 */
5436
5437 void
5438 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
5439 {
5440     dVAR;
5441     register char *big;
5442     register char *mid;
5443     register char *midend;
5444     register char *bigend;
5445     register I32 i;
5446     STRLEN curlen;
5447
5448     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
5449
5450     if (!bigstr)
5451         Perl_croak(aTHX_ "Can't modify non-existent substring");
5452     SvPV_force_flags(bigstr, curlen, flags);
5453     (void)SvPOK_only_UTF8(bigstr);
5454     if (offset + len > curlen) {
5455         SvGROW(bigstr, offset+len+1);
5456         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
5457         SvCUR_set(bigstr, offset+len);
5458     }
5459
5460     SvTAINT(bigstr);
5461     i = littlelen - len;
5462     if (i > 0) {                        /* string might grow */
5463         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
5464         mid = big + offset + len;
5465         midend = bigend = big + SvCUR(bigstr);
5466         bigend += i;
5467         *bigend = '\0';
5468         while (midend > mid)            /* shove everything down */
5469             *--bigend = *--midend;
5470         Move(little,big+offset,littlelen,char);
5471         SvCUR_set(bigstr, SvCUR(bigstr) + i);
5472         SvSETMAGIC(bigstr);
5473         return;
5474     }
5475     else if (i == 0) {
5476         Move(little,SvPVX(bigstr)+offset,len,char);
5477         SvSETMAGIC(bigstr);
5478         return;
5479     }
5480
5481     big = SvPVX(bigstr);
5482     mid = big + offset;
5483     midend = mid + len;
5484     bigend = big + SvCUR(bigstr);
5485
5486     if (midend > bigend)
5487         Perl_croak(aTHX_ "panic: sv_insert");
5488
5489     if (mid - big > bigend - midend) {  /* faster to shorten from end */
5490         if (littlelen) {
5491             Move(little, mid, littlelen,char);
5492             mid += littlelen;
5493         }
5494         i = bigend - midend;
5495         if (i > 0) {
5496             Move(midend, mid, i,char);
5497             mid += i;
5498         }
5499         *mid = '\0';
5500         SvCUR_set(bigstr, mid - big);
5501     }
5502     else if ((i = mid - big)) { /* faster from front */
5503         midend -= littlelen;
5504         mid = midend;
5505         Move(big, midend - i, i, char);
5506         sv_chop(bigstr,midend-i);
5507         if (littlelen)
5508             Move(little, mid, littlelen,char);
5509     }
5510     else if (littlelen) {
5511         midend -= littlelen;
5512         sv_chop(bigstr,midend);
5513         Move(little,midend,littlelen,char);
5514     }
5515     else {
5516         sv_chop(bigstr,midend);
5517     }
5518     SvSETMAGIC(bigstr);
5519 }
5520
5521 /*
5522 =for apidoc sv_replace
5523
5524 Make the first argument a copy of the second, then delete the original.
5525 The target SV physically takes over ownership of the body of the source SV
5526 and inherits its flags; however, the target keeps any magic it owns,
5527 and any magic in the source is discarded.
5528 Note that this is a rather specialist SV copying operation; most of the
5529 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5530
5531 =cut
5532 */
5533
5534 void
5535 Perl_sv_replace(pTHX_ register SV *const sv, register SV *const nsv)
5536 {
5537     dVAR;
5538     const U32 refcnt = SvREFCNT(sv);
5539
5540     PERL_ARGS_ASSERT_SV_REPLACE;
5541
5542     SV_CHECK_THINKFIRST_COW_DROP(sv);
5543     if (SvREFCNT(nsv) != 1) {
5544         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
5545                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
5546     }
5547     if (SvMAGICAL(sv)) {
5548         if (SvMAGICAL(nsv))
5549             mg_free(nsv);
5550         else
5551             sv_upgrade(nsv, SVt_PVMG);
5552         SvMAGIC_set(nsv, SvMAGIC(sv));
5553         SvFLAGS(nsv) |= SvMAGICAL(sv);
5554         SvMAGICAL_off(sv);
5555         SvMAGIC_set(sv, NULL);
5556     }
5557     SvREFCNT(sv) = 0;
5558     sv_clear(sv);
5559     assert(!SvREFCNT(sv));
5560 #ifdef DEBUG_LEAKING_SCALARS
5561     sv->sv_flags  = nsv->sv_flags;
5562     sv->sv_any    = nsv->sv_any;
5563     sv->sv_refcnt = nsv->sv_refcnt;
5564     sv->sv_u      = nsv->sv_u;
5565 #else
5566     StructCopy(nsv,sv,SV);
5567 #endif
5568     if(SvTYPE(sv) == SVt_IV) {
5569         SvANY(sv)
5570             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5571     }
5572         
5573
5574 #ifdef PERL_OLD_COPY_ON_WRITE
5575     if (SvIsCOW_normal(nsv)) {
5576         /* We need to follow the pointers around the loop to make the
5577            previous SV point to sv, rather than nsv.  */
5578         SV *next;
5579         SV *current = nsv;
5580         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5581             assert(next);
5582             current = next;
5583             assert(SvPVX_const(current) == SvPVX_const(nsv));
5584         }
5585         /* Make the SV before us point to the SV after us.  */
5586         if (DEBUG_C_TEST) {
5587             PerlIO_printf(Perl_debug_log, "previous is\n");
5588             sv_dump(current);
5589             PerlIO_printf(Perl_debug_log,
5590                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5591                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5592         }
5593         SV_COW_NEXT_SV_SET(current, sv);
5594     }
5595 #endif
5596     SvREFCNT(sv) = refcnt;
5597     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5598     SvREFCNT(nsv) = 0;
5599     del_SV(nsv);
5600 }
5601
5602 /*
5603 =for apidoc sv_clear
5604
5605 Clear an SV: call any destructors, free up any memory used by the body,
5606 and free the body itself. The SV's head is I<not> freed, although
5607 its type is set to all 1's so that it won't inadvertently be assumed
5608 to be live during global destruction etc.
5609 This function should only be called when REFCNT is zero. Most of the time
5610 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5611 instead.
5612
5613 =cut
5614 */
5615
5616 void
5617 Perl_sv_clear(pTHX_ register SV *const sv)
5618 {
5619     dVAR;
5620     const U32 type = SvTYPE(sv);
5621     const struct body_details *const sv_type_details
5622         = bodies_by_type + type;
5623     HV *stash;
5624
5625     PERL_ARGS_ASSERT_SV_CLEAR;
5626     assert(SvREFCNT(sv) == 0);
5627     assert(SvTYPE(sv) != SVTYPEMASK);
5628
5629     if (type <= SVt_IV) {
5630         /* See the comment in sv.h about the collusion between this early
5631            return and the overloading of the NULL and IV slots in the size
5632            table.  */
5633         if (SvROK(sv)) {
5634             SV * const target = SvRV(sv);
5635             if (SvWEAKREF(sv))
5636                 sv_del_backref(target, sv);
5637             else
5638                 SvREFCNT_dec(target);
5639         }
5640         SvFLAGS(sv) &= SVf_BREAK;
5641         SvFLAGS(sv) |= SVTYPEMASK;
5642         return;
5643     }
5644
5645     if (SvOBJECT(sv)) {
5646         if (PL_defstash &&      /* Still have a symbol table? */
5647             SvDESTROYABLE(sv))
5648         {
5649             dSP;
5650             HV* stash;
5651             do {        
5652                 CV* destructor;
5653                 stash = SvSTASH(sv);
5654                 destructor = StashHANDLER(stash,DESTROY);
5655                 if (destructor
5656                         /* A constant subroutine can have no side effects, so
5657                            don't bother calling it.  */
5658                         && !CvCONST(destructor)
5659                         /* Don't bother calling an empty destructor */
5660                         && (CvISXSUB(destructor)
5661                         || CvSTART(destructor)->op_next->op_type != OP_LEAVESUB))
5662                 {
5663                     SV* const tmpref = newRV(sv);
5664                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5665                     ENTER;
5666                     PUSHSTACKi(PERLSI_DESTROY);
5667                     EXTEND(SP, 2);
5668                     PUSHMARK(SP);
5669                     PUSHs(tmpref);
5670                     PUTBACK;
5671                     call_sv(MUTABLE_SV(destructor), G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5672                 
5673                 
5674                     POPSTACK;
5675                     SPAGAIN;
5676                     LEAVE;
5677                     if(SvREFCNT(tmpref) < 2) {
5678                         /* tmpref is not kept alive! */
5679                         SvREFCNT(sv)--;
5680                         SvRV_set(tmpref, NULL);
5681                         SvROK_off(tmpref);
5682                     }
5683                     SvREFCNT_dec(tmpref);
5684                 }
5685             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5686
5687
5688             if (SvREFCNT(sv)) {
5689                 if (PL_in_clean_objs)
5690                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5691                           HvNAME_get(stash));
5692                 /* DESTROY gave object new lease on life */
5693                 return;
5694             }
5695         }
5696
5697         if (SvOBJECT(sv)) {
5698             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5699             SvOBJECT_off(sv);   /* Curse the object. */
5700             if (type != SVt_PVIO)
5701                 --PL_sv_objcount;       /* XXX Might want something more general */
5702         }
5703     }
5704     if (type >= SVt_PVMG) {
5705         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5706             SvREFCNT_dec(SvOURSTASH(sv));
5707         } else if (SvMAGIC(sv))
5708             mg_free(sv);
5709         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5710             SvREFCNT_dec(SvSTASH(sv));
5711     }
5712     switch (type) {
5713         /* case SVt_BIND: */
5714     case SVt_PVIO:
5715         if (IoIFP(sv) &&
5716             IoIFP(sv) != PerlIO_stdin() &&
5717             IoIFP(sv) != PerlIO_stdout() &&
5718             IoIFP(sv) != PerlIO_stderr())
5719         {
5720             io_close(MUTABLE_IO(sv), FALSE);
5721         }
5722         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5723             PerlDir_close(IoDIRP(sv));
5724         IoDIRP(sv) = (DIR*)NULL;
5725         Safefree(IoTOP_NAME(sv));
5726         Safefree(IoFMT_NAME(sv));
5727         Safefree(IoBOTTOM_NAME(sv));
5728         goto freescalar;
5729     case SVt_REGEXP:
5730         /* FIXME for plugins */
5731         pregfree2((REGEXP*) sv);
5732         goto freescalar;
5733     case SVt_PVCV:
5734     case SVt_PVFM:
5735         cv_undef(MUTABLE_CV(sv));
5736         goto freescalar;
5737     case SVt_PVHV:
5738         if (PL_last_swash_hv == (const HV *)sv) {
5739             PL_last_swash_hv = NULL;
5740         }
5741         Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
5742         hv_undef(MUTABLE_HV(sv));
5743         break;
5744     case SVt_PVAV:
5745         if (PL_comppad == MUTABLE_AV(sv)) {
5746             PL_comppad = NULL;
5747             PL_curpad = NULL;
5748         }
5749         av_undef(MUTABLE_AV(sv));
5750         break;
5751     case SVt_PVLV:
5752         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5753             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5754             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5755             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5756         }
5757         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5758             SvREFCNT_dec(LvTARG(sv));
5759     case SVt_PVGV:
5760         if (isGV_with_GP(sv)) {
5761             if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
5762                && HvNAME_get(stash))
5763                 mro_method_changed_in(stash);
5764             gp_free(MUTABLE_GV(sv));
5765             if (GvNAME_HEK(sv))
5766                 unshare_hek(GvNAME_HEK(sv));
5767             /* If we're in a stash, we don't own a reference to it. However it does
5768                have a back reference to us, which needs to be cleared.  */
5769             if (!SvVALID(sv) && (stash = GvSTASH(sv)))
5770                     sv_del_backref(MUTABLE_SV(stash), sv);
5771         }
5772         /* FIXME. There are probably more unreferenced pointers to SVs in the
5773            interpreter struct that we should check and tidy in a similar
5774            fashion to this:  */
5775         if ((const GV *)sv == PL_last_in_gv)
5776             PL_last_in_gv = NULL;
5777     case SVt_PVMG:
5778     case SVt_PVNV:
5779     case SVt_PVIV:
5780     case SVt_PV:
5781       freescalar:
5782         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5783         if (SvOOK(sv)) {
5784             STRLEN offset;
5785             SvOOK_offset(sv, offset);
5786             SvPV_set(sv, SvPVX_mutable(sv) - offset);
5787             /* Don't even bother with turning off the OOK flag.  */
5788         }
5789         if (SvROK(sv)) {
5790             SV * const target = SvRV(sv);
5791             if (SvWEAKREF(sv))
5792                 sv_del_backref(target, sv);
5793             else
5794                 SvREFCNT_dec(target);
5795         }
5796 #ifdef PERL_OLD_COPY_ON_WRITE
5797         else if (SvPVX_const(sv)) {
5798             if (SvIsCOW(sv)) {
5799                 if (DEBUG_C_TEST) {
5800                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5801                     sv_dump(sv);
5802                 }
5803                 if (SvLEN(sv)) {
5804                     sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
5805                 } else {
5806                     unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5807                 }
5808
5809                 SvFAKE_off(sv);
5810             } else if (SvLEN(sv)) {
5811                 Safefree(SvPVX_const(sv));
5812             }
5813         }
5814 #else
5815         else if (SvPVX_const(sv) && SvLEN(sv))
5816             Safefree(SvPVX_mutable(sv));
5817         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5818             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5819             SvFAKE_off(sv);
5820         }
5821 #endif
5822         break;
5823     case SVt_NV:
5824         break;
5825     }
5826
5827     SvFLAGS(sv) &= SVf_BREAK;
5828     SvFLAGS(sv) |= SVTYPEMASK;
5829
5830     if (sv_type_details->arena) {
5831         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5832                  &PL_body_roots[type]);
5833     }
5834     else if (sv_type_details->body_size) {
5835         my_safefree(SvANY(sv));
5836     }
5837 }
5838
5839 /*
5840 =for apidoc sv_newref
5841
5842 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5843 instead.
5844
5845 =cut
5846 */
5847
5848 SV *
5849 Perl_sv_newref(pTHX_ SV *const sv)
5850 {
5851     PERL_UNUSED_CONTEXT;
5852     if (sv)
5853         (SvREFCNT(sv))++;
5854     return sv;
5855 }
5856
5857 /*
5858 =for apidoc sv_free
5859
5860 Decrement an SV's reference count, and if it drops to zero, call
5861 C<sv_clear> to invoke destructors and free up any memory used by
5862 the body; finally, deallocate the SV's head itself.
5863 Normally called via a wrapper macro C<SvREFCNT_dec>.
5864
5865 =cut
5866 */
5867
5868 void
5869 Perl_sv_free(pTHX_ SV *const sv)
5870 {
5871     dVAR;
5872     if (!sv)
5873         return;
5874     if (SvREFCNT(sv) == 0) {
5875         if (SvFLAGS(sv) & SVf_BREAK)
5876             /* this SV's refcnt has been artificially decremented to
5877              * trigger cleanup */
5878             return;
5879         if (PL_in_clean_all) /* All is fair */
5880             return;
5881         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5882             /* make sure SvREFCNT(sv)==0 happens very seldom */
5883             SvREFCNT(sv) = (~(U32)0)/2;
5884             return;
5885         }
5886         if (ckWARN_d(WARN_INTERNAL)) {
5887 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5888             Perl_dump_sv_child(aTHX_ sv);
5889 #else
5890   #ifdef DEBUG_LEAKING_SCALARS
5891             sv_dump(sv);
5892   #endif
5893 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5894             if (PL_warnhook == PERL_WARNHOOK_FATAL
5895                 || ckDEAD(packWARN(WARN_INTERNAL))) {
5896                 /* Don't let Perl_warner cause us to escape our fate:  */
5897                 abort();
5898             }
5899 #endif
5900             /* This may not return:  */
5901             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5902                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5903                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5904 #endif
5905         }
5906 #ifdef DEBUG_LEAKING_SCALARS_ABORT
5907         abort();
5908 #endif
5909         return;
5910     }
5911     if (--(SvREFCNT(sv)) > 0)
5912         return;
5913     Perl_sv_free2(aTHX_ sv);
5914 }
5915
5916 void
5917 Perl_sv_free2(pTHX_ SV *const sv)
5918 {
5919     dVAR;
5920
5921     PERL_ARGS_ASSERT_SV_FREE2;
5922
5923 #ifdef DEBUGGING
5924     if (SvTEMP(sv)) {
5925         Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
5926                          "Attempt to free temp prematurely: SV 0x%"UVxf
5927                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5928         return;
5929     }
5930 #endif
5931     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5932         /* make sure SvREFCNT(sv)==0 happens very seldom */
5933         SvREFCNT(sv) = (~(U32)0)/2;
5934         return;
5935     }
5936     sv_clear(sv);
5937     if (! SvREFCNT(sv))
5938         del_SV(sv);
5939 }
5940
5941 /*
5942 =for apidoc sv_len
5943
5944 Returns the length of the string in the SV. Handles magic and type
5945 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5946
5947 =cut
5948 */
5949
5950 STRLEN
5951 Perl_sv_len(pTHX_ register SV *const sv)
5952 {
5953     STRLEN len;
5954
5955     if (!sv)
5956         return 0;
5957
5958     if (SvGMAGICAL(sv))
5959         len = mg_length(sv);
5960     else
5961         (void)SvPV_const(sv, len);
5962     return len;
5963 }
5964
5965 /*
5966 =for apidoc sv_len_utf8
5967
5968 Returns the number of characters in the string in an SV, counting wide
5969 UTF-8 bytes as a single character. Handles magic and type coercion.
5970
5971 =cut
5972 */
5973
5974 /*
5975  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
5976  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5977  * (Note that the mg_len is not the length of the mg_ptr field.
5978  * This allows the cache to store the character length of the string without
5979  * needing to malloc() extra storage to attach to the mg_ptr.)
5980  *
5981  */
5982
5983 STRLEN
5984 Perl_sv_len_utf8(pTHX_ register SV *const sv)
5985 {
5986     if (!sv)
5987         return 0;
5988
5989     if (SvGMAGICAL(sv))
5990         return mg_length(sv);
5991     else
5992     {
5993         STRLEN len;
5994         const U8 *s = (U8*)SvPV_const(sv, len);
5995
5996         if (PL_utf8cache) {
5997             STRLEN ulen;
5998             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
5999
6000             if (mg && mg->mg_len != -1) {
6001                 ulen = mg->mg_len;
6002                 if (PL_utf8cache < 0) {
6003                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
6004                     if (real != ulen) {
6005                         /* Need to turn the assertions off otherwise we may
6006                            recurse infinitely while printing error messages.
6007                         */
6008                         SAVEI8(PL_utf8cache);
6009                         PL_utf8cache = 0;
6010                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
6011                                    " real %"UVuf" for %"SVf,
6012                                    (UV) ulen, (UV) real, SVfARG(sv));
6013                     }
6014                 }
6015             }
6016             else {
6017                 ulen = Perl_utf8_length(aTHX_ s, s + len);
6018                 if (!SvREADONLY(sv)) {
6019                     if (!mg && (SvTYPE(sv) < SVt_PVMG ||
6020                                 !(mg = mg_find(sv, PERL_MAGIC_utf8)))) {
6021                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
6022                                          &PL_vtbl_utf8, 0, 0);
6023                     }
6024                     assert(mg);
6025                     mg->mg_len = ulen;
6026                 }
6027             }
6028             return ulen;
6029         }
6030         return Perl_utf8_length(aTHX_ s, s + len);
6031     }
6032 }
6033
6034 /* Walk forwards to find the byte corresponding to the passed in UTF-8
6035    offset.  */
6036 static STRLEN
6037 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
6038                       STRLEN uoffset)
6039 {
6040     const U8 *s = start;
6041
6042     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
6043
6044     while (s < send && uoffset--)
6045         s += UTF8SKIP(s);
6046     if (s > send) {
6047         /* This is the existing behaviour. Possibly it should be a croak, as
6048            it's actually a bounds error  */
6049         s = send;
6050     }
6051     return s - start;
6052 }
6053
6054 /* Given the length of the string in both bytes and UTF-8 characters, decide
6055    whether to walk forwards or backwards to find the byte corresponding to
6056    the passed in UTF-8 offset.  */
6057 static STRLEN
6058 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
6059                       const STRLEN uoffset, const STRLEN uend)
6060 {
6061     STRLEN backw = uend - uoffset;
6062
6063     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
6064
6065     if (uoffset < 2 * backw) {
6066         /* The assumption is that going forwards is twice the speed of going
6067            forward (that's where the 2 * backw comes from).
6068            (The real figure of course depends on the UTF-8 data.)  */
6069         return sv_pos_u2b_forwards(start, send, uoffset);
6070     }
6071
6072     while (backw--) {
6073         send--;
6074         while (UTF8_IS_CONTINUATION(*send))
6075             send--;
6076     }
6077     return send - start;
6078 }
6079
6080 /* For the string representation of the given scalar, find the byte
6081    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
6082    give another position in the string, *before* the sought offset, which
6083    (which is always true, as 0, 0 is a valid pair of positions), which should
6084    help reduce the amount of linear searching.
6085    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
6086    will be used to reduce the amount of linear searching. The cache will be
6087    created if necessary, and the found value offered to it for update.  */
6088 static STRLEN
6089 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
6090                     const U8 *const send, const STRLEN uoffset,
6091                     STRLEN uoffset0, STRLEN boffset0)
6092 {
6093     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
6094     bool found = FALSE;
6095
6096     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
6097
6098     assert (uoffset >= uoffset0);
6099
6100     if (!SvREADONLY(sv)
6101         && PL_utf8cache
6102         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
6103                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
6104         if ((*mgp)->mg_ptr) {
6105             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
6106             if (cache[0] == uoffset) {
6107                 /* An exact match. */
6108                 return cache[1];
6109             }
6110             if (cache[2] == uoffset) {
6111                 /* An exact match. */
6112                 return cache[3];
6113             }
6114
6115             if (cache[0] < uoffset) {
6116                 /* The cache already knows part of the way.   */
6117                 if (cache[0] > uoffset0) {
6118                     /* The cache knows more than the passed in pair  */
6119                     uoffset0 = cache[0];
6120                     boffset0 = cache[1];
6121                 }
6122                 if ((*mgp)->mg_len != -1) {
6123                     /* And we know the end too.  */
6124                     boffset = boffset0
6125                         + sv_pos_u2b_midway(start + boffset0, send,
6126                                               uoffset - uoffset0,
6127                                               (*mgp)->mg_len - uoffset0);
6128                 } else {
6129                     boffset = boffset0
6130                         + sv_pos_u2b_forwards(start + boffset0,
6131                                                 send, uoffset - uoffset0);
6132                 }
6133             }
6134             else if (cache[2] < uoffset) {
6135                 /* We're between the two cache entries.  */
6136                 if (cache[2] > uoffset0) {
6137                     /* and the cache knows more than the passed in pair  */
6138                     uoffset0 = cache[2];
6139                     boffset0 = cache[3];
6140                 }
6141
6142                 boffset = boffset0
6143                     + sv_pos_u2b_midway(start + boffset0,
6144                                           start + cache[1],
6145                                           uoffset - uoffset0,
6146                                           cache[0] - uoffset0);
6147             } else {
6148                 boffset = boffset0
6149                     + sv_pos_u2b_midway(start + boffset0,
6150                                           start + cache[3],
6151                                           uoffset - uoffset0,
6152                                           cache[2] - uoffset0);
6153             }
6154             found = TRUE;
6155         }
6156         else if ((*mgp)->mg_len != -1) {
6157             /* If we can take advantage of a passed in offset, do so.  */
6158             /* In fact, offset0 is either 0, or less than offset, so don't
6159                need to worry about the other possibility.  */
6160             boffset = boffset0
6161                 + sv_pos_u2b_midway(start + boffset0, send,
6162                                       uoffset - uoffset0,
6163                                       (*mgp)->mg_len - uoffset0);
6164             found = TRUE;
6165         }
6166     }
6167
6168     if (!found || PL_utf8cache < 0) {
6169         const STRLEN real_boffset
6170             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
6171                                                send, uoffset - uoffset0);
6172
6173         if (found && PL_utf8cache < 0) {
6174             if (real_boffset != boffset) {
6175                 /* Need to turn the assertions off otherwise we may recurse
6176                    infinitely while printing error messages.  */
6177                 SAVEI8(PL_utf8cache);
6178                 PL_utf8cache = 0;
6179                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
6180                            " real %"UVuf" for %"SVf,
6181                            (UV) boffset, (UV) real_boffset, SVfARG(sv));
6182             }
6183         }
6184         boffset = real_boffset;
6185     }
6186
6187     if (PL_utf8cache)
6188         utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
6189     return boffset;
6190 }
6191
6192
6193 /*
6194 =for apidoc sv_pos_u2b
6195
6196 Converts the value pointed to by offsetp from a count of UTF-8 chars from
6197 the start of the string, to a count of the equivalent number of bytes; if
6198 lenp is non-zero, it does the same to lenp, but this time starting from
6199 the offset, rather than from the start of the string. Handles magic and
6200 type coercion.
6201
6202 =cut
6203 */
6204
6205 /*
6206  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
6207  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6208  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6209  *
6210  */
6211
6212 void
6213 Perl_sv_pos_u2b(pTHX_ register SV *const sv, I32 *const offsetp, I32 *const lenp)
6214 {
6215     const U8 *start;
6216     STRLEN len;
6217
6218     PERL_ARGS_ASSERT_SV_POS_U2B;
6219
6220     if (!sv)
6221         return;
6222
6223     start = (U8*)SvPV_const(sv, len);
6224     if (len) {
6225         STRLEN uoffset = (STRLEN) *offsetp;
6226         const U8 * const send = start + len;
6227         MAGIC *mg = NULL;
6228         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
6229                                              uoffset, 0, 0);
6230
6231         *offsetp = (I32) boffset;
6232
6233         if (lenp) {
6234             /* Convert the relative offset to absolute.  */
6235             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
6236             const STRLEN boffset2
6237                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
6238                                       uoffset, boffset) - boffset;
6239
6240             *lenp = boffset2;
6241         }
6242     }
6243     else {
6244          *offsetp = 0;
6245          if (lenp)
6246               *lenp = 0;
6247     }
6248
6249     return;
6250 }
6251
6252 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
6253    byte length pairing. The (byte) length of the total SV is passed in too,
6254    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
6255    may not have updated SvCUR, so we can't rely on reading it directly.
6256
6257    The proffered utf8/byte length pairing isn't used if the cache already has
6258    two pairs, and swapping either for the proffered pair would increase the
6259    RMS of the intervals between known byte offsets.
6260
6261    The cache itself consists of 4 STRLEN values
6262    0: larger UTF-8 offset
6263    1: corresponding byte offset
6264    2: smaller UTF-8 offset
6265    3: corresponding byte offset
6266
6267    Unused cache pairs have the value 0, 0.
6268    Keeping the cache "backwards" means that the invariant of
6269    cache[0] >= cache[2] is maintained even with empty slots, which means that
6270    the code that uses it doesn't need to worry if only 1 entry has actually
6271    been set to non-zero.  It also makes the "position beyond the end of the
6272    cache" logic much simpler, as the first slot is always the one to start
6273    from.   
6274 */
6275 static void
6276 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
6277                            const STRLEN utf8, const STRLEN blen)
6278 {
6279     STRLEN *cache;
6280
6281     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
6282
6283     if (SvREADONLY(sv))
6284         return;
6285
6286     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
6287                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
6288         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
6289                            0);
6290         (*mgp)->mg_len = -1;
6291     }
6292     assert(*mgp);
6293
6294     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
6295         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
6296         (*mgp)->mg_ptr = (char *) cache;
6297     }
6298     assert(cache);
6299
6300     if (PL_utf8cache < 0 && SvPOKp(sv)) {
6301         /* SvPOKp() because it's possible that sv has string overloading, and
6302            therefore is a reference, hence SvPVX() is actually a pointer.
6303            This cures the (very real) symptoms of RT 69422, but I'm not actually
6304            sure whether we should even be caching the results of UTF-8
6305            operations on overloading, given that nothing stops overloading
6306            returning a different value every time it's called.  */
6307         const U8 *start = (const U8 *) SvPVX_const(sv);
6308         const STRLEN realutf8 = utf8_length(start, start + byte);
6309
6310         if (realutf8 != utf8) {
6311             /* Need to turn the assertions off otherwise we may recurse
6312                infinitely while printing error messages.  */
6313             SAVEI8(PL_utf8cache);
6314             PL_utf8cache = 0;
6315             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
6316                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, SVfARG(sv));
6317         }
6318     }
6319
6320     /* Cache is held with the later position first, to simplify the code
6321        that deals with unbounded ends.  */
6322        
6323     ASSERT_UTF8_CACHE(cache);
6324     if (cache[1] == 0) {
6325         /* Cache is totally empty  */
6326         cache[0] = utf8;
6327         cache[1] = byte;
6328     } else if (cache[3] == 0) {
6329         if (byte > cache[1]) {
6330             /* New one is larger, so goes first.  */
6331             cache[2] = cache[0];
6332             cache[3] = cache[1];
6333             cache[0] = utf8;
6334             cache[1] = byte;
6335         } else {
6336             cache[2] = utf8;
6337             cache[3] = byte;
6338         }
6339     } else {
6340 #define THREEWAY_SQUARE(a,b,c,d) \
6341             ((float)((d) - (c))) * ((float)((d) - (c))) \
6342             + ((float)((c) - (b))) * ((float)((c) - (b))) \
6343                + ((float)((b) - (a))) * ((float)((b) - (a)))
6344
6345         /* Cache has 2 slots in use, and we know three potential pairs.
6346            Keep the two that give the lowest RMS distance. Do the
6347            calcualation in bytes simply because we always know the byte
6348            length.  squareroot has the same ordering as the positive value,
6349            so don't bother with the actual square root.  */
6350         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
6351         if (byte > cache[1]) {
6352             /* New position is after the existing pair of pairs.  */
6353             const float keep_earlier
6354                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6355             const float keep_later
6356                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
6357
6358             if (keep_later < keep_earlier) {
6359                 if (keep_later < existing) {
6360                     cache[2] = cache[0];
6361                     cache[3] = cache[1];
6362                     cache[0] = utf8;
6363                     cache[1] = byte;
6364                 }
6365             }
6366             else {
6367                 if (keep_earlier < existing) {
6368                     cache[0] = utf8;
6369                     cache[1] = byte;
6370                 }
6371             }
6372         }
6373         else if (byte > cache[3]) {
6374             /* New position is between the existing pair of pairs.  */
6375             const float keep_earlier
6376                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6377             const float keep_later
6378                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6379
6380             if (keep_later < keep_earlier) {
6381                 if (keep_later < existing) {
6382                     cache[2] = utf8;
6383                     cache[3] = byte;
6384                 }
6385             }
6386             else {
6387                 if (keep_earlier < existing) {
6388                     cache[0] = utf8;
6389                     cache[1] = byte;
6390                 }
6391             }
6392         }
6393         else {
6394             /* New position is before the existing pair of pairs.  */
6395             const float keep_earlier
6396                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
6397             const float keep_later
6398                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6399
6400             if (keep_later < keep_earlier) {
6401                 if (keep_later < existing) {
6402                     cache[2] = utf8;
6403                     cache[3] = byte;
6404                 }
6405             }
6406             else {
6407                 if (keep_earlier < existing) {
6408                     cache[0] = cache[2];
6409                     cache[1] = cache[3];
6410                     cache[2] = utf8;
6411                     cache[3] = byte;
6412                 }
6413             }
6414         }
6415     }
6416     ASSERT_UTF8_CACHE(cache);
6417 }
6418
6419 /* We already know all of the way, now we may be able to walk back.  The same
6420    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
6421    backward is half the speed of walking forward. */
6422 static STRLEN
6423 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
6424                     const U8 *end, STRLEN endu)
6425 {
6426     const STRLEN forw = target - s;
6427     STRLEN backw = end - target;
6428
6429     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
6430
6431     if (forw < 2 * backw) {
6432         return utf8_length(s, target);
6433     }
6434
6435     while (end > target) {
6436         end--;
6437         while (UTF8_IS_CONTINUATION(*end)) {
6438             end--;
6439         }
6440         endu--;
6441     }
6442     return endu;
6443 }
6444
6445 /*
6446 =for apidoc sv_pos_b2u
6447
6448 Converts the value pointed to by offsetp from a count of bytes from the
6449 start of the string, to a count of the equivalent number of UTF-8 chars.
6450 Handles magic and type coercion.
6451
6452 =cut
6453 */
6454
6455 /*
6456  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
6457  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6458  * byte offsets.
6459  *
6460  */
6461 void
6462 Perl_sv_pos_b2u(pTHX_ register SV *const sv, I32 *const offsetp)
6463 {
6464     const U8* s;
6465     const STRLEN byte = *offsetp;
6466     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
6467     STRLEN blen;
6468     MAGIC* mg = NULL;
6469     const U8* send;
6470     bool found = FALSE;
6471
6472     PERL_ARGS_ASSERT_SV_POS_B2U;
6473
6474     if (!sv)
6475         return;
6476
6477     s = (const U8*)SvPV_const(sv, blen);
6478
6479     if (blen < byte)
6480         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
6481
6482     send = s + byte;
6483
6484     if (!SvREADONLY(sv)
6485         && PL_utf8cache
6486         && SvTYPE(sv) >= SVt_PVMG
6487         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
6488     {
6489         if (mg->mg_ptr) {
6490             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
6491             if (cache[1] == byte) {
6492                 /* An exact match. */
6493                 *offsetp = cache[0];
6494                 return;
6495             }
6496             if (cache[3] == byte) {
6497                 /* An exact match. */
6498                 *offsetp = cache[2];
6499                 return;
6500             }
6501
6502             if (cache[1] < byte) {
6503                 /* We already know part of the way. */
6504                 if (mg->mg_len != -1) {
6505                     /* Actually, we know the end too.  */
6506                     len = cache[0]
6507                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
6508                                               s + blen, mg->mg_len - cache[0]);
6509                 } else {
6510                     len = cache[0] + utf8_length(s + cache[1], send);
6511                 }
6512             }
6513             else if (cache[3] < byte) {
6514                 /* We're between the two cached pairs, so we do the calculation
6515                    offset by the byte/utf-8 positions for the earlier pair,
6516                    then add the utf-8 characters from the string start to
6517                    there.  */
6518                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
6519                                           s + cache[1], cache[0] - cache[2])
6520                     + cache[2];
6521
6522             }
6523             else { /* cache[3] > byte */
6524                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
6525                                           cache[2]);
6526
6527             }
6528             ASSERT_UTF8_CACHE(cache);
6529             found = TRUE;
6530         } else if (mg->mg_len != -1) {
6531             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
6532             found = TRUE;
6533         }
6534     }
6535     if (!found || PL_utf8cache < 0) {
6536         const STRLEN real_len = utf8_length(s, send);
6537
6538         if (found && PL_utf8cache < 0) {
6539             if (len != real_len) {
6540                 /* Need to turn the assertions off otherwise we may recurse
6541                    infinitely while printing error messages.  */
6542                 SAVEI8(PL_utf8cache);
6543                 PL_utf8cache = 0;
6544                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
6545                            " real %"UVuf" for %"SVf,
6546                            (UV) len, (UV) real_len, SVfARG(sv));
6547             }
6548         }
6549         len = real_len;
6550     }
6551     *offsetp = len;
6552
6553     if (PL_utf8cache)
6554         utf8_mg_pos_cache_update(sv, &mg, byte, len, blen);
6555 }
6556
6557 /*
6558 =for apidoc sv_eq
6559
6560 Returns a boolean indicating whether the strings in the two SVs are
6561 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6562 coerce its args to strings if necessary.
6563
6564 =cut
6565 */
6566
6567 I32
6568 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
6569 {
6570     dVAR;
6571     const char *pv1;
6572     STRLEN cur1;
6573     const char *pv2;
6574     STRLEN cur2;
6575     I32  eq     = 0;
6576     char *tpv   = NULL;
6577     SV* svrecode = NULL;
6578
6579     if (!sv1) {
6580         pv1 = "";
6581         cur1 = 0;
6582     }
6583     else {
6584         /* if pv1 and pv2 are the same, second SvPV_const call may
6585          * invalidate pv1, so we may need to make a copy */
6586         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
6587             pv1 = SvPV_const(sv1, cur1);
6588             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
6589         }
6590         pv1 = SvPV_const(sv1, cur1);
6591     }
6592
6593     if (!sv2){
6594         pv2 = "";
6595         cur2 = 0;
6596     }
6597     else
6598         pv2 = SvPV_const(sv2, cur2);
6599
6600     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6601         /* Differing utf8ness.
6602          * Do not UTF8size the comparands as a side-effect. */
6603          if (PL_encoding) {
6604               if (SvUTF8(sv1)) {
6605                    svrecode = newSVpvn(pv2, cur2);
6606                    sv_recode_to_utf8(svrecode, PL_encoding);
6607                    pv2 = SvPV_const(svrecode, cur2);
6608               }
6609               else {
6610                    svrecode = newSVpvn(pv1, cur1);
6611                    sv_recode_to_utf8(svrecode, PL_encoding);
6612                    pv1 = SvPV_const(svrecode, cur1);
6613               }
6614               /* Now both are in UTF-8. */
6615               if (cur1 != cur2) {
6616                    SvREFCNT_dec(svrecode);
6617                    return FALSE;
6618               }
6619          }
6620          else {
6621               bool is_utf8 = TRUE;
6622
6623               if (SvUTF8(sv1)) {
6624                    /* sv1 is the UTF-8 one,
6625                     * if is equal it must be downgrade-able */
6626                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
6627                                                      &cur1, &is_utf8);
6628                    if (pv != pv1)
6629                         pv1 = tpv = pv;
6630               }
6631               else {
6632                    /* sv2 is the UTF-8 one,
6633                     * if is equal it must be downgrade-able */
6634                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
6635                                                       &cur2, &is_utf8);
6636                    if (pv != pv2)
6637                         pv2 = tpv = pv;
6638               }
6639               if (is_utf8) {
6640                    /* Downgrade not possible - cannot be eq */
6641                    assert (tpv == 0);
6642                    return FALSE;
6643               }
6644          }
6645     }
6646
6647     if (cur1 == cur2)
6648         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
6649         
6650     SvREFCNT_dec(svrecode);
6651     if (tpv)
6652         Safefree(tpv);
6653
6654     return eq;
6655 }
6656
6657 /*
6658 =for apidoc sv_cmp
6659
6660 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
6661 string in C<sv1> is less than, equal to, or greater than the string in
6662 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
6663 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6664
6665 =cut
6666 */
6667
6668 I32
6669 Perl_sv_cmp(pTHX_ register SV *const sv1, register SV *const sv2)
6670 {
6671     dVAR;
6672     STRLEN cur1, cur2;
6673     const char *pv1, *pv2;
6674     char *tpv = NULL;
6675     I32  cmp;
6676     SV *svrecode = NULL;
6677
6678     if (!sv1) {
6679         pv1 = "";
6680         cur1 = 0;
6681     }
6682     else
6683         pv1 = SvPV_const(sv1, cur1);
6684
6685     if (!sv2) {
6686         pv2 = "";
6687         cur2 = 0;
6688     }
6689     else
6690         pv2 = SvPV_const(sv2, cur2);
6691
6692     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6693         /* Differing utf8ness.
6694          * Do not UTF8size the comparands as a side-effect. */
6695         if (SvUTF8(sv1)) {
6696             if (PL_encoding) {
6697                  svrecode = newSVpvn(pv2, cur2);
6698                  sv_recode_to_utf8(svrecode, PL_encoding);
6699                  pv2 = SvPV_const(svrecode, cur2);
6700             }
6701             else {
6702                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6703             }
6704         }
6705         else {
6706             if (PL_encoding) {
6707                  svrecode = newSVpvn(pv1, cur1);
6708                  sv_recode_to_utf8(svrecode, PL_encoding);
6709                  pv1 = SvPV_const(svrecode, cur1);
6710             }
6711             else {
6712                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6713             }
6714         }
6715     }
6716
6717     if (!cur1) {
6718         cmp = cur2 ? -1 : 0;
6719     } else if (!cur2) {
6720         cmp = 1;
6721     } else {
6722         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6723
6724         if (retval) {
6725             cmp = retval < 0 ? -1 : 1;
6726         } else if (cur1 == cur2) {
6727             cmp = 0;
6728         } else {
6729             cmp = cur1 < cur2 ? -1 : 1;
6730         }
6731     }
6732
6733     SvREFCNT_dec(svrecode);
6734     if (tpv)
6735         Safefree(tpv);
6736
6737     return cmp;
6738 }
6739
6740 /*
6741 =for apidoc sv_cmp_locale
6742
6743 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6744 'use bytes' aware, handles get magic, and will coerce its args to strings
6745 if necessary.  See also C<sv_cmp>.
6746
6747 =cut
6748 */
6749
6750 I32
6751 Perl_sv_cmp_locale(pTHX_ register SV *const sv1, register SV *const sv2)
6752 {
6753     dVAR;
6754 #ifdef USE_LOCALE_COLLATE
6755
6756     char *pv1, *pv2;
6757     STRLEN len1, len2;
6758     I32 retval;
6759
6760     if (PL_collation_standard)
6761         goto raw_compare;
6762
6763     len1 = 0;
6764     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6765     len2 = 0;
6766     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6767
6768     if (!pv1 || !len1) {
6769         if (pv2 && len2)
6770             return -1;
6771         else
6772             goto raw_compare;
6773     }
6774     else {
6775         if (!pv2 || !len2)
6776             return 1;
6777     }
6778
6779     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6780
6781     if (retval)
6782         return retval < 0 ? -1 : 1;
6783
6784     /*
6785      * When the result of collation is equality, that doesn't mean
6786      * that there are no differences -- some locales exclude some
6787      * characters from consideration.  So to avoid false equalities,
6788      * we use the raw string as a tiebreaker.
6789      */
6790
6791   raw_compare:
6792     /*FALLTHROUGH*/
6793
6794 #endif /* USE_LOCALE_COLLATE */
6795
6796     return sv_cmp(sv1, sv2);
6797 }
6798
6799
6800 #ifdef USE_LOCALE_COLLATE
6801
6802 /*
6803 =for apidoc sv_collxfrm
6804
6805 Add Collate Transform magic to an SV if it doesn't already have it.
6806
6807 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6808 scalar data of the variable, but transformed to such a format that a normal
6809 memory comparison can be used to compare the data according to the locale
6810 settings.
6811
6812 =cut
6813 */
6814
6815 char *
6816 Perl_sv_collxfrm(pTHX_ SV *const sv, STRLEN *const nxp)
6817 {
6818     dVAR;
6819     MAGIC *mg;
6820
6821     PERL_ARGS_ASSERT_SV_COLLXFRM;
6822
6823     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6824     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6825         const char *s;
6826         char *xf;
6827         STRLEN len, xlen;
6828
6829         if (mg)
6830             Safefree(mg->mg_ptr);
6831         s = SvPV_const(sv, len);
6832         if ((xf = mem_collxfrm(s, len, &xlen))) {
6833             if (! mg) {
6834 #ifdef PERL_OLD_COPY_ON_WRITE
6835                 if (SvIsCOW(sv))
6836                     sv_force_normal_flags(sv, 0);
6837 #endif
6838                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6839                                  0, 0);
6840                 assert(mg);
6841             }
6842             mg->mg_ptr = xf;
6843             mg->mg_len = xlen;
6844         }
6845         else {
6846             if (mg) {
6847                 mg->mg_ptr = NULL;
6848                 mg->mg_len = -1;
6849             }
6850         }
6851     }
6852     if (mg && mg->mg_ptr) {
6853         *nxp = mg->mg_len;
6854         return mg->mg_ptr + sizeof(PL_collation_ix);
6855     }
6856     else {
6857         *nxp = 0;
6858         return NULL;
6859     }
6860 }
6861
6862 #endif /* USE_LOCALE_COLLATE */
6863
6864 /*
6865 =for apidoc sv_gets
6866
6867 Get a line from the filehandle and store it into the SV, optionally
6868 appending to the currently-stored string.
6869
6870 =cut
6871 */
6872
6873 char *
6874 Perl_sv_gets(pTHX_ register SV *const sv, register PerlIO *const fp, I32 append)
6875 {
6876     dVAR;
6877     const char *rsptr;
6878     STRLEN rslen;
6879     register STDCHAR rslast;
6880     register STDCHAR *bp;
6881     register I32 cnt;
6882     I32 i = 0;
6883     I32 rspara = 0;
6884
6885     PERL_ARGS_ASSERT_SV_GETS;
6886
6887     if (SvTHINKFIRST(sv))
6888         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6889     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6890        from <>.
6891        However, perlbench says it's slower, because the existing swipe code
6892        is faster than copy on write.
6893        Swings and roundabouts.  */
6894     SvUPGRADE(sv, SVt_PV);
6895
6896     SvSCREAM_off(sv);
6897
6898     if (append) {
6899         if (PerlIO_isutf8(fp)) {
6900             if (!SvUTF8(sv)) {
6901                 sv_utf8_upgrade_nomg(sv);
6902                 sv_pos_u2b(sv,&append,0);
6903             }
6904         } else if (SvUTF8(sv)) {
6905             SV * const tsv = newSV(0);
6906             sv_gets(tsv, fp, 0);
6907             sv_utf8_upgrade_nomg(tsv);
6908             SvCUR_set(sv,append);
6909             sv_catsv(sv,tsv);
6910             sv_free(tsv);
6911             goto return_string_or_null;
6912         }
6913     }
6914
6915     SvPOK_only(sv);
6916     if (PerlIO_isutf8(fp))
6917         SvUTF8_on(sv);
6918
6919     if (IN_PERL_COMPILETIME) {
6920         /* we always read code in line mode */
6921         rsptr = "\n";
6922         rslen = 1;
6923     }
6924     else if (RsSNARF(PL_rs)) {
6925         /* If it is a regular disk file use size from stat() as estimate
6926            of amount we are going to read -- may result in mallocing
6927            more memory than we really need if the layers below reduce
6928            the size we read (e.g. CRLF or a gzip layer).
6929          */
6930         Stat_t st;
6931         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6932             const Off_t offset = PerlIO_tell(fp);
6933             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6934                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6935             }
6936         }
6937         rsptr = NULL;
6938         rslen = 0;
6939     }
6940     else if (RsRECORD(PL_rs)) {
6941       I32 bytesread;
6942       char *buffer;
6943       U32 recsize;
6944 #ifdef VMS
6945       int fd;
6946 #endif
6947
6948       /* Grab the size of the record we're getting */
6949       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6950       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6951       /* Go yank in */
6952 #ifdef VMS
6953       /* VMS wants read instead of fread, because fread doesn't respect */
6954       /* RMS record boundaries. This is not necessarily a good thing to be */
6955       /* doing, but we've got no other real choice - except avoid stdio
6956          as implementation - perhaps write a :vms layer ?
6957        */
6958       fd = PerlIO_fileno(fp);
6959       if (fd == -1) { /* in-memory file from PerlIO::Scalar */
6960           bytesread = PerlIO_read(fp, buffer, recsize);
6961       }
6962       else {
6963           bytesread = PerlLIO_read(fd, buffer, recsize);
6964       }
6965 #else
6966       bytesread = PerlIO_read(fp, buffer, recsize);
6967 #endif
6968       if (bytesread < 0)
6969           bytesread = 0;
6970       SvCUR_set(sv, bytesread + append);
6971       buffer[bytesread] = '\0';
6972       goto return_string_or_null;
6973     }
6974     else if (RsPARA(PL_rs)) {
6975         rsptr = "\n\n";
6976         rslen = 2;
6977         rspara = 1;
6978     }
6979     else {
6980         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6981         if (PerlIO_isutf8(fp)) {
6982             rsptr = SvPVutf8(PL_rs, rslen);
6983         }
6984         else {
6985             if (SvUTF8(PL_rs)) {
6986                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6987                     Perl_croak(aTHX_ "Wide character in $/");
6988                 }
6989             }
6990             rsptr = SvPV_const(PL_rs, rslen);
6991         }
6992     }
6993
6994     rslast = rslen ? rsptr[rslen - 1] : '\0';
6995
6996     if (rspara) {               /* have to do this both before and after */
6997         do {                    /* to make sure file boundaries work right */
6998             if (PerlIO_eof(fp))
6999                 return 0;
7000             i = PerlIO_getc(fp);
7001             if (i != '\n') {
7002                 if (i == -1)
7003                     return 0;
7004                 PerlIO_ungetc(fp,i);
7005                 break;
7006             }
7007         } while (i != EOF);
7008     }
7009
7010     /* See if we know enough about I/O mechanism to cheat it ! */
7011
7012     /* This used to be #ifdef test - it is made run-time test for ease
7013        of abstracting out stdio interface. One call should be cheap
7014        enough here - and may even be a macro allowing compile
7015        time optimization.
7016      */
7017
7018     if (PerlIO_fast_gets(fp)) {
7019
7020     /*
7021      * We're going to steal some values from the stdio struct
7022      * and put EVERYTHING in the innermost loop into registers.
7023      */
7024     register STDCHAR *ptr;
7025     STRLEN bpx;
7026     I32 shortbuffered;
7027
7028 #if defined(VMS) && defined(PERLIO_IS_STDIO)
7029     /* An ungetc()d char is handled separately from the regular
7030      * buffer, so we getc() it back out and stuff it in the buffer.
7031      */
7032     i = PerlIO_getc(fp);
7033     if (i == EOF) return 0;
7034     *(--((*fp)->_ptr)) = (unsigned char) i;
7035     (*fp)->_cnt++;
7036 #endif
7037
7038     /* Here is some breathtakingly efficient cheating */
7039
7040     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
7041     /* make sure we have the room */
7042     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
7043         /* Not room for all of it
7044            if we are looking for a separator and room for some
7045          */
7046         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
7047             /* just process what we have room for */
7048             shortbuffered = cnt - SvLEN(sv) + append + 1;
7049             cnt -= shortbuffered;
7050         }
7051         else {
7052             shortbuffered = 0;
7053             /* remember that cnt can be negative */
7054             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
7055         }
7056     }
7057     else
7058         shortbuffered = 0;
7059     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
7060     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
7061     DEBUG_P(PerlIO_printf(Perl_debug_log,
7062         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7063     DEBUG_P(PerlIO_printf(Perl_debug_log,
7064         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7065                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7066                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
7067     for (;;) {
7068       screamer:
7069         if (cnt > 0) {
7070             if (rslen) {
7071                 while (cnt > 0) {                    /* this     |  eat */
7072                     cnt--;
7073                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
7074                         goto thats_all_folks;        /* screams  |  sed :-) */
7075                 }
7076             }
7077             else {
7078                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
7079                 bp += cnt;                           /* screams  |  dust */
7080                 ptr += cnt;                          /* louder   |  sed :-) */
7081                 cnt = 0;
7082             }
7083         }
7084         
7085         if (shortbuffered) {            /* oh well, must extend */
7086             cnt = shortbuffered;
7087             shortbuffered = 0;
7088             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
7089             SvCUR_set(sv, bpx);
7090             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
7091             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
7092             continue;
7093         }
7094
7095         DEBUG_P(PerlIO_printf(Perl_debug_log,
7096                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
7097                               PTR2UV(ptr),(long)cnt));
7098         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
7099 #if 0
7100         DEBUG_P(PerlIO_printf(Perl_debug_log,
7101             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7102             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7103             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7104 #endif
7105         /* This used to call 'filbuf' in stdio form, but as that behaves like
7106            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
7107            another abstraction.  */
7108         i   = PerlIO_getc(fp);          /* get more characters */
7109 #if 0
7110         DEBUG_P(PerlIO_printf(Perl_debug_log,
7111             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7112             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7113             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7114 #endif
7115         cnt = PerlIO_get_cnt(fp);
7116         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
7117         DEBUG_P(PerlIO_printf(Perl_debug_log,
7118             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7119
7120         if (i == EOF)                   /* all done for ever? */
7121             goto thats_really_all_folks;
7122
7123         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
7124         SvCUR_set(sv, bpx);
7125         SvGROW(sv, bpx + cnt + 2);
7126         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
7127
7128         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
7129
7130         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
7131             goto thats_all_folks;
7132     }
7133
7134 thats_all_folks:
7135     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
7136           memNE((char*)bp - rslen, rsptr, rslen))
7137         goto screamer;                          /* go back to the fray */
7138 thats_really_all_folks:
7139     if (shortbuffered)
7140         cnt += shortbuffered;
7141         DEBUG_P(PerlIO_printf(Perl_debug_log,
7142             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7143     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
7144     DEBUG_P(PerlIO_printf(Perl_debug_log,
7145         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7146         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7147         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7148     *bp = '\0';
7149     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
7150     DEBUG_P(PerlIO_printf(Perl_debug_log,
7151         "Screamer: done, len=%ld, string=|%.*s|\n",
7152         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
7153     }
7154    else
7155     {
7156        /*The big, slow, and stupid way. */
7157 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
7158         STDCHAR *buf = NULL;
7159         Newx(buf, 8192, STDCHAR);
7160         assert(buf);
7161 #else
7162         STDCHAR buf[8192];
7163 #endif
7164
7165 screamer2:
7166         if (rslen) {
7167             register const STDCHAR * const bpe = buf + sizeof(buf);
7168             bp = buf;
7169             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
7170                 ; /* keep reading */
7171             cnt = bp - buf;
7172         }
7173         else {
7174             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
7175             /* Accomodate broken VAXC compiler, which applies U8 cast to
7176              * both args of ?: operator, causing EOF to change into 255
7177              */
7178             if (cnt > 0)
7179                  i = (U8)buf[cnt - 1];
7180             else
7181                  i = EOF;
7182         }
7183
7184         if (cnt < 0)
7185             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
7186         if (append)
7187              sv_catpvn(sv, (char *) buf, cnt);
7188         else
7189              sv_setpvn(sv, (char *) buf, cnt);
7190
7191         if (i != EOF &&                 /* joy */
7192             (!rslen ||
7193              SvCUR(sv) < rslen ||
7194              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
7195         {
7196             append = -1;
7197             /*
7198              * If we're reading from a TTY and we get a short read,
7199              * indicating that the user hit his EOF character, we need
7200              * to notice it now, because if we try to read from the TTY
7201              * again, the EOF condition will disappear.
7202              *
7203              * The comparison of cnt to sizeof(buf) is an optimization
7204              * that prevents unnecessary calls to feof().
7205              *
7206              * - jik 9/25/96
7207              */
7208             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
7209                 goto screamer2;
7210         }
7211
7212 #ifdef USE_HEAP_INSTEAD_OF_STACK
7213         Safefree(buf);
7214 #endif
7215     }
7216
7217     if (rspara) {               /* have to do this both before and after */
7218         while (i != EOF) {      /* to make sure file boundaries work right */
7219             i = PerlIO_getc(fp);
7220             if (i != '\n') {
7221                 PerlIO_ungetc(fp,i);
7222                 break;
7223             }
7224         }
7225     }
7226
7227 return_string_or_null:
7228     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7229 }
7230
7231 /*
7232 =for apidoc sv_inc
7233
7234 Auto-increment of the value in the SV, doing string to numeric conversion
7235 if necessary. Handles 'get' magic.
7236
7237 =cut
7238 */
7239
7240 void
7241 Perl_sv_inc(pTHX_ register SV *const sv)
7242 {
7243     dVAR;
7244     register char *d;
7245     int flags;
7246
7247     if (!sv)
7248         return;
7249     SvGETMAGIC(sv);
7250     if (SvTHINKFIRST(sv)) {
7251         if (SvIsCOW(sv))
7252             sv_force_normal_flags(sv, 0);
7253         if (SvREADONLY(sv)) {
7254             if (IN_PERL_RUNTIME)
7255                 Perl_croak(aTHX_ "%s", PL_no_modify);
7256         }
7257         if (SvROK(sv)) {
7258             IV i;
7259             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
7260                 return;
7261             i = PTR2IV(SvRV(sv));
7262             sv_unref(sv);
7263             sv_setiv(sv, i);
7264         }
7265     }
7266     flags = SvFLAGS(sv);
7267     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
7268         /* It's (privately or publicly) a float, but not tested as an
7269            integer, so test it to see. */
7270         (void) SvIV(sv);
7271         flags = SvFLAGS(sv);
7272     }
7273     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7274         /* It's publicly an integer, or privately an integer-not-float */
7275 #ifdef PERL_PRESERVE_IVUV
7276       oops_its_int:
7277 #endif
7278         if (SvIsUV(sv)) {
7279             if (SvUVX(sv) == UV_MAX)
7280                 sv_setnv(sv, UV_MAX_P1);
7281             else
7282                 (void)SvIOK_only_UV(sv);
7283                 SvUV_set(sv, SvUVX(sv) + 1);
7284         } else {
7285             if (SvIVX(sv) == IV_MAX)
7286                 sv_setuv(sv, (UV)IV_MAX + 1);
7287             else {
7288                 (void)SvIOK_only(sv);
7289                 SvIV_set(sv, SvIVX(sv) + 1);
7290             }   
7291         }
7292         return;
7293     }
7294     if (flags & SVp_NOK) {
7295         const NV was = SvNVX(sv);
7296         if (NV_OVERFLOWS_INTEGERS_AT &&
7297             was >= NV_OVERFLOWS_INTEGERS_AT) {
7298             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
7299                            "Lost precision when incrementing %" NVff " by 1",
7300                            was);
7301         }
7302         (void)SvNOK_only(sv);
7303         SvNV_set(sv, was + 1.0);
7304         return;
7305     }
7306
7307     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
7308         if ((flags & SVTYPEMASK) < SVt_PVIV)
7309             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
7310         (void)SvIOK_only(sv);
7311         SvIV_set(sv, 1);
7312         return;
7313     }
7314     d = SvPVX(sv);
7315     while (isALPHA(*d)) d++;
7316     while (isDIGIT(*d)) d++;
7317     if (d < SvEND(sv)) {
7318 #ifdef PERL_PRESERVE_IVUV
7319         /* Got to punt this as an integer if needs be, but we don't issue
7320            warnings. Probably ought to make the sv_iv_please() that does
7321            the conversion if possible, and silently.  */
7322         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7323         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7324             /* Need to try really hard to see if it's an integer.
7325                9.22337203685478e+18 is an integer.
7326                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7327                so $a="9.22337203685478e+18"; $a+0; $a++
7328                needs to be the same as $a="9.22337203685478e+18"; $a++
7329                or we go insane. */
7330         
7331             (void) sv_2iv(sv);
7332             if (SvIOK(sv))
7333                 goto oops_its_int;
7334
7335             /* sv_2iv *should* have made this an NV */
7336             if (flags & SVp_NOK) {
7337                 (void)SvNOK_only(sv);
7338                 SvNV_set(sv, SvNVX(sv) + 1.0);
7339                 return;
7340             }
7341             /* I don't think we can get here. Maybe I should assert this
7342                And if we do get here I suspect that sv_setnv will croak. NWC
7343                Fall through. */
7344 #if defined(USE_LONG_DOUBLE)
7345             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7346                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7347 #else
7348             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7349                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7350 #endif
7351         }
7352 #endif /* PERL_PRESERVE_IVUV */
7353         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
7354         return;
7355     }
7356     d--;
7357     while (d >= SvPVX_const(sv)) {
7358         if (isDIGIT(*d)) {
7359             if (++*d <= '9')
7360                 return;
7361             *(d--) = '0';
7362         }
7363         else {
7364 #ifdef EBCDIC
7365             /* MKS: The original code here died if letters weren't consecutive.
7366              * at least it didn't have to worry about non-C locales.  The
7367              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
7368              * arranged in order (although not consecutively) and that only
7369              * [A-Za-z] are accepted by isALPHA in the C locale.
7370              */
7371             if (*d != 'z' && *d != 'Z') {
7372                 do { ++*d; } while (!isALPHA(*d));
7373                 return;
7374             }
7375             *(d--) -= 'z' - 'a';
7376 #else
7377             ++*d;
7378             if (isALPHA(*d))
7379                 return;
7380             *(d--) -= 'z' - 'a' + 1;
7381 #endif
7382         }
7383     }
7384     /* oh,oh, the number grew */
7385     SvGROW(sv, SvCUR(sv) + 2);
7386     SvCUR_set(sv, SvCUR(sv) + 1);
7387     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
7388         *d = d[-1];
7389     if (isDIGIT(d[1]))
7390         *d = '1';
7391     else
7392         *d = d[1];
7393 }
7394
7395 /*
7396 =for apidoc sv_dec
7397
7398 Auto-decrement of the value in the SV, doing string to numeric conversion
7399 if necessary. Handles 'get' magic.
7400
7401 =cut
7402 */
7403
7404 void
7405 Perl_sv_dec(pTHX_ register SV *const sv)
7406 {
7407     dVAR;
7408     int flags;
7409
7410     if (!sv)
7411         return;
7412     SvGETMAGIC(sv);
7413     if (SvTHINKFIRST(sv)) {
7414         if (SvIsCOW(sv))
7415             sv_force_normal_flags(sv, 0);
7416         if (SvREADONLY(sv)) {
7417             if (IN_PERL_RUNTIME)
7418                 Perl_croak(aTHX_ "%s", PL_no_modify);
7419         }
7420         if (SvROK(sv)) {
7421             IV i;
7422             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
7423                 return;
7424             i = PTR2IV(SvRV(sv));
7425             sv_unref(sv);
7426             sv_setiv(sv, i);
7427         }
7428     }
7429     /* Unlike sv_inc we don't have to worry about string-never-numbers
7430        and keeping them magic. But we mustn't warn on punting */
7431     flags = SvFLAGS(sv);
7432     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7433         /* It's publicly an integer, or privately an integer-not-float */
7434 #ifdef PERL_PRESERVE_IVUV
7435       oops_its_int:
7436 #endif
7437         if (SvIsUV(sv)) {
7438             if (SvUVX(sv) == 0) {
7439                 (void)SvIOK_only(sv);
7440                 SvIV_set(sv, -1);
7441             }
7442             else {
7443                 (void)SvIOK_only_UV(sv);
7444                 SvUV_set(sv, SvUVX(sv) - 1);
7445             }   
7446         } else {
7447             if (SvIVX(sv) == IV_MIN) {
7448                 sv_setnv(sv, (NV)IV_MIN);
7449                 goto oops_its_num;
7450             }
7451             else {
7452                 (void)SvIOK_only(sv);
7453                 SvIV_set(sv, SvIVX(sv) - 1);
7454             }   
7455         }
7456         return;
7457     }
7458     if (flags & SVp_NOK) {
7459     oops_its_num:
7460         {
7461             const NV was = SvNVX(sv);
7462             if (NV_OVERFLOWS_INTEGERS_AT &&
7463                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
7464                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
7465                                "Lost precision when decrementing %" NVff " by 1",
7466                                was);
7467             }
7468             (void)SvNOK_only(sv);
7469             SvNV_set(sv, was - 1.0);
7470             return;
7471         }
7472     }
7473     if (!(flags & SVp_POK)) {
7474         if ((flags & SVTYPEMASK) < SVt_PVIV)
7475             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
7476         SvIV_set(sv, -1);
7477         (void)SvIOK_only(sv);
7478         return;
7479     }
7480 #ifdef PERL_PRESERVE_IVUV
7481     {
7482         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7483         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7484             /* Need to try really hard to see if it's an integer.
7485                9.22337203685478e+18 is an integer.
7486                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7487                so $a="9.22337203685478e+18"; $a+0; $a--
7488                needs to be the same as $a="9.22337203685478e+18"; $a--
7489                or we go insane. */
7490         
7491             (void) sv_2iv(sv);
7492             if (SvIOK(sv))
7493                 goto oops_its_int;
7494
7495             /* sv_2iv *should* have made this an NV */
7496             if (flags & SVp_NOK) {
7497                 (void)SvNOK_only(sv);
7498                 SvNV_set(sv, SvNVX(sv) - 1.0);
7499                 return;
7500             }
7501             /* I don't think we can get here. Maybe I should assert this
7502                And if we do get here I suspect that sv_setnv will croak. NWC
7503                Fall through. */
7504 #if defined(USE_LONG_DOUBLE)
7505             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7506                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7507 #else
7508             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7509                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7510 #endif
7511         }
7512     }
7513 #endif /* PERL_PRESERVE_IVUV */
7514     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
7515 }
7516
7517 /* this define is used to eliminate a chunk of duplicated but shared logic
7518  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
7519  * used anywhere but here - yves
7520  */
7521 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
7522     STMT_START {      \
7523         EXTEND_MORTAL(1); \
7524         PL_tmps_stack[++PL_tmps_ix] = (AnSv); \
7525     } STMT_END
7526
7527 /*
7528 =for apidoc sv_mortalcopy
7529
7530 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
7531 The new SV is marked as mortal. It will be destroyed "soon", either by an
7532 explicit call to FREETMPS, or by an implicit call at places such as
7533 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
7534
7535 =cut
7536 */
7537
7538 /* Make a string that will exist for the duration of the expression
7539  * evaluation.  Actually, it may have to last longer than that, but
7540  * hopefully we won't free it until it has been assigned to a
7541  * permanent location. */
7542
7543 SV *
7544 Perl_sv_mortalcopy(pTHX_ SV *const oldstr)
7545 {
7546     dVAR;
7547     register SV *sv;
7548
7549     new_SV(sv);
7550     sv_setsv(sv,oldstr);
7551     PUSH_EXTEND_MORTAL__SV_C(sv);
7552     SvTEMP_on(sv);
7553     return sv;
7554 }
7555
7556 /*
7557 =for apidoc sv_newmortal
7558
7559 Creates a new null SV which is mortal.  The reference count of the SV is
7560 set to 1. It will be destroyed "soon", either by an explicit call to
7561 FREETMPS, or by an implicit call at places such as statement boundaries.
7562 See also C<sv_mortalcopy> and C<sv_2mortal>.
7563
7564 =cut
7565 */
7566
7567 SV *
7568 Perl_sv_newmortal(pTHX)
7569 {
7570     dVAR;
7571     register SV *sv;
7572
7573     new_SV(sv);
7574     SvFLAGS(sv) = SVs_TEMP;
7575     PUSH_EXTEND_MORTAL__SV_C(sv);
7576     return sv;
7577 }
7578
7579
7580 /*
7581 =for apidoc newSVpvn_flags
7582
7583 Creates a new SV and copies a string into it.  The reference count for the
7584 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7585 string.  You are responsible for ensuring that the source string is at least
7586 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7587 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
7588 If C<SVs_TEMP> is set, then C<sv2mortal()> is called on the result before
7589 returning. If C<SVf_UTF8> is set, then it will be set on the new SV.
7590 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
7591
7592     #define newSVpvn_utf8(s, len, u)                    \
7593         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
7594
7595 =cut
7596 */
7597
7598 SV *
7599 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
7600 {
7601     dVAR;
7602     register SV *sv;
7603
7604     /* All the flags we don't support must be zero.
7605        And we're new code so I'm going to assert this from the start.  */
7606     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
7607     new_SV(sv);
7608     sv_setpvn(sv,s,len);
7609
7610     /* This code used to a sv_2mortal(), however we now unroll the call to sv_2mortal()
7611      * and do what it does outselves here.
7612      * Since we have asserted that flags can only have the SVf_UTF8 and/or SVs_TEMP flags
7613      * set above we can use it to enable the sv flags directly (bypassing SvTEMP_on), which
7614      * in turn means we dont need to mask out the SVf_UTF8 flag below, which means that we
7615      * eleminate quite a few steps than it looks - Yves (explaining patch by gfx)
7616      */
7617
7618     SvFLAGS(sv) |= flags;
7619
7620     if(flags & SVs_TEMP){
7621         PUSH_EXTEND_MORTAL__SV_C(sv);
7622     }
7623
7624     return sv;
7625 }
7626
7627 /*
7628 =for apidoc sv_2mortal
7629
7630 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
7631 by an explicit call to FREETMPS, or by an implicit call at places such as
7632 statement boundaries.  SvTEMP() is turned on which means that the SV's
7633 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
7634 and C<sv_mortalcopy>.
7635
7636 =cut
7637 */
7638
7639 SV *
7640 Perl_sv_2mortal(pTHX_ register SV *const sv)
7641 {
7642     dVAR;
7643     if (!sv)
7644         return NULL;
7645     if (SvREADONLY(sv) && SvIMMORTAL(sv))
7646         return sv;
7647     PUSH_EXTEND_MORTAL__SV_C(sv);
7648     SvTEMP_on(sv);
7649     return sv;
7650 }
7651
7652 /*
7653 =for apidoc newSVpv
7654
7655 Creates a new SV and copies a string into it.  The reference count for the
7656 SV is set to 1.  If C<len> is zero, Perl will compute the length using
7657 strlen().  For efficiency, consider using C<newSVpvn> instead.
7658
7659 =cut
7660 */
7661
7662 SV *
7663 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
7664 {
7665     dVAR;
7666     register SV *sv;
7667
7668     new_SV(sv);
7669     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
7670     return sv;
7671 }
7672
7673 /*
7674 =for apidoc newSVpvn
7675
7676 Creates a new SV and copies a string into it.  The reference count for the
7677 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
7678 string.  You are responsible for ensuring that the source string is at least
7679 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
7680
7681 =cut
7682 */
7683
7684 SV *
7685 Perl_newSVpvn(pTHX_ const char *const s, const STRLEN len)
7686 {
7687     dVAR;
7688     register SV *sv;
7689
7690     new_SV(sv);
7691     sv_setpvn(sv,s,len);
7692     return sv;
7693 }
7694
7695 /*
7696 =for apidoc newSVhek
7697
7698 Creates a new SV from the hash key structure.  It will generate scalars that
7699 point to the shared string table where possible. Returns a new (undefined)
7700 SV if the hek is NULL.
7701
7702 =cut
7703 */
7704
7705 SV *
7706 Perl_newSVhek(pTHX_ const HEK *const hek)
7707 {
7708     dVAR;
7709     if (!hek) {
7710         SV *sv;
7711
7712         new_SV(sv);
7713         return sv;
7714     }
7715
7716     if (HEK_LEN(hek) == HEf_SVKEY) {
7717         return newSVsv(*(SV**)HEK_KEY(hek));
7718     } else {
7719         const int flags = HEK_FLAGS(hek);
7720         if (flags & HVhek_WASUTF8) {
7721             /* Trouble :-)
7722                Andreas would like keys he put in as utf8 to come back as utf8
7723             */
7724             STRLEN utf8_len = HEK_LEN(hek);
7725             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
7726             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
7727
7728             SvUTF8_on (sv);
7729             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
7730             return sv;
7731         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
7732             /* We don't have a pointer to the hv, so we have to replicate the
7733                flag into every HEK. This hv is using custom a hasing
7734                algorithm. Hence we can't return a shared string scalar, as
7735                that would contain the (wrong) hash value, and might get passed
7736                into an hv routine with a regular hash.
7737                Similarly, a hash that isn't using shared hash keys has to have
7738                the flag in every key so that we know not to try to call
7739                share_hek_kek on it.  */
7740
7741             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
7742             if (HEK_UTF8(hek))
7743                 SvUTF8_on (sv);
7744             return sv;
7745         }
7746         /* This will be overwhelminly the most common case.  */
7747         {
7748             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7749                more efficient than sharepvn().  */
7750             SV *sv;
7751
7752             new_SV(sv);
7753             sv_upgrade(sv, SVt_PV);
7754             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7755             SvCUR_set(sv, HEK_LEN(hek));
7756             SvLEN_set(sv, 0);
7757             SvREADONLY_on(sv);
7758             SvFAKE_on(sv);
7759             SvPOK_on(sv);
7760             if (HEK_UTF8(hek))
7761                 SvUTF8_on(sv);
7762             return sv;
7763         }
7764     }
7765 }
7766
7767 /*
7768 =for apidoc newSVpvn_share
7769
7770 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7771 table. If the string does not already exist in the table, it is created
7772 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
7773 value is used; otherwise the hash is computed. The string's hash can be later
7774 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
7775 that as the string table is used for shared hash keys these strings will have
7776 SvPVX_const == HeKEY and hash lookup will avoid string compare.
7777
7778 =cut
7779 */
7780
7781 SV *
7782 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7783 {
7784     dVAR;
7785     register SV *sv;
7786     bool is_utf8 = FALSE;
7787     const char *const orig_src = src;
7788
7789     if (len < 0) {
7790         STRLEN tmplen = -len;
7791         is_utf8 = TRUE;
7792         /* See the note in hv.c:hv_fetch() --jhi */
7793         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7794         len = tmplen;
7795     }
7796     if (!hash)
7797         PERL_HASH(hash, src, len);
7798     new_SV(sv);
7799     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
7800        changes here, update it there too.  */
7801     sv_upgrade(sv, SVt_PV);
7802     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7803     SvCUR_set(sv, len);
7804     SvLEN_set(sv, 0);
7805     SvREADONLY_on(sv);
7806     SvFAKE_on(sv);
7807     SvPOK_on(sv);
7808     if (is_utf8)
7809         SvUTF8_on(sv);
7810     if (src != orig_src)
7811         Safefree(src);
7812     return sv;
7813 }
7814
7815
7816 #if defined(PERL_IMPLICIT_CONTEXT)
7817
7818 /* pTHX_ magic can't cope with varargs, so this is a no-context
7819  * version of the main function, (which may itself be aliased to us).
7820  * Don't access this version directly.
7821  */
7822
7823 SV *
7824 Perl_newSVpvf_nocontext(const char *const pat, ...)
7825 {
7826     dTHX;
7827     register SV *sv;
7828     va_list args;
7829
7830     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
7831
7832     va_start(args, pat);
7833     sv = vnewSVpvf(pat, &args);
7834     va_end(args);
7835     return sv;
7836 }
7837 #endif
7838
7839 /*
7840 =for apidoc newSVpvf
7841
7842 Creates a new SV and initializes it with the string formatted like
7843 C<sprintf>.
7844
7845 =cut
7846 */
7847
7848 SV *
7849 Perl_newSVpvf(pTHX_ const char *const pat, ...)
7850 {
7851     register SV *sv;
7852     va_list args;
7853
7854     PERL_ARGS_ASSERT_NEWSVPVF;
7855
7856     va_start(args, pat);
7857     sv = vnewSVpvf(pat, &args);
7858     va_end(args);
7859     return sv;
7860 }
7861
7862 /* backend for newSVpvf() and newSVpvf_nocontext() */
7863
7864 SV *
7865 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
7866 {
7867     dVAR;
7868     register SV *sv;
7869
7870     PERL_ARGS_ASSERT_VNEWSVPVF;
7871
7872     new_SV(sv);
7873     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7874     return sv;
7875 }
7876
7877 /*
7878 =for apidoc newSVnv
7879
7880 Creates a new SV and copies a floating point value into it.
7881 The reference count for the SV is set to 1.
7882
7883 =cut
7884 */
7885
7886 SV *
7887 Perl_newSVnv(pTHX_ const NV n)
7888 {
7889     dVAR;
7890     register SV *sv;
7891
7892     new_SV(sv);
7893     sv_setnv(sv,n);
7894     return sv;
7895 }
7896
7897 /*
7898 =for apidoc newSViv
7899
7900 Creates a new SV and copies an integer into it.  The reference count for the
7901 SV is set to 1.
7902
7903 =cut
7904 */
7905
7906 SV *
7907 Perl_newSViv(pTHX_ const IV i)
7908 {
7909     dVAR;
7910     register SV *sv;
7911
7912     new_SV(sv);
7913     sv_setiv(sv,i);
7914     return sv;
7915 }
7916
7917 /*
7918 =for apidoc newSVuv
7919
7920 Creates a new SV and copies an unsigned integer into it.
7921 The reference count for the SV is set to 1.
7922
7923 =cut
7924 */
7925
7926 SV *
7927 Perl_newSVuv(pTHX_ const UV u)
7928 {
7929     dVAR;
7930     register SV *sv;
7931
7932     new_SV(sv);
7933     sv_setuv(sv,u);
7934     return sv;
7935 }
7936
7937 /*
7938 =for apidoc newSV_type
7939
7940 Creates a new SV, of the type specified.  The reference count for the new SV
7941 is set to 1.
7942
7943 =cut
7944 */
7945
7946 SV *
7947 Perl_newSV_type(pTHX_ const svtype type)
7948 {
7949     register SV *sv;
7950
7951     new_SV(sv);
7952     sv_upgrade(sv, type);
7953     return sv;
7954 }
7955
7956 /*
7957 =for apidoc newRV_noinc
7958
7959 Creates an RV wrapper for an SV.  The reference count for the original
7960 SV is B<not> incremented.
7961
7962 =cut
7963 */
7964
7965 SV *
7966 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
7967 {
7968     dVAR;
7969     register SV *sv = newSV_type(SVt_IV);
7970
7971     PERL_ARGS_ASSERT_NEWRV_NOINC;
7972
7973     SvTEMP_off(tmpRef);
7974     SvRV_set(sv, tmpRef);
7975     SvROK_on(sv);
7976     return sv;
7977 }
7978
7979 /* newRV_inc is the official function name to use now.
7980  * newRV_inc is in fact #defined to newRV in sv.h
7981  */
7982
7983 SV *
7984 Perl_newRV(pTHX_ SV *const sv)
7985 {
7986     dVAR;
7987
7988     PERL_ARGS_ASSERT_NEWRV;
7989
7990     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7991 }
7992
7993 /*
7994 =for apidoc newSVsv
7995
7996 Creates a new SV which is an exact duplicate of the original SV.
7997 (Uses C<sv_setsv>).
7998
7999 =cut
8000 */
8001
8002 SV *
8003 Perl_newSVsv(pTHX_ register SV *const old)
8004 {
8005     dVAR;
8006     register SV *sv;
8007
8008     if (!old)
8009         return NULL;
8010     if (SvTYPE(old) == SVTYPEMASK) {
8011         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
8012         return NULL;
8013     }
8014     new_SV(sv);
8015     /* SV_GMAGIC is the default for sv_setv()
8016        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
8017        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
8018     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
8019     return sv;
8020 }
8021
8022 /*
8023 =for apidoc sv_reset
8024
8025 Underlying implementation for the C<reset> Perl function.
8026 Note that the perl-level function is vaguely deprecated.
8027
8028 =cut
8029 */
8030
8031 void
8032 Perl_sv_reset(pTHX_ register const char *s, HV *const stash)
8033 {
8034     dVAR;
8035     char todo[PERL_UCHAR_MAX+1];
8036
8037     PERL_ARGS_ASSERT_SV_RESET;
8038
8039     if (!stash)
8040         return;
8041
8042     if (!*s) {          /* reset ?? searches */
8043         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
8044         if (mg) {
8045             const U32 count = mg->mg_len / sizeof(PMOP**);
8046             PMOP **pmp = (PMOP**) mg->mg_ptr;
8047             PMOP *const *const end = pmp + count;
8048
8049             while (pmp < end) {
8050 #ifdef USE_ITHREADS
8051                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
8052 #else
8053                 (*pmp)->op_pmflags &= ~PMf_USED;
8054 #endif
8055                 ++pmp;
8056             }
8057         }
8058         return;
8059     }
8060
8061     /* reset variables */
8062
8063     if (!HvARRAY(stash))
8064         return;
8065
8066     Zero(todo, 256, char);
8067     while (*s) {
8068         I32 max;
8069         I32 i = (unsigned char)*s;
8070         if (s[1] == '-') {
8071             s += 2;
8072         }
8073         max = (unsigned char)*s++;
8074         for ( ; i <= max; i++) {
8075             todo[i] = 1;
8076         }
8077         for (i = 0; i <= (I32) HvMAX(stash); i++) {
8078             HE *entry;
8079             for (entry = HvARRAY(stash)[i];
8080                  entry;
8081                  entry = HeNEXT(entry))
8082             {
8083                 register GV *gv;
8084                 register SV *sv;
8085
8086                 if (!todo[(U8)*HeKEY(entry)])
8087                     continue;
8088                 gv = MUTABLE_GV(HeVAL(entry));
8089                 sv = GvSV(gv);
8090                 if (sv) {
8091                     if (SvTHINKFIRST(sv)) {
8092                         if (!SvREADONLY(sv) && SvROK(sv))
8093                             sv_unref(sv);
8094                         /* XXX Is this continue a bug? Why should THINKFIRST
8095                            exempt us from resetting arrays and hashes?  */
8096                         continue;
8097                     }
8098                     SvOK_off(sv);
8099                     if (SvTYPE(sv) >= SVt_PV) {
8100                         SvCUR_set(sv, 0);
8101                         if (SvPVX_const(sv) != NULL)
8102                             *SvPVX(sv) = '\0';
8103                         SvTAINT(sv);
8104                     }
8105                 }
8106                 if (GvAV(gv)) {
8107                     av_clear(GvAV(gv));
8108                 }
8109                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
8110 #if defined(VMS)
8111                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
8112 #else /* ! VMS */
8113                     hv_clear(GvHV(gv));
8114 #  if defined(USE_ENVIRON_ARRAY)
8115                     if (gv == PL_envgv)
8116                         my_clearenv();
8117 #  endif /* USE_ENVIRON_ARRAY */
8118 #endif /* VMS */
8119                 }
8120             }
8121         }
8122     }
8123 }
8124
8125 /*
8126 =for apidoc sv_2io
8127
8128 Using various gambits, try to get an IO from an SV: the IO slot if its a
8129 GV; or the recursive result if we're an RV; or the IO slot of the symbol
8130 named after the PV if we're a string.
8131
8132 =cut
8133 */
8134
8135 IO*
8136 Perl_sv_2io(pTHX_ SV *const sv)
8137 {
8138     IO* io;
8139     GV* gv;
8140
8141     PERL_ARGS_ASSERT_SV_2IO;
8142
8143     switch (SvTYPE(sv)) {
8144     case SVt_PVIO:
8145         io = MUTABLE_IO(sv);
8146         break;
8147     case SVt_PVGV:
8148         if (isGV_with_GP(sv)) {
8149             gv = MUTABLE_GV(sv);
8150             io = GvIO(gv);
8151             if (!io)
8152                 Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
8153             break;
8154         }
8155         /* FALL THROUGH */
8156     default:
8157         if (!SvOK(sv))
8158             Perl_croak(aTHX_ PL_no_usym, "filehandle");
8159         if (SvROK(sv))
8160             return sv_2io(SvRV(sv));
8161         gv = gv_fetchsv(sv, 0, SVt_PVIO);
8162         if (gv)
8163             io = GvIO(gv);
8164         else
8165             io = 0;
8166         if (!io)
8167             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
8168         break;
8169     }
8170     return io;
8171 }
8172
8173 /*
8174 =for apidoc sv_2cv
8175
8176 Using various gambits, try to get a CV from an SV; in addition, try if
8177 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
8178 The flags in C<lref> are passed to gv_fetchsv.
8179
8180 =cut
8181 */
8182
8183 CV *
8184 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
8185 {
8186     dVAR;
8187     GV *gv = NULL;
8188     CV *cv = NULL;
8189
8190     PERL_ARGS_ASSERT_SV_2CV;
8191
8192     if (!sv) {
8193         *st = NULL;
8194         *gvp = NULL;
8195         return NULL;
8196     }
8197     switch (SvTYPE(sv)) {
8198     case SVt_PVCV:
8199         *st = CvSTASH(sv);
8200         *gvp = NULL;
8201         return MUTABLE_CV(sv);
8202     case SVt_PVHV:
8203     case SVt_PVAV:
8204         *st = NULL;
8205         *gvp = NULL;
8206         return NULL;
8207     case SVt_PVGV:
8208         if (isGV_with_GP(sv)) {
8209             gv = MUTABLE_GV(sv);
8210             *gvp = gv;
8211             *st = GvESTASH(gv);
8212             goto fix_gv;
8213         }
8214         /* FALL THROUGH */
8215
8216     default:
8217         if (SvROK(sv)) {
8218             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
8219             SvGETMAGIC(sv);
8220             tryAMAGICunDEREF(to_cv);
8221
8222             sv = SvRV(sv);
8223             if (SvTYPE(sv) == SVt_PVCV) {
8224                 cv = MUTABLE_CV(sv);
8225                 *gvp = NULL;
8226                 *st = CvSTASH(cv);
8227                 return cv;
8228             }
8229             else if(isGV_with_GP(sv))
8230                 gv = MUTABLE_GV(sv);
8231             else
8232                 Perl_croak(aTHX_ "Not a subroutine reference");
8233         }
8234         else if (isGV_with_GP(sv)) {
8235             SvGETMAGIC(sv);
8236             gv = MUTABLE_GV(sv);
8237         }
8238         else
8239             gv = gv_fetchsv(sv, lref, SVt_PVCV); /* Calls get magic */
8240         *gvp = gv;
8241         if (!gv) {
8242             *st = NULL;
8243             return NULL;
8244         }
8245         /* Some flags to gv_fetchsv mean don't really create the GV  */
8246         if (!isGV_with_GP(gv)) {
8247             *st = NULL;
8248             return NULL;
8249         }
8250         *st = GvESTASH(gv);
8251     fix_gv:
8252         if (lref && !GvCVu(gv)) {
8253             SV *tmpsv;
8254             ENTER;
8255             tmpsv = newSV(0);
8256             gv_efullname3(tmpsv, gv, NULL);
8257             /* XXX this is probably not what they think they're getting.
8258              * It has the same effect as "sub name;", i.e. just a forward
8259              * declaration! */
8260             newSUB(start_subparse(FALSE, 0),
8261                    newSVOP(OP_CONST, 0, tmpsv),
8262                    NULL, NULL);
8263             LEAVE;
8264             if (!GvCVu(gv))
8265                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
8266                            SVfARG(SvOK(sv) ? sv : &PL_sv_no));
8267         }
8268         return GvCVu(gv);
8269     }
8270 }
8271
8272 /*
8273 =for apidoc sv_true
8274
8275 Returns true if the SV has a true value by Perl's rules.
8276 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
8277 instead use an in-line version.
8278
8279 =cut
8280 */
8281
8282 I32
8283 Perl_sv_true(pTHX_ register SV *const sv)
8284 {
8285     if (!sv)
8286         return 0;
8287     if (SvPOK(sv)) {
8288         register const XPV* const tXpv = (XPV*)SvANY(sv);
8289         if (tXpv &&
8290                 (tXpv->xpv_cur > 1 ||
8291                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
8292             return 1;
8293         else
8294             return 0;
8295     }
8296     else {
8297         if (SvIOK(sv))
8298             return SvIVX(sv) != 0;
8299         else {
8300             if (SvNOK(sv))
8301                 return SvNVX(sv) != 0.0;
8302             else
8303                 return sv_2bool(sv);
8304         }
8305     }
8306 }
8307
8308 /*
8309 =for apidoc sv_pvn_force
8310
8311 Get a sensible string out of the SV somehow.
8312 A private implementation of the C<SvPV_force> macro for compilers which
8313 can't cope with complex macro expressions. Always use the macro instead.
8314
8315 =for apidoc sv_pvn_force_flags
8316
8317 Get a sensible string out of the SV somehow.
8318 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
8319 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
8320 implemented in terms of this function.
8321 You normally want to use the various wrapper macros instead: see
8322 C<SvPV_force> and C<SvPV_force_nomg>
8323
8324 =cut
8325 */
8326
8327 char *
8328 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
8329 {
8330     dVAR;
8331
8332     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
8333
8334     if (SvTHINKFIRST(sv) && !SvROK(sv))
8335         sv_force_normal_flags(sv, 0);
8336
8337     if (SvPOK(sv)) {
8338         if (lp)
8339             *lp = SvCUR(sv);
8340     }
8341     else {
8342         char *s;
8343         STRLEN len;
8344  
8345         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
8346             const char * const ref = sv_reftype(sv,0);
8347             if (PL_op)
8348                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
8349                            ref, OP_NAME(PL_op));
8350             else
8351                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
8352         }
8353         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
8354             || isGV_with_GP(sv))
8355             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
8356                 OP_NAME(PL_op));
8357         s = sv_2pv_flags(sv, &len, flags);
8358         if (lp)
8359             *lp = len;
8360
8361         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
8362             if (SvROK(sv))
8363                 sv_unref(sv);
8364             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
8365             SvGROW(sv, len + 1);
8366             Move(s,SvPVX(sv),len,char);
8367             SvCUR_set(sv, len);
8368             SvPVX(sv)[len] = '\0';
8369         }
8370         if (!SvPOK(sv)) {
8371             SvPOK_on(sv);               /* validate pointer */
8372             SvTAINT(sv);
8373             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
8374                                   PTR2UV(sv),SvPVX_const(sv)));
8375         }
8376     }
8377     return SvPVX_mutable(sv);
8378 }
8379
8380 /*
8381 =for apidoc sv_pvbyten_force
8382
8383 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
8384
8385 =cut
8386 */
8387
8388 char *
8389 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
8390 {
8391     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
8392
8393     sv_pvn_force(sv,lp);
8394     sv_utf8_downgrade(sv,0);
8395     *lp = SvCUR(sv);
8396     return SvPVX(sv);
8397 }
8398
8399 /*
8400 =for apidoc sv_pvutf8n_force
8401
8402 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
8403
8404 =cut
8405 */
8406
8407 char *
8408 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
8409 {
8410     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
8411
8412     sv_pvn_force(sv,lp);
8413     sv_utf8_upgrade(sv);
8414     *lp = SvCUR(sv);
8415     return SvPVX(sv);
8416 }
8417
8418 /*
8419 =for apidoc sv_reftype
8420
8421 Returns a string describing what the SV is a reference to.
8422
8423 =cut
8424 */
8425
8426 const char *
8427 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
8428 {
8429     PERL_ARGS_ASSERT_SV_REFTYPE;
8430
8431     /* The fact that I don't need to downcast to char * everywhere, only in ?:
8432        inside return suggests a const propagation bug in g++.  */
8433     if (ob && SvOBJECT(sv)) {
8434         char * const name = HvNAME_get(SvSTASH(sv));
8435         return name ? name : (char *) "__ANON__";
8436     }
8437     else {
8438         switch (SvTYPE(sv)) {
8439         case SVt_NULL:
8440         case SVt_IV:
8441         case SVt_NV:
8442         case SVt_PV:
8443         case SVt_PVIV:
8444         case SVt_PVNV:
8445         case SVt_PVMG:
8446                                 if (SvVOK(sv))
8447                                     return "VSTRING";
8448                                 if (SvROK(sv))
8449                                     return "REF";
8450                                 else
8451                                     return "SCALAR";
8452
8453         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
8454                                 /* tied lvalues should appear to be
8455                                  * scalars for backwards compatitbility */
8456                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
8457                                     ? "SCALAR" : "LVALUE");
8458         case SVt_PVAV:          return "ARRAY";
8459         case SVt_PVHV:          return "HASH";
8460         case SVt_PVCV:          return "CODE";
8461         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
8462                                     ? "GLOB" : "SCALAR");
8463         case SVt_PVFM:          return "FORMAT";
8464         case SVt_PVIO:          return "IO";
8465         case SVt_BIND:          return "BIND";
8466         case SVt_REGEXP:        return "REGEXP"; 
8467         default:                return "UNKNOWN";
8468         }
8469     }
8470 }
8471
8472 /*
8473 =for apidoc sv_isobject
8474
8475 Returns a boolean indicating whether the SV is an RV pointing to a blessed
8476 object.  If the SV is not an RV, or if the object is not blessed, then this
8477 will return false.
8478
8479 =cut
8480 */
8481
8482 int
8483 Perl_sv_isobject(pTHX_ SV *sv)
8484 {
8485     if (!sv)
8486         return 0;
8487     SvGETMAGIC(sv);
8488     if (!SvROK(sv))
8489         return 0;
8490     sv = SvRV(sv);
8491     if (!SvOBJECT(sv))
8492         return 0;
8493     return 1;
8494 }
8495
8496 /*
8497 =for apidoc sv_isa
8498
8499 Returns a boolean indicating whether the SV is blessed into the specified
8500 class.  This does not check for subtypes; use C<sv_derived_from> to verify
8501 an inheritance relationship.
8502
8503 =cut
8504 */
8505
8506 int
8507 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
8508 {
8509     const char *hvname;
8510
8511     PERL_ARGS_ASSERT_SV_ISA;
8512
8513     if (!sv)
8514         return 0;
8515     SvGETMAGIC(sv);
8516     if (!SvROK(sv))
8517         return 0;
8518     sv = SvRV(sv);
8519     if (!SvOBJECT(sv))
8520         return 0;
8521     hvname = HvNAME_get(SvSTASH(sv));
8522     if (!hvname)
8523         return 0;
8524
8525     return strEQ(hvname, name);
8526 }
8527
8528 /*
8529 =for apidoc newSVrv
8530
8531 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
8532 it will be upgraded to one.  If C<classname> is non-null then the new SV will
8533 be blessed in the specified package.  The new SV is returned and its
8534 reference count is 1.
8535
8536 =cut
8537 */
8538
8539 SV*
8540 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
8541 {
8542     dVAR;
8543     SV *sv;
8544
8545     PERL_ARGS_ASSERT_NEWSVRV;
8546
8547     new_SV(sv);
8548
8549     SV_CHECK_THINKFIRST_COW_DROP(rv);
8550     (void)SvAMAGIC_off(rv);
8551
8552     if (SvTYPE(rv) >= SVt_PVMG) {
8553         const U32 refcnt = SvREFCNT(rv);
8554         SvREFCNT(rv) = 0;
8555         sv_clear(rv);
8556         SvFLAGS(rv) = 0;
8557         SvREFCNT(rv) = refcnt;
8558
8559         sv_upgrade(rv, SVt_IV);
8560     } else if (SvROK(rv)) {
8561         SvREFCNT_dec(SvRV(rv));
8562     } else {
8563         prepare_SV_for_RV(rv);
8564     }
8565
8566     SvOK_off(rv);
8567     SvRV_set(rv, sv);
8568     SvROK_on(rv);
8569
8570     if (classname) {
8571         HV* const stash = gv_stashpv(classname, GV_ADD);
8572         (void)sv_bless(rv, stash);
8573     }
8574     return sv;
8575 }
8576
8577 /*
8578 =for apidoc sv_setref_pv
8579
8580 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
8581 argument will be upgraded to an RV.  That RV will be modified to point to
8582 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
8583 into the SV.  The C<classname> argument indicates the package for the
8584 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8585 will have a reference count of 1, and the RV will be returned.
8586
8587 Do not use with other Perl types such as HV, AV, SV, CV, because those
8588 objects will become corrupted by the pointer copy process.
8589
8590 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
8591
8592 =cut
8593 */
8594
8595 SV*
8596 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
8597 {
8598     dVAR;
8599
8600     PERL_ARGS_ASSERT_SV_SETREF_PV;
8601
8602     if (!pv) {
8603         sv_setsv(rv, &PL_sv_undef);
8604         SvSETMAGIC(rv);
8605     }
8606     else
8607         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
8608     return rv;
8609 }
8610
8611 /*
8612 =for apidoc sv_setref_iv
8613
8614 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
8615 argument will be upgraded to an RV.  That RV will be modified to point to
8616 the new SV.  The C<classname> argument indicates the package for the
8617 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8618 will have a reference count of 1, and the RV will be returned.
8619
8620 =cut
8621 */
8622
8623 SV*
8624 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
8625 {
8626     PERL_ARGS_ASSERT_SV_SETREF_IV;
8627
8628     sv_setiv(newSVrv(rv,classname), iv);
8629     return rv;
8630 }
8631
8632 /*
8633 =for apidoc sv_setref_uv
8634
8635 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
8636 argument will be upgraded to an RV.  That RV will be modified to point to
8637 the new SV.  The C<classname> argument indicates the package for the
8638 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8639 will have a reference count of 1, and the RV will be returned.
8640
8641 =cut
8642 */
8643
8644 SV*
8645 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
8646 {
8647     PERL_ARGS_ASSERT_SV_SETREF_UV;
8648
8649     sv_setuv(newSVrv(rv,classname), uv);
8650     return rv;
8651 }
8652
8653 /*
8654 =for apidoc sv_setref_nv
8655
8656 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
8657 argument will be upgraded to an RV.  That RV will be modified to point to
8658 the new SV.  The C<classname> argument indicates the package for the
8659 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
8660 will have a reference count of 1, and the RV will be returned.
8661
8662 =cut
8663 */
8664
8665 SV*
8666 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
8667 {
8668     PERL_ARGS_ASSERT_SV_SETREF_NV;
8669
8670     sv_setnv(newSVrv(rv,classname), nv);
8671     return rv;
8672 }
8673
8674 /*
8675 =for apidoc sv_setref_pvn
8676
8677 Copies a string into a new SV, optionally blessing the SV.  The length of the
8678 string must be specified with C<n>.  The C<rv> argument will be upgraded to
8679 an RV.  That RV will be modified to point to the new SV.  The C<classname>
8680 argument indicates the package for the blessing.  Set C<classname> to
8681 C<NULL> to avoid the blessing.  The new SV will have a reference count
8682 of 1, and the RV will be returned.
8683
8684 Note that C<sv_setref_pv> copies the pointer while this copies the string.
8685
8686 =cut
8687 */
8688
8689 SV*
8690 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
8691                    const char *const pv, const STRLEN n)
8692 {
8693     PERL_ARGS_ASSERT_SV_SETREF_PVN;
8694
8695     sv_setpvn(newSVrv(rv,classname), pv, n);
8696     return rv;
8697 }
8698
8699 /*
8700 =for apidoc sv_bless
8701
8702 Blesses an SV into a specified package.  The SV must be an RV.  The package
8703 must be designated by its stash (see C<gv_stashpv()>).  The reference count
8704 of the SV is unaffected.
8705
8706 =cut
8707 */
8708
8709 SV*
8710 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
8711 {
8712     dVAR;
8713     SV *tmpRef;
8714
8715     PERL_ARGS_ASSERT_SV_BLESS;
8716
8717     if (!SvROK(sv))
8718         Perl_croak(aTHX_ "Can't bless non-reference value");
8719     tmpRef = SvRV(sv);
8720     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
8721         if (SvIsCOW(tmpRef))
8722             sv_force_normal_flags(tmpRef, 0);
8723         if (SvREADONLY(tmpRef))
8724             Perl_croak(aTHX_ "%s", PL_no_modify);
8725         if (SvOBJECT(tmpRef)) {
8726             if (SvTYPE(tmpRef) != SVt_PVIO)
8727                 --PL_sv_objcount;
8728             SvREFCNT_dec(SvSTASH(tmpRef));
8729         }
8730     }
8731     SvOBJECT_on(tmpRef);
8732     if (SvTYPE(tmpRef) != SVt_PVIO)
8733         ++PL_sv_objcount;
8734     SvUPGRADE(tmpRef, SVt_PVMG);
8735     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
8736
8737     if (Gv_AMG(stash))
8738         SvAMAGIC_on(sv);
8739     else
8740         (void)SvAMAGIC_off(sv);
8741
8742     if(SvSMAGICAL(tmpRef))
8743         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
8744             mg_set(tmpRef);
8745
8746
8747
8748     return sv;
8749 }
8750
8751 /* Downgrades a PVGV to a PVMG.
8752  */
8753
8754 STATIC void
8755 S_sv_unglob(pTHX_ SV *const sv)
8756 {
8757     dVAR;
8758     void *xpvmg;
8759     HV *stash;
8760     SV * const temp = sv_newmortal();
8761
8762     PERL_ARGS_ASSERT_SV_UNGLOB;
8763
8764     assert(SvTYPE(sv) == SVt_PVGV);
8765     SvFAKE_off(sv);
8766     gv_efullname3(temp, MUTABLE_GV(sv), "*");
8767
8768     if (GvGP(sv)) {
8769         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
8770            && HvNAME_get(stash))
8771             mro_method_changed_in(stash);
8772         gp_free(MUTABLE_GV(sv));
8773     }
8774     if (GvSTASH(sv)) {
8775         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
8776         GvSTASH(sv) = NULL;
8777     }
8778     GvMULTI_off(sv);
8779     if (GvNAME_HEK(sv)) {
8780         unshare_hek(GvNAME_HEK(sv));
8781     }
8782     isGV_with_GP_off(sv);
8783
8784     /* need to keep SvANY(sv) in the right arena */
8785     xpvmg = new_XPVMG();
8786     StructCopy(SvANY(sv), xpvmg, XPVMG);
8787     del_XPVGV(SvANY(sv));
8788     SvANY(sv) = xpvmg;
8789
8790     SvFLAGS(sv) &= ~SVTYPEMASK;
8791     SvFLAGS(sv) |= SVt_PVMG;
8792
8793     /* Intentionally not calling any local SET magic, as this isn't so much a
8794        set operation as merely an internal storage change.  */
8795     sv_setsv_flags(sv, temp, 0);
8796 }
8797
8798 /*
8799 =for apidoc sv_unref_flags
8800
8801 Unsets the RV status of the SV, and decrements the reference count of
8802 whatever was being referenced by the RV.  This can almost be thought of
8803 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
8804 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
8805 (otherwise the decrementing is conditional on the reference count being
8806 different from one or the reference being a readonly SV).
8807 See C<SvROK_off>.
8808
8809 =cut
8810 */
8811
8812 void
8813 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
8814 {
8815     SV* const target = SvRV(ref);
8816
8817     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
8818
8819     if (SvWEAKREF(ref)) {
8820         sv_del_backref(target, ref);
8821         SvWEAKREF_off(ref);
8822         SvRV_set(ref, NULL);
8823         return;
8824     }
8825     SvRV_set(ref, NULL);
8826     SvROK_off(ref);
8827     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
8828        assigned to as BEGIN {$a = \"Foo"} will fail.  */
8829     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
8830         SvREFCNT_dec(target);
8831     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
8832         sv_2mortal(target);     /* Schedule for freeing later */
8833 }
8834
8835 /*
8836 =for apidoc sv_untaint
8837
8838 Untaint an SV. Use C<SvTAINTED_off> instead.
8839 =cut
8840 */
8841
8842 void
8843 Perl_sv_untaint(pTHX_ SV *const sv)
8844 {
8845     PERL_ARGS_ASSERT_SV_UNTAINT;
8846
8847     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8848         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8849         if (mg)
8850             mg->mg_len &= ~1;
8851     }
8852 }
8853
8854 /*
8855 =for apidoc sv_tainted
8856
8857 Test an SV for taintedness. Use C<SvTAINTED> instead.
8858 =cut
8859 */
8860
8861 bool
8862 Perl_sv_tainted(pTHX_ SV *const sv)
8863 {
8864     PERL_ARGS_ASSERT_SV_TAINTED;
8865
8866     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8867         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8868         if (mg && (mg->mg_len & 1) )
8869             return TRUE;
8870     }
8871     return FALSE;
8872 }
8873
8874 /*
8875 =for apidoc sv_setpviv
8876
8877 Copies an integer into the given SV, also updating its string value.
8878 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8879
8880 =cut
8881 */
8882
8883 void
8884 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
8885 {
8886     char buf[TYPE_CHARS(UV)];
8887     char *ebuf;
8888     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8889
8890     PERL_ARGS_ASSERT_SV_SETPVIV;
8891
8892     sv_setpvn(sv, ptr, ebuf - ptr);
8893 }
8894
8895 /*
8896 =for apidoc sv_setpviv_mg
8897
8898 Like C<sv_setpviv>, but also handles 'set' magic.
8899
8900 =cut
8901 */
8902
8903 void
8904 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
8905 {
8906     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
8907
8908     sv_setpviv(sv, iv);
8909     SvSETMAGIC(sv);
8910 }
8911
8912 #if defined(PERL_IMPLICIT_CONTEXT)
8913
8914 /* pTHX_ magic can't cope with varargs, so this is a no-context
8915  * version of the main function, (which may itself be aliased to us).
8916  * Don't access this version directly.
8917  */
8918
8919 void
8920 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
8921 {
8922     dTHX;
8923     va_list args;
8924
8925     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
8926
8927     va_start(args, pat);
8928     sv_vsetpvf(sv, pat, &args);
8929     va_end(args);
8930 }
8931
8932 /* pTHX_ magic can't cope with varargs, so this is a no-context
8933  * version of the main function, (which may itself be aliased to us).
8934  * Don't access this version directly.
8935  */
8936
8937 void
8938 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
8939 {
8940     dTHX;
8941     va_list args;
8942
8943     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
8944
8945     va_start(args, pat);
8946     sv_vsetpvf_mg(sv, pat, &args);
8947     va_end(args);
8948 }
8949 #endif
8950
8951 /*
8952 =for apidoc sv_setpvf
8953
8954 Works like C<sv_catpvf> but copies the text into the SV instead of
8955 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8956
8957 =cut
8958 */
8959
8960 void
8961 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
8962 {
8963     va_list args;
8964
8965     PERL_ARGS_ASSERT_SV_SETPVF;
8966
8967     va_start(args, pat);
8968     sv_vsetpvf(sv, pat, &args);
8969     va_end(args);
8970 }
8971
8972 /*
8973 =for apidoc sv_vsetpvf
8974
8975 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8976 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8977
8978 Usually used via its frontend C<sv_setpvf>.
8979
8980 =cut
8981 */
8982
8983 void
8984 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
8985 {
8986     PERL_ARGS_ASSERT_SV_VSETPVF;
8987
8988     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8989 }
8990
8991 /*
8992 =for apidoc sv_setpvf_mg
8993
8994 Like C<sv_setpvf>, but also handles 'set' magic.
8995
8996 =cut
8997 */
8998
8999 void
9000 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9001 {
9002     va_list args;
9003
9004     PERL_ARGS_ASSERT_SV_SETPVF_MG;
9005
9006     va_start(args, pat);
9007     sv_vsetpvf_mg(sv, pat, &args);
9008     va_end(args);
9009 }
9010
9011 /*
9012 =for apidoc sv_vsetpvf_mg
9013
9014 Like C<sv_vsetpvf>, but also handles 'set' magic.
9015
9016 Usually used via its frontend C<sv_setpvf_mg>.
9017
9018 =cut
9019 */
9020
9021 void
9022 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9023 {
9024     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
9025
9026     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9027     SvSETMAGIC(sv);
9028 }
9029
9030 #if defined(PERL_IMPLICIT_CONTEXT)
9031
9032 /* pTHX_ magic can't cope with varargs, so this is a no-context
9033  * version of the main function, (which may itself be aliased to us).
9034  * Don't access this version directly.
9035  */
9036
9037 void
9038 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
9039 {
9040     dTHX;
9041     va_list args;
9042
9043     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
9044
9045     va_start(args, pat);
9046     sv_vcatpvf(sv, pat, &args);
9047     va_end(args);
9048 }
9049
9050 /* pTHX_ magic can't cope with varargs, so this is a no-context
9051  * version of the main function, (which may itself be aliased to us).
9052  * Don't access this version directly.
9053  */
9054
9055 void
9056 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
9057 {
9058     dTHX;
9059     va_list args;
9060
9061     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
9062
9063     va_start(args, pat);
9064     sv_vcatpvf_mg(sv, pat, &args);
9065     va_end(args);
9066 }
9067 #endif
9068
9069 /*
9070 =for apidoc sv_catpvf
9071
9072 Processes its arguments like C<sprintf> and appends the formatted
9073 output to an SV.  If the appended data contains "wide" characters
9074 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
9075 and characters >255 formatted with %c), the original SV might get
9076 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
9077 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
9078 valid UTF-8; if the original SV was bytes, the pattern should be too.
9079
9080 =cut */
9081
9082 void
9083 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
9084 {
9085     va_list args;
9086
9087     PERL_ARGS_ASSERT_SV_CATPVF;
9088
9089     va_start(args, pat);
9090     sv_vcatpvf(sv, pat, &args);
9091     va_end(args);
9092 }
9093
9094 /*
9095 =for apidoc sv_vcatpvf
9096
9097 Processes its arguments like C<vsprintf> and appends the formatted output
9098 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
9099
9100 Usually used via its frontend C<sv_catpvf>.
9101
9102 =cut
9103 */
9104
9105 void
9106 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9107 {
9108     PERL_ARGS_ASSERT_SV_VCATPVF;
9109
9110     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9111 }
9112
9113 /*
9114 =for apidoc sv_catpvf_mg
9115
9116 Like C<sv_catpvf>, but also handles 'set' magic.
9117
9118 =cut
9119 */
9120
9121 void
9122 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9123 {
9124     va_list args;
9125
9126     PERL_ARGS_ASSERT_SV_CATPVF_MG;
9127
9128     va_start(args, pat);
9129     sv_vcatpvf_mg(sv, pat, &args);
9130     va_end(args);
9131 }
9132
9133 /*
9134 =for apidoc sv_vcatpvf_mg
9135
9136 Like C<sv_vcatpvf>, but also handles 'set' magic.
9137
9138 Usually used via its frontend C<sv_catpvf_mg>.
9139
9140 =cut
9141 */
9142
9143 void
9144 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9145 {
9146     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
9147
9148     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9149     SvSETMAGIC(sv);
9150 }
9151
9152 /*
9153 =for apidoc sv_vsetpvfn
9154
9155 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
9156 appending it.
9157
9158 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
9159
9160 =cut
9161 */
9162
9163 void
9164 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9165                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9166 {
9167     PERL_ARGS_ASSERT_SV_VSETPVFN;
9168
9169     sv_setpvs(sv, "");
9170     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
9171 }
9172
9173
9174 /*
9175  * Warn of missing argument to sprintf, and then return a defined value
9176  * to avoid inappropriate "use of uninit" warnings [perl #71000].
9177  */
9178 #define WARN_MISSING WARN_UNINITIALIZED /* Not sure we want a new category */
9179 STATIC SV*
9180 S_vcatpvfn_missing_argument(pTHX) {
9181     if (ckWARN(WARN_MISSING)) {
9182         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
9183                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
9184     }
9185     return &PL_sv_no;
9186 }
9187
9188
9189 STATIC I32
9190 S_expect_number(pTHX_ char **const pattern)
9191 {
9192     dVAR;
9193     I32 var = 0;
9194
9195     PERL_ARGS_ASSERT_EXPECT_NUMBER;
9196
9197     switch (**pattern) {
9198     case '1': case '2': case '3':
9199     case '4': case '5': case '6':
9200     case '7': case '8': case '9':
9201         var = *(*pattern)++ - '0';
9202         while (isDIGIT(**pattern)) {
9203             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
9204             if (tmp < var)
9205                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
9206             var = tmp;
9207         }
9208     }
9209     return var;
9210 }
9211
9212 STATIC char *
9213 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
9214 {
9215     const int neg = nv < 0;
9216     UV uv;
9217
9218     PERL_ARGS_ASSERT_F0CONVERT;
9219
9220     if (neg)
9221         nv = -nv;
9222     if (nv < UV_MAX) {
9223         char *p = endbuf;
9224         nv += 0.5;
9225         uv = (UV)nv;
9226         if (uv & 1 && uv == nv)
9227             uv--;                       /* Round to even */
9228         do {
9229             const unsigned dig = uv % 10;
9230             *--p = '0' + dig;
9231         } while (uv /= 10);
9232         if (neg)
9233             *--p = '-';
9234         *len = endbuf - p;
9235         return p;
9236     }
9237     return NULL;
9238 }
9239
9240
9241 /*
9242 =for apidoc sv_vcatpvfn
9243
9244 Processes its arguments like C<vsprintf> and appends the formatted output
9245 to an SV.  Uses an array of SVs if the C style variable argument list is
9246 missing (NULL).  When running with taint checks enabled, indicates via
9247 C<maybe_tainted> if results are untrustworthy (often due to the use of
9248 locales).
9249
9250 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
9251
9252 =cut
9253 */
9254
9255
9256 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
9257                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
9258                         vec_utf8 = DO_UTF8(vecsv);
9259
9260 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
9261
9262 void
9263 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9264                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9265 {
9266     dVAR;
9267     char *p;
9268     char *q;
9269     const char *patend;
9270     STRLEN origlen;
9271     I32 svix = 0;
9272     static const char nullstr[] = "(null)";
9273     SV *argsv = NULL;
9274     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
9275     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
9276     SV *nsv = NULL;
9277     /* Times 4: a decimal digit takes more than 3 binary digits.
9278      * NV_DIG: mantissa takes than many decimal digits.
9279      * Plus 32: Playing safe. */
9280     char ebuf[IV_DIG * 4 + NV_DIG + 32];
9281     /* large enough for "%#.#f" --chip */
9282     /* what about long double NVs? --jhi */
9283
9284     PERL_ARGS_ASSERT_SV_VCATPVFN;
9285     PERL_UNUSED_ARG(maybe_tainted);
9286
9287     /* no matter what, this is a string now */
9288     (void)SvPV_force(sv, origlen);
9289
9290     /* special-case "", "%s", and "%-p" (SVf - see below) */
9291     if (patlen == 0)
9292         return;
9293     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
9294         if (args) {
9295             const char * const s = va_arg(*args, char*);
9296             sv_catpv(sv, s ? s : nullstr);
9297         }
9298         else if (svix < svmax) {
9299             sv_catsv(sv, *svargs);
9300         }
9301         return;
9302     }
9303     if (args && patlen == 3 && pat[0] == '%' &&
9304                 pat[1] == '-' && pat[2] == 'p') {
9305         argsv = MUTABLE_SV(va_arg(*args, void*));
9306         sv_catsv(sv, argsv);
9307         return;
9308     }
9309
9310 #ifndef USE_LONG_DOUBLE
9311     /* special-case "%.<number>[gf]" */
9312     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
9313          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
9314         unsigned digits = 0;
9315         const char *pp;
9316
9317         pp = pat + 2;
9318         while (*pp >= '0' && *pp <= '9')
9319             digits = 10 * digits + (*pp++ - '0');
9320         if (pp - pat == (int)patlen - 1) {
9321             NV nv;
9322
9323             if (svix < svmax)
9324                 nv = SvNV(*svargs);
9325             else
9326                 return;
9327             if (*pp == 'g') {
9328                 /* Add check for digits != 0 because it seems that some
9329                    gconverts are buggy in this case, and we don't yet have
9330                    a Configure test for this.  */
9331                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
9332                      /* 0, point, slack */
9333                     Gconvert(nv, (int)digits, 0, ebuf);
9334                     sv_catpv(sv, ebuf);
9335                     if (*ebuf)  /* May return an empty string for digits==0 */
9336                         return;
9337                 }
9338             } else if (!digits) {
9339                 STRLEN l;
9340
9341                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
9342                     sv_catpvn(sv, p, l);
9343                     return;
9344                 }
9345             }
9346         }
9347     }
9348 #endif /* !USE_LONG_DOUBLE */
9349
9350     if (!args && svix < svmax && DO_UTF8(*svargs))
9351         has_utf8 = TRUE;
9352
9353     patend = (char*)pat + patlen;
9354     for (p = (char*)pat; p < patend; p = q) {
9355         bool alt = FALSE;
9356         bool left = FALSE;
9357         bool vectorize = FALSE;
9358         bool vectorarg = FALSE;
9359         bool vec_utf8 = FALSE;
9360         char fill = ' ';
9361         char plus = 0;
9362         char intsize = 0;
9363         STRLEN width = 0;
9364         STRLEN zeros = 0;
9365         bool has_precis = FALSE;
9366         STRLEN precis = 0;
9367         const I32 osvix = svix;
9368         bool is_utf8 = FALSE;  /* is this item utf8?   */
9369 #ifdef HAS_LDBL_SPRINTF_BUG
9370         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9371            with sfio - Allen <allens@cpan.org> */
9372         bool fix_ldbl_sprintf_bug = FALSE;
9373 #endif
9374
9375         char esignbuf[4];
9376         U8 utf8buf[UTF8_MAXBYTES+1];
9377         STRLEN esignlen = 0;
9378
9379         const char *eptr = NULL;
9380         const char *fmtstart;
9381         STRLEN elen = 0;
9382         SV *vecsv = NULL;
9383         const U8 *vecstr = NULL;
9384         STRLEN veclen = 0;
9385         char c = 0;
9386         int i;
9387         unsigned base = 0;
9388         IV iv = 0;
9389         UV uv = 0;
9390         /* we need a long double target in case HAS_LONG_DOUBLE but
9391            not USE_LONG_DOUBLE
9392         */
9393 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
9394         long double nv;
9395 #else
9396         NV nv;
9397 #endif
9398         STRLEN have;
9399         STRLEN need;
9400         STRLEN gap;
9401         const char *dotstr = ".";
9402         STRLEN dotstrlen = 1;
9403         I32 efix = 0; /* explicit format parameter index */
9404         I32 ewix = 0; /* explicit width index */
9405         I32 epix = 0; /* explicit precision index */
9406         I32 evix = 0; /* explicit vector index */
9407         bool asterisk = FALSE;
9408
9409         /* echo everything up to the next format specification */
9410         for (q = p; q < patend && *q != '%'; ++q) ;
9411         if (q > p) {
9412             if (has_utf8 && !pat_utf8)
9413                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
9414             else
9415                 sv_catpvn(sv, p, q - p);
9416             p = q;
9417         }
9418         if (q++ >= patend)
9419             break;
9420
9421         fmtstart = q;
9422
9423 /*
9424     We allow format specification elements in this order:
9425         \d+\$              explicit format parameter index
9426         [-+ 0#]+           flags
9427         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
9428         0                  flag (as above): repeated to allow "v02"     
9429         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
9430         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
9431         [hlqLV]            size
9432     [%bcdefginopsuxDFOUX] format (mandatory)
9433 */
9434
9435         if (args) {
9436 /*  
9437         As of perl5.9.3, printf format checking is on by default.
9438         Internally, perl uses %p formats to provide an escape to
9439         some extended formatting.  This block deals with those
9440         extensions: if it does not match, (char*)q is reset and
9441         the normal format processing code is used.
9442
9443         Currently defined extensions are:
9444                 %p              include pointer address (standard)      
9445                 %-p     (SVf)   include an SV (previously %_)
9446                 %-<num>p        include an SV with precision <num>      
9447                 %<num>p         reserved for future extensions
9448
9449         Robin Barker 2005-07-14
9450
9451                 %1p     (VDf)   removed.  RMB 2007-10-19
9452 */
9453             char* r = q; 
9454             bool sv = FALSE;    
9455             STRLEN n = 0;
9456             if (*q == '-')
9457                 sv = *q++;
9458             n = expect_number(&q);
9459             if (*q++ == 'p') {
9460                 if (sv) {                       /* SVf */
9461                     if (n) {
9462                         precis = n;
9463                         has_precis = TRUE;
9464                     }
9465                     argsv = MUTABLE_SV(va_arg(*args, void*));
9466                     eptr = SvPV_const(argsv, elen);
9467                     if (DO_UTF8(argsv))
9468                         is_utf8 = TRUE;
9469                     goto string;
9470                 }
9471                 else if (n) {
9472                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
9473                                      "internal %%<num>p might conflict with future printf extensions");
9474                 }
9475             }
9476             q = r; 
9477         }
9478
9479         if ( (width = expect_number(&q)) ) {
9480             if (*q == '$') {
9481                 ++q;
9482                 efix = width;
9483             } else {
9484                 goto gotwidth;
9485             }
9486         }
9487
9488         /* FLAGS */
9489
9490         while (*q) {
9491             switch (*q) {
9492             case ' ':
9493             case '+':
9494                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
9495                     q++;
9496                 else
9497                     plus = *q++;
9498                 continue;
9499
9500             case '-':
9501                 left = TRUE;
9502                 q++;
9503                 continue;
9504
9505             case '0':
9506                 fill = *q++;
9507                 continue;
9508
9509             case '#':
9510                 alt = TRUE;
9511                 q++;
9512                 continue;
9513
9514             default:
9515                 break;
9516             }
9517             break;
9518         }
9519
9520       tryasterisk:
9521         if (*q == '*') {
9522             q++;
9523             if ( (ewix = expect_number(&q)) )
9524                 if (*q++ != '$')
9525                     goto unknown;
9526             asterisk = TRUE;
9527         }
9528         if (*q == 'v') {
9529             q++;
9530             if (vectorize)
9531                 goto unknown;
9532             if ((vectorarg = asterisk)) {
9533                 evix = ewix;
9534                 ewix = 0;
9535                 asterisk = FALSE;
9536             }
9537             vectorize = TRUE;
9538             goto tryasterisk;
9539         }
9540
9541         if (!asterisk)
9542         {
9543             if( *q == '0' )
9544                 fill = *q++;
9545             width = expect_number(&q);
9546         }
9547
9548         if (vectorize) {
9549             if (vectorarg) {
9550                 if (args)
9551                     vecsv = va_arg(*args, SV*);
9552                 else if (evix) {
9553                     vecsv = (evix > 0 && evix <= svmax)
9554                         ? svargs[evix-1] : S_vcatpvfn_missing_argument(aTHX);
9555                 } else {
9556                     vecsv = svix < svmax
9557                         ? svargs[svix++] : S_vcatpvfn_missing_argument(aTHX);
9558                 }
9559                 dotstr = SvPV_const(vecsv, dotstrlen);
9560                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
9561                    bad with tied or overloaded values that return UTF8.  */
9562                 if (DO_UTF8(vecsv))
9563                     is_utf8 = TRUE;
9564                 else if (has_utf8) {
9565                     vecsv = sv_mortalcopy(vecsv);
9566                     sv_utf8_upgrade(vecsv);
9567                     dotstr = SvPV_const(vecsv, dotstrlen);
9568                     is_utf8 = TRUE;
9569                 }                   
9570             }
9571             if (args) {
9572                 VECTORIZE_ARGS
9573             }
9574             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
9575                 vecsv = svargs[efix ? efix-1 : svix++];
9576                 vecstr = (U8*)SvPV_const(vecsv,veclen);
9577                 vec_utf8 = DO_UTF8(vecsv);
9578
9579                 /* if this is a version object, we need to convert
9580                  * back into v-string notation and then let the
9581                  * vectorize happen normally
9582                  */
9583                 if (sv_derived_from(vecsv, "version")) {
9584                     char *version = savesvpv(vecsv);
9585                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
9586                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
9587                         "vector argument not supported with alpha versions");
9588                         goto unknown;
9589                     }
9590                     vecsv = sv_newmortal();
9591                     scan_vstring(version, version + veclen, vecsv);
9592                     vecstr = (U8*)SvPV_const(vecsv, veclen);
9593                     vec_utf8 = DO_UTF8(vecsv);
9594                     Safefree(version);
9595                 }
9596             }
9597             else {
9598                 vecstr = (U8*)"";
9599                 veclen = 0;
9600             }
9601         }
9602
9603         if (asterisk) {
9604             if (args)
9605                 i = va_arg(*args, int);
9606             else
9607                 i = (ewix ? ewix <= svmax : svix < svmax) ?
9608                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9609             left |= (i < 0);
9610             width = (i < 0) ? -i : i;
9611         }
9612       gotwidth:
9613
9614         /* PRECISION */
9615
9616         if (*q == '.') {
9617             q++;
9618             if (*q == '*') {
9619                 q++;
9620                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
9621                     goto unknown;
9622                 /* XXX: todo, support specified precision parameter */
9623                 if (epix)
9624                     goto unknown;
9625                 if (args)
9626                     i = va_arg(*args, int);
9627                 else
9628                     i = (ewix ? ewix <= svmax : svix < svmax)
9629                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
9630                 precis = i;
9631                 has_precis = !(i < 0);
9632             }
9633             else {
9634                 precis = 0;
9635                 while (isDIGIT(*q))
9636                     precis = precis * 10 + (*q++ - '0');
9637                 has_precis = TRUE;
9638             }
9639         }
9640
9641         /* SIZE */
9642
9643         switch (*q) {
9644 #ifdef WIN32
9645         case 'I':                       /* Ix, I32x, and I64x */
9646 #  ifdef WIN64
9647             if (q[1] == '6' && q[2] == '4') {
9648                 q += 3;
9649                 intsize = 'q';
9650                 break;
9651             }
9652 #  endif
9653             if (q[1] == '3' && q[2] == '2') {
9654                 q += 3;
9655                 break;
9656             }
9657 #  ifdef WIN64
9658             intsize = 'q';
9659 #  endif
9660             q++;
9661             break;
9662 #endif
9663 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9664         case 'L':                       /* Ld */
9665             /*FALLTHROUGH*/
9666 #ifdef HAS_QUAD
9667         case 'q':                       /* qd */
9668 #endif
9669             intsize = 'q';
9670             q++;
9671             break;
9672 #endif
9673         case 'l':
9674 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
9675             if (*(q + 1) == 'l') {      /* lld, llf */
9676                 intsize = 'q';
9677                 q += 2;
9678                 break;
9679              }
9680 #endif
9681             /*FALLTHROUGH*/
9682         case 'h':
9683             /*FALLTHROUGH*/
9684         case 'V':
9685             intsize = *q++;
9686             break;
9687         }
9688
9689         /* CONVERSION */
9690
9691         if (*q == '%') {
9692             eptr = q++;
9693             elen = 1;
9694             if (vectorize) {
9695                 c = '%';
9696                 goto unknown;
9697             }
9698             goto string;
9699         }
9700
9701         if (!vectorize && !args) {
9702             if (efix) {
9703                 const I32 i = efix-1;
9704                 argsv = (i >= 0 && i < svmax)
9705                     ? svargs[i] : S_vcatpvfn_missing_argument(aTHX);
9706             } else {
9707                 argsv = (svix >= 0 && svix < svmax)
9708                     ? svargs[svix++] : S_vcatpvfn_missing_argument(aTHX);
9709             }
9710         }
9711
9712         switch (c = *q++) {
9713
9714             /* STRINGS */
9715
9716         case 'c':
9717             if (vectorize)
9718                 goto unknown;
9719             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
9720             if ((uv > 255 ||
9721                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
9722                 && !IN_BYTES) {
9723                 eptr = (char*)utf8buf;
9724                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
9725                 is_utf8 = TRUE;
9726             }
9727             else {
9728                 c = (char)uv;
9729                 eptr = &c;
9730                 elen = 1;
9731             }
9732             goto string;
9733
9734         case 's':
9735             if (vectorize)
9736                 goto unknown;
9737             if (args) {
9738                 eptr = va_arg(*args, char*);
9739                 if (eptr)
9740                     elen = strlen(eptr);
9741                 else {
9742                     eptr = (char *)nullstr;
9743                     elen = sizeof nullstr - 1;
9744                 }
9745             }
9746             else {
9747                 eptr = SvPV_const(argsv, elen);
9748                 if (DO_UTF8(argsv)) {
9749                     STRLEN old_precis = precis;
9750                     if (has_precis && precis < elen) {
9751                         STRLEN ulen = sv_len_utf8(argsv);
9752                         I32 p = precis > ulen ? ulen : precis;
9753                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
9754                         precis = p;
9755                     }
9756                     if (width) { /* fudge width (can't fudge elen) */
9757                         if (has_precis && precis < elen)
9758                             width += precis - old_precis;
9759                         else
9760                             width += elen - sv_len_utf8(argsv);
9761                     }
9762                     is_utf8 = TRUE;
9763                 }
9764             }
9765
9766         string:
9767             if (has_precis && precis < elen)
9768                 elen = precis;
9769             break;
9770
9771             /* INTEGERS */
9772
9773         case 'p':
9774             if (alt || vectorize)
9775                 goto unknown;
9776             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
9777             base = 16;
9778             goto integer;
9779
9780         case 'D':
9781 #ifdef IV_IS_QUAD
9782             intsize = 'q';
9783 #else
9784             intsize = 'l';
9785 #endif
9786             /*FALLTHROUGH*/
9787         case 'd':
9788         case 'i':
9789 #if vdNUMBER
9790         format_vd:
9791 #endif
9792             if (vectorize) {
9793                 STRLEN ulen;
9794                 if (!veclen)
9795                     continue;
9796                 if (vec_utf8)
9797                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9798                                         UTF8_ALLOW_ANYUV);
9799                 else {
9800                     uv = *vecstr;
9801                     ulen = 1;
9802                 }
9803                 vecstr += ulen;
9804                 veclen -= ulen;
9805                 if (plus)
9806                      esignbuf[esignlen++] = plus;
9807             }
9808             else if (args) {
9809                 switch (intsize) {
9810                 case 'h':       iv = (short)va_arg(*args, int); break;
9811                 case 'l':       iv = va_arg(*args, long); break;
9812                 case 'V':       iv = va_arg(*args, IV); break;
9813                 default:        iv = va_arg(*args, int); break;
9814                 case 'q':
9815 #ifdef HAS_QUAD
9816                                 iv = va_arg(*args, Quad_t); break;
9817 #else
9818                                 goto unknown;
9819 #endif
9820                 }
9821             }
9822             else {
9823                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
9824                 switch (intsize) {
9825                 case 'h':       iv = (short)tiv; break;
9826                 case 'l':       iv = (long)tiv; break;
9827                 case 'V':
9828                 default:        iv = tiv; break;
9829                 case 'q':
9830 #ifdef HAS_QUAD
9831                                 iv = (Quad_t)tiv; break;
9832 #else
9833                                 goto unknown;
9834 #endif
9835                 }
9836             }
9837             if ( !vectorize )   /* we already set uv above */
9838             {
9839                 if (iv >= 0) {
9840                     uv = iv;
9841                     if (plus)
9842                         esignbuf[esignlen++] = plus;
9843                 }
9844                 else {
9845                     uv = -iv;
9846                     esignbuf[esignlen++] = '-';
9847                 }
9848             }
9849             base = 10;
9850             goto integer;
9851
9852         case 'U':
9853 #ifdef IV_IS_QUAD
9854             intsize = 'q';
9855 #else
9856             intsize = 'l';
9857 #endif
9858             /*FALLTHROUGH*/
9859         case 'u':
9860             base = 10;
9861             goto uns_integer;
9862
9863         case 'B':
9864         case 'b':
9865             base = 2;
9866             goto uns_integer;
9867
9868         case 'O':
9869 #ifdef IV_IS_QUAD
9870             intsize = 'q';
9871 #else
9872             intsize = 'l';
9873 #endif
9874             /*FALLTHROUGH*/
9875         case 'o':
9876             base = 8;
9877             goto uns_integer;
9878
9879         case 'X':
9880         case 'x':
9881             base = 16;
9882
9883         uns_integer:
9884             if (vectorize) {
9885                 STRLEN ulen;
9886         vector:
9887                 if (!veclen)
9888                     continue;
9889                 if (vec_utf8)
9890                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
9891                                         UTF8_ALLOW_ANYUV);
9892                 else {
9893                     uv = *vecstr;
9894                     ulen = 1;
9895                 }
9896                 vecstr += ulen;
9897                 veclen -= ulen;
9898             }
9899             else if (args) {
9900                 switch (intsize) {
9901                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9902                 case 'l':  uv = va_arg(*args, unsigned long); break;
9903                 case 'V':  uv = va_arg(*args, UV); break;
9904                 default:   uv = va_arg(*args, unsigned); break;
9905                 case 'q':
9906 #ifdef HAS_QUAD
9907                            uv = va_arg(*args, Uquad_t); break;
9908 #else
9909                            goto unknown;
9910 #endif
9911                 }
9912             }
9913             else {
9914                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
9915                 switch (intsize) {
9916                 case 'h':       uv = (unsigned short)tuv; break;
9917                 case 'l':       uv = (unsigned long)tuv; break;
9918                 case 'V':
9919                 default:        uv = tuv; break;
9920                 case 'q':
9921 #ifdef HAS_QUAD
9922                                 uv = (Uquad_t)tuv; break;
9923 #else
9924                                 goto unknown;
9925 #endif
9926                 }
9927             }
9928
9929         integer:
9930             {
9931                 char *ptr = ebuf + sizeof ebuf;
9932                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9933                 zeros = 0;
9934
9935                 switch (base) {
9936                     unsigned dig;
9937                 case 16:
9938                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9939                     do {
9940                         dig = uv & 15;
9941                         *--ptr = p[dig];
9942                     } while (uv >>= 4);
9943                     if (tempalt) {
9944                         esignbuf[esignlen++] = '0';
9945                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9946                     }
9947                     break;
9948                 case 8:
9949                     do {
9950                         dig = uv & 7;
9951                         *--ptr = '0' + dig;
9952                     } while (uv >>= 3);
9953                     if (alt && *ptr != '0')
9954                         *--ptr = '0';
9955                     break;
9956                 case 2:
9957                     do {
9958                         dig = uv & 1;
9959                         *--ptr = '0' + dig;
9960                     } while (uv >>= 1);
9961                     if (tempalt) {
9962                         esignbuf[esignlen++] = '0';
9963                         esignbuf[esignlen++] = c;
9964                     }
9965                     break;
9966                 default:                /* it had better be ten or less */
9967                     do {
9968                         dig = uv % base;
9969                         *--ptr = '0' + dig;
9970                     } while (uv /= base);
9971                     break;
9972                 }
9973                 elen = (ebuf + sizeof ebuf) - ptr;
9974                 eptr = ptr;
9975                 if (has_precis) {
9976                     if (precis > elen)
9977                         zeros = precis - elen;
9978                     else if (precis == 0 && elen == 1 && *eptr == '0'
9979                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9980                         elen = 0;
9981
9982                 /* a precision nullifies the 0 flag. */
9983                     if (fill == '0')
9984                         fill = ' ';
9985                 }
9986             }
9987             break;
9988
9989             /* FLOATING POINT */
9990
9991         case 'F':
9992             c = 'f';            /* maybe %F isn't supported here */
9993             /*FALLTHROUGH*/
9994         case 'e': case 'E':
9995         case 'f':
9996         case 'g': case 'G':
9997             if (vectorize)
9998                 goto unknown;
9999
10000             /* This is evil, but floating point is even more evil */
10001
10002             /* for SV-style calling, we can only get NV
10003                for C-style calling, we assume %f is double;
10004                for simplicity we allow any of %Lf, %llf, %qf for long double
10005             */
10006             switch (intsize) {
10007             case 'V':
10008 #if defined(USE_LONG_DOUBLE)
10009                 intsize = 'q';
10010 #endif
10011                 break;
10012 /* [perl #20339] - we should accept and ignore %lf rather than die */
10013             case 'l':
10014                 /*FALLTHROUGH*/
10015             default:
10016 #if defined(USE_LONG_DOUBLE)
10017                 intsize = args ? 0 : 'q';
10018 #endif
10019                 break;
10020             case 'q':
10021 #if defined(HAS_LONG_DOUBLE)
10022                 break;
10023 #else
10024                 /*FALLTHROUGH*/
10025 #endif
10026             case 'h':
10027                 goto unknown;
10028             }
10029
10030             /* now we need (long double) if intsize == 'q', else (double) */
10031             nv = (args) ?
10032 #if LONG_DOUBLESIZE > DOUBLESIZE
10033                 intsize == 'q' ?
10034                     va_arg(*args, long double) :
10035                     va_arg(*args, double)
10036 #else
10037                     va_arg(*args, double)
10038 #endif
10039                 : SvNV(argsv);
10040
10041             need = 0;
10042             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
10043                else. frexp() has some unspecified behaviour for those three */
10044             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
10045                 i = PERL_INT_MIN;
10046                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
10047                    will cast our (long double) to (double) */
10048                 (void)Perl_frexp(nv, &i);
10049                 if (i == PERL_INT_MIN)
10050                     Perl_die(aTHX_ "panic: frexp");
10051                 if (i > 0)
10052                     need = BIT_DIGITS(i);
10053             }
10054             need += has_precis ? precis : 6; /* known default */
10055
10056             if (need < width)
10057                 need = width;
10058
10059 #ifdef HAS_LDBL_SPRINTF_BUG
10060             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
10061                with sfio - Allen <allens@cpan.org> */
10062
10063 #  ifdef DBL_MAX
10064 #    define MY_DBL_MAX DBL_MAX
10065 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
10066 #    if DOUBLESIZE >= 8
10067 #      define MY_DBL_MAX 1.7976931348623157E+308L
10068 #    else
10069 #      define MY_DBL_MAX 3.40282347E+38L
10070 #    endif
10071 #  endif
10072
10073 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
10074 #    define MY_DBL_MAX_BUG 1L
10075 #  else
10076 #    define MY_DBL_MAX_BUG MY_DBL_MAX
10077 #  endif
10078
10079 #  ifdef DBL_MIN
10080 #    define MY_DBL_MIN DBL_MIN
10081 #  else  /* XXX guessing! -Allen */
10082 #    if DOUBLESIZE >= 8
10083 #      define MY_DBL_MIN 2.2250738585072014E-308L
10084 #    else
10085 #      define MY_DBL_MIN 1.17549435E-38L
10086 #    endif
10087 #  endif
10088
10089             if ((intsize == 'q') && (c == 'f') &&
10090                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
10091                 (need < DBL_DIG)) {
10092                 /* it's going to be short enough that
10093                  * long double precision is not needed */
10094
10095                 if ((nv <= 0L) && (nv >= -0L))
10096                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
10097                 else {
10098                     /* would use Perl_fp_class as a double-check but not
10099                      * functional on IRIX - see perl.h comments */
10100
10101                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
10102                         /* It's within the range that a double can represent */
10103 #if defined(DBL_MAX) && !defined(DBL_MIN)
10104                         if ((nv >= ((long double)1/DBL_MAX)) ||
10105                             (nv <= (-(long double)1/DBL_MAX)))
10106 #endif
10107                         fix_ldbl_sprintf_bug = TRUE;
10108                     }
10109                 }
10110                 if (fix_ldbl_sprintf_bug == TRUE) {
10111                     double temp;
10112
10113                     intsize = 0;
10114                     temp = (double)nv;
10115                     nv = (NV)temp;
10116                 }
10117             }
10118
10119 #  undef MY_DBL_MAX
10120 #  undef MY_DBL_MAX_BUG
10121 #  undef MY_DBL_MIN
10122
10123 #endif /* HAS_LDBL_SPRINTF_BUG */
10124
10125             need += 20; /* fudge factor */
10126             if (PL_efloatsize < need) {
10127                 Safefree(PL_efloatbuf);
10128                 PL_efloatsize = need + 20; /* more fudge */
10129                 Newx(PL_efloatbuf, PL_efloatsize, char);
10130                 PL_efloatbuf[0] = '\0';
10131             }
10132
10133             if ( !(width || left || plus || alt) && fill != '0'
10134                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
10135                 /* See earlier comment about buggy Gconvert when digits,
10136                    aka precis is 0  */
10137                 if ( c == 'g' && precis) {
10138                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
10139                     /* May return an empty string for digits==0 */
10140                     if (*PL_efloatbuf) {
10141                         elen = strlen(PL_efloatbuf);
10142                         goto float_converted;
10143                     }
10144                 } else if ( c == 'f' && !precis) {
10145                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
10146                         break;
10147                 }
10148             }
10149             {
10150                 char *ptr = ebuf + sizeof ebuf;
10151                 *--ptr = '\0';
10152                 *--ptr = c;
10153                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
10154 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
10155                 if (intsize == 'q') {
10156                     /* Copy the one or more characters in a long double
10157                      * format before the 'base' ([efgEFG]) character to
10158                      * the format string. */
10159                     static char const prifldbl[] = PERL_PRIfldbl;
10160                     char const *p = prifldbl + sizeof(prifldbl) - 3;
10161                     while (p >= prifldbl) { *--ptr = *p--; }
10162                 }
10163 #endif
10164                 if (has_precis) {
10165                     base = precis;
10166                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10167                     *--ptr = '.';
10168                 }
10169                 if (width) {
10170                     base = width;
10171                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10172                 }
10173                 if (fill == '0')
10174                     *--ptr = fill;
10175                 if (left)
10176                     *--ptr = '-';
10177                 if (plus)
10178                     *--ptr = plus;
10179                 if (alt)
10180                     *--ptr = '#';
10181                 *--ptr = '%';
10182
10183                 /* No taint.  Otherwise we are in the strange situation
10184                  * where printf() taints but print($float) doesn't.
10185                  * --jhi */
10186 #if defined(HAS_LONG_DOUBLE)
10187                 elen = ((intsize == 'q')
10188                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
10189                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
10190 #else
10191                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
10192 #endif
10193             }
10194         float_converted:
10195             eptr = PL_efloatbuf;
10196             break;
10197
10198             /* SPECIAL */
10199
10200         case 'n':
10201             if (vectorize)
10202                 goto unknown;
10203             i = SvCUR(sv) - origlen;
10204             if (args) {
10205                 switch (intsize) {
10206                 case 'h':       *(va_arg(*args, short*)) = i; break;
10207                 default:        *(va_arg(*args, int*)) = i; break;
10208                 case 'l':       *(va_arg(*args, long*)) = i; break;
10209                 case 'V':       *(va_arg(*args, IV*)) = i; break;
10210                 case 'q':
10211 #ifdef HAS_QUAD
10212                                 *(va_arg(*args, Quad_t*)) = i; break;
10213 #else
10214                                 goto unknown;
10215 #endif
10216                 }
10217             }
10218             else
10219                 sv_setuv_mg(argsv, (UV)i);
10220             continue;   /* not "break" */
10221
10222             /* UNKNOWN */
10223
10224         default:
10225       unknown:
10226             if (!args
10227                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
10228                 && ckWARN(WARN_PRINTF))
10229             {
10230                 SV * const msg = sv_newmortal();
10231                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
10232                           (PL_op->op_type == OP_PRTF) ? "" : "s");
10233                 if (fmtstart < patend) {
10234                     const char * const fmtend = q < patend ? q : patend;
10235                     const char * f;
10236                     sv_catpvs(msg, "\"%");
10237                     for (f = fmtstart; f < fmtend; f++) {
10238                         if (isPRINT(*f)) {
10239                             sv_catpvn(msg, f, 1);
10240                         } else {
10241                             Perl_sv_catpvf(aTHX_ msg,
10242                                            "\\%03"UVof, (UV)*f & 0xFF);
10243                         }
10244                     }
10245                     sv_catpvs(msg, "\"");
10246                 } else {
10247                     sv_catpvs(msg, "end of string");
10248                 }
10249                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
10250             }
10251
10252             /* output mangled stuff ... */
10253             if (c == '\0')
10254                 --q;
10255             eptr = p;
10256             elen = q - p;
10257
10258             /* ... right here, because formatting flags should not apply */
10259             SvGROW(sv, SvCUR(sv) + elen + 1);
10260             p = SvEND(sv);
10261             Copy(eptr, p, elen, char);
10262             p += elen;
10263             *p = '\0';
10264             SvCUR_set(sv, p - SvPVX_const(sv));
10265             svix = osvix;
10266             continue;   /* not "break" */
10267         }
10268
10269         if (is_utf8 != has_utf8) {
10270             if (is_utf8) {
10271                 if (SvCUR(sv))
10272                     sv_utf8_upgrade(sv);
10273             }
10274             else {
10275                 const STRLEN old_elen = elen;
10276                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
10277                 sv_utf8_upgrade(nsv);
10278                 eptr = SvPVX_const(nsv);
10279                 elen = SvCUR(nsv);
10280
10281                 if (width) { /* fudge width (can't fudge elen) */
10282                     width += elen - old_elen;
10283                 }
10284                 is_utf8 = TRUE;
10285             }
10286         }
10287
10288         have = esignlen + zeros + elen;
10289         if (have < zeros)
10290             Perl_croak_nocontext("%s", PL_memory_wrap);
10291
10292         need = (have > width ? have : width);
10293         gap = need - have;
10294
10295         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
10296             Perl_croak_nocontext("%s", PL_memory_wrap);
10297         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
10298         p = SvEND(sv);
10299         if (esignlen && fill == '0') {
10300             int i;
10301             for (i = 0; i < (int)esignlen; i++)
10302                 *p++ = esignbuf[i];
10303         }
10304         if (gap && !left) {
10305             memset(p, fill, gap);
10306             p += gap;
10307         }
10308         if (esignlen && fill != '0') {
10309             int i;
10310             for (i = 0; i < (int)esignlen; i++)
10311                 *p++ = esignbuf[i];
10312         }
10313         if (zeros) {
10314             int i;
10315             for (i = zeros; i; i--)
10316                 *p++ = '0';
10317         }
10318         if (elen) {
10319             Copy(eptr, p, elen, char);
10320             p += elen;
10321         }
10322         if (gap && left) {
10323             memset(p, ' ', gap);
10324             p += gap;
10325         }
10326         if (vectorize) {
10327             if (veclen) {
10328                 Copy(dotstr, p, dotstrlen, char);
10329                 p += dotstrlen;
10330             }
10331             else
10332                 vectorize = FALSE;              /* done iterating over vecstr */
10333         }
10334         if (is_utf8)
10335             has_utf8 = TRUE;
10336         if (has_utf8)
10337             SvUTF8_on(sv);
10338         *p = '\0';
10339         SvCUR_set(sv, p - SvPVX_const(sv));
10340         if (vectorize) {
10341             esignlen = 0;
10342             goto vector;
10343         }
10344     }
10345 }
10346
10347 /* =========================================================================
10348
10349 =head1 Cloning an interpreter
10350
10351 All the macros and functions in this section are for the private use of
10352 the main function, perl_clone().
10353
10354 The foo_dup() functions make an exact copy of an existing foo thingy.
10355 During the course of a cloning, a hash table is used to map old addresses
10356 to new addresses. The table is created and manipulated with the
10357 ptr_table_* functions.
10358
10359 =cut
10360
10361  * =========================================================================*/
10362
10363
10364 #if defined(USE_ITHREADS)
10365
10366 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
10367 #ifndef GpREFCNT_inc
10368 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
10369 #endif
10370
10371
10372 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
10373    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
10374    If this changes, please unmerge ss_dup.
10375    Likewise, sv_dup_inc_multiple() relies on this fact.  */
10376 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
10377 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
10378 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
10379 #define av_dup_inc(s,t) MUTABLE_AV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10380 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
10381 #define hv_dup_inc(s,t) MUTABLE_HV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10382 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
10383 #define cv_dup_inc(s,t) MUTABLE_CV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10384 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
10385 #define io_dup_inc(s,t) MUTABLE_IO(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10386 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
10387 #define gv_dup_inc(s,t) MUTABLE_GV(SvREFCNT_inc(sv_dup((const SV *)s,t)))
10388 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
10389 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
10390
10391 /* clone a parser */
10392
10393 yy_parser *
10394 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
10395 {
10396     yy_parser *parser;
10397
10398     PERL_ARGS_ASSERT_PARSER_DUP;
10399
10400     if (!proto)
10401         return NULL;
10402
10403     /* look for it in the table first */
10404     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
10405     if (parser)
10406         return parser;
10407
10408     /* create anew and remember what it is */
10409     Newxz(parser, 1, yy_parser);
10410     ptr_table_store(PL_ptr_table, proto, parser);
10411
10412     parser->yyerrstatus = 0;
10413     parser->yychar = YYEMPTY;           /* Cause a token to be read.  */
10414
10415     /* XXX these not yet duped */
10416     parser->old_parser = NULL;
10417     parser->stack = NULL;
10418     parser->ps = NULL;
10419     parser->stack_size = 0;
10420     /* XXX parser->stack->state = 0; */
10421
10422     /* XXX eventually, just Copy() most of the parser struct ? */
10423
10424     parser->lex_brackets = proto->lex_brackets;
10425     parser->lex_casemods = proto->lex_casemods;
10426     parser->lex_brackstack = savepvn(proto->lex_brackstack,
10427                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
10428     parser->lex_casestack = savepvn(proto->lex_casestack,
10429                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
10430     parser->lex_defer   = proto->lex_defer;
10431     parser->lex_dojoin  = proto->lex_dojoin;
10432     parser->lex_expect  = proto->lex_expect;
10433     parser->lex_formbrack = proto->lex_formbrack;
10434     parser->lex_inpat   = proto->lex_inpat;
10435     parser->lex_inwhat  = proto->lex_inwhat;
10436     parser->lex_op      = proto->lex_op;
10437     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
10438     parser->lex_starts  = proto->lex_starts;
10439     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
10440     parser->multi_close = proto->multi_close;
10441     parser->multi_open  = proto->multi_open;
10442     parser->multi_start = proto->multi_start;
10443     parser->multi_end   = proto->multi_end;
10444     parser->pending_ident = proto->pending_ident;
10445     parser->preambled   = proto->preambled;
10446     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
10447     parser->linestr     = sv_dup_inc(proto->linestr, param);
10448     parser->expect      = proto->expect;
10449     parser->copline     = proto->copline;
10450     parser->last_lop_op = proto->last_lop_op;
10451     parser->lex_state   = proto->lex_state;
10452     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
10453     /* rsfp_filters entries have fake IoDIRP() */
10454     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
10455     parser->in_my       = proto->in_my;
10456     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
10457     parser->error_count = proto->error_count;
10458
10459
10460     parser->linestr     = sv_dup_inc(proto->linestr, param);
10461
10462     {
10463         char * const ols = SvPVX(proto->linestr);
10464         char * const ls  = SvPVX(parser->linestr);
10465
10466         parser->bufptr      = ls + (proto->bufptr >= ols ?
10467                                     proto->bufptr -  ols : 0);
10468         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
10469                                     proto->oldbufptr -  ols : 0);
10470         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
10471                                     proto->oldoldbufptr -  ols : 0);
10472         parser->linestart   = ls + (proto->linestart >= ols ?
10473                                     proto->linestart -  ols : 0);
10474         parser->last_uni    = ls + (proto->last_uni >= ols ?
10475                                     proto->last_uni -  ols : 0);
10476         parser->last_lop    = ls + (proto->last_lop >= ols ?
10477                                     proto->last_lop -  ols : 0);
10478
10479         parser->bufend      = ls + SvCUR(parser->linestr);
10480     }
10481
10482     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
10483
10484
10485 #ifdef PERL_MAD
10486     parser->endwhite    = proto->endwhite;
10487     parser->faketokens  = proto->faketokens;
10488     parser->lasttoke    = proto->lasttoke;
10489     parser->nextwhite   = proto->nextwhite;
10490     parser->realtokenstart = proto->realtokenstart;
10491     parser->skipwhite   = proto->skipwhite;
10492     parser->thisclose   = proto->thisclose;
10493     parser->thismad     = proto->thismad;
10494     parser->thisopen    = proto->thisopen;
10495     parser->thisstuff   = proto->thisstuff;
10496     parser->thistoken   = proto->thistoken;
10497     parser->thiswhite   = proto->thiswhite;
10498
10499     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
10500     parser->curforce    = proto->curforce;
10501 #else
10502     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
10503     Copy(proto->nexttype, parser->nexttype, 5,  I32);
10504     parser->nexttoke    = proto->nexttoke;
10505 #endif
10506
10507     /* XXX should clone saved_curcop here, but we aren't passed
10508      * proto_perl; so do it in perl_clone_using instead */
10509
10510     return parser;
10511 }
10512
10513
10514 /* duplicate a file handle */
10515
10516 PerlIO *
10517 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
10518 {
10519     PerlIO *ret;
10520
10521     PERL_ARGS_ASSERT_FP_DUP;
10522     PERL_UNUSED_ARG(type);
10523
10524     if (!fp)
10525         return (PerlIO*)NULL;
10526
10527     /* look for it in the table first */
10528     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
10529     if (ret)
10530         return ret;
10531
10532     /* create anew and remember what it is */
10533     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
10534     ptr_table_store(PL_ptr_table, fp, ret);
10535     return ret;
10536 }
10537
10538 /* duplicate a directory handle */
10539
10540 DIR *
10541 Perl_dirp_dup(pTHX_ DIR *const dp)
10542 {
10543     PERL_UNUSED_CONTEXT;
10544     if (!dp)
10545         return (DIR*)NULL;
10546     /* XXX TODO */
10547     return dp;
10548 }
10549
10550 /* duplicate a typeglob */
10551
10552 GP *
10553 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
10554 {
10555     GP *ret;
10556
10557     PERL_ARGS_ASSERT_GP_DUP;
10558
10559     if (!gp)
10560         return (GP*)NULL;
10561     /* look for it in the table first */
10562     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
10563     if (ret)
10564         return ret;
10565
10566     /* create anew and remember what it is */
10567     Newxz(ret, 1, GP);
10568     ptr_table_store(PL_ptr_table, gp, ret);
10569
10570     /* clone */
10571     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
10572        on Newxz() to do this for us.  */
10573     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
10574     ret->gp_io          = io_dup_inc(gp->gp_io, param);
10575     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
10576     ret->gp_av          = av_dup_inc(gp->gp_av, param);
10577     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
10578     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
10579     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
10580     ret->gp_cvgen       = gp->gp_cvgen;
10581     ret->gp_line        = gp->gp_line;
10582     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
10583     return ret;
10584 }
10585
10586 /* duplicate a chain of magic */
10587
10588 MAGIC *
10589 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
10590 {
10591     MAGIC *mgret = NULL;
10592     MAGIC **mgprev_p = &mgret;
10593
10594     PERL_ARGS_ASSERT_MG_DUP;
10595
10596     for (; mg; mg = mg->mg_moremagic) {
10597         MAGIC *nmg;
10598         Newx(nmg, 1, MAGIC);
10599         *mgprev_p = nmg;
10600         mgprev_p = &(nmg->mg_moremagic);
10601
10602         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
10603            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
10604            from the original commit adding Perl_mg_dup() - revision 4538.
10605            Similarly there is the annotation "XXX random ptr?" next to the
10606            assignment to nmg->mg_ptr.  */
10607         *nmg = *mg;
10608
10609         /* FIXME for plugins
10610         if (nmg->mg_type == PERL_MAGIC_qr) {
10611             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
10612         }
10613         else
10614         */
10615         if(nmg->mg_type == PERL_MAGIC_backref) {
10616             /* The backref AV has its reference count deliberately bumped by
10617                1.  */
10618             nmg->mg_obj
10619                 = SvREFCNT_inc(av_dup_inc((const AV *) nmg->mg_obj, param));
10620         }
10621         else {
10622             nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
10623                               ? sv_dup_inc(nmg->mg_obj, param)
10624                               : sv_dup(nmg->mg_obj, param);
10625         }
10626
10627         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
10628             if (nmg->mg_len > 0) {
10629                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
10630                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
10631                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
10632                 {
10633                     AMT * const namtp = (AMT*)nmg->mg_ptr;
10634                     sv_dup_inc_multiple((SV**)(namtp->table),
10635                                         (SV**)(namtp->table), NofAMmeth, param);
10636                 }
10637             }
10638             else if (nmg->mg_len == HEf_SVKEY)
10639                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
10640         }
10641         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
10642             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
10643         }
10644     }
10645     return mgret;
10646 }
10647
10648 #endif /* USE_ITHREADS */
10649
10650 /* create a new pointer-mapping table */
10651
10652 PTR_TBL_t *
10653 Perl_ptr_table_new(pTHX)
10654 {
10655     PTR_TBL_t *tbl;
10656     PERL_UNUSED_CONTEXT;
10657
10658     Newx(tbl, 1, PTR_TBL_t);
10659     tbl->tbl_max        = 511;
10660     tbl->tbl_items      = 0;
10661     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
10662     return tbl;
10663 }
10664
10665 #define PTR_TABLE_HASH(ptr) \
10666   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
10667
10668 /* 
10669    we use the PTE_SVSLOT 'reservation' made above, both here (in the
10670    following define) and at call to new_body_inline made below in 
10671    Perl_ptr_table_store()
10672  */
10673
10674 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
10675
10676 /* map an existing pointer using a table */
10677
10678 STATIC PTR_TBL_ENT_t *
10679 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
10680 {
10681     PTR_TBL_ENT_t *tblent;
10682     const UV hash = PTR_TABLE_HASH(sv);
10683
10684     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
10685
10686     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
10687     for (; tblent; tblent = tblent->next) {
10688         if (tblent->oldval == sv)
10689             return tblent;
10690     }
10691     return NULL;
10692 }
10693
10694 void *
10695 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
10696 {
10697     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
10698
10699     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
10700     PERL_UNUSED_CONTEXT;
10701
10702     return tblent ? tblent->newval : NULL;
10703 }
10704
10705 /* add a new entry to a pointer-mapping table */
10706
10707 void
10708 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
10709 {
10710     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
10711
10712     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
10713     PERL_UNUSED_CONTEXT;
10714
10715     if (tblent) {
10716         tblent->newval = newsv;
10717     } else {
10718         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
10719
10720         new_body_inline(tblent, PTE_SVSLOT);
10721
10722         tblent->oldval = oldsv;
10723         tblent->newval = newsv;
10724         tblent->next = tbl->tbl_ary[entry];
10725         tbl->tbl_ary[entry] = tblent;
10726         tbl->tbl_items++;
10727         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
10728             ptr_table_split(tbl);
10729     }
10730 }
10731
10732 /* double the hash bucket size of an existing ptr table */
10733
10734 void
10735 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
10736 {
10737     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
10738     const UV oldsize = tbl->tbl_max + 1;
10739     UV newsize = oldsize * 2;
10740     UV i;
10741
10742     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
10743     PERL_UNUSED_CONTEXT;
10744
10745     Renew(ary, newsize, PTR_TBL_ENT_t*);
10746     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
10747     tbl->tbl_max = --newsize;
10748     tbl->tbl_ary = ary;
10749     for (i=0; i < oldsize; i++, ary++) {
10750         PTR_TBL_ENT_t **curentp, **entp, *ent;
10751         if (!*ary)
10752             continue;
10753         curentp = ary + oldsize;
10754         for (entp = ary, ent = *ary; ent; ent = *entp) {
10755             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
10756                 *entp = ent->next;
10757                 ent->next = *curentp;
10758                 *curentp = ent;
10759                 continue;
10760             }
10761             else
10762                 entp = &ent->next;
10763         }
10764     }
10765 }
10766
10767 /* remove all the entries from a ptr table */
10768
10769 void
10770 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
10771 {
10772     if (tbl && tbl->tbl_items) {
10773         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
10774         UV riter = tbl->tbl_max;
10775
10776         do {
10777             PTR_TBL_ENT_t *entry = array[riter];
10778
10779             while (entry) {
10780                 PTR_TBL_ENT_t * const oentry = entry;
10781                 entry = entry->next;
10782                 del_pte(oentry);
10783             }
10784         } while (riter--);
10785
10786         tbl->tbl_items = 0;
10787     }
10788 }
10789
10790 /* clear and free a ptr table */
10791
10792 void
10793 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
10794 {
10795     if (!tbl) {
10796         return;
10797     }
10798     ptr_table_clear(tbl);
10799     Safefree(tbl->tbl_ary);
10800     Safefree(tbl);
10801 }
10802
10803 #if defined(USE_ITHREADS)
10804
10805 void
10806 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
10807 {
10808     PERL_ARGS_ASSERT_RVPV_DUP;
10809
10810     if (SvROK(sstr)) {
10811         SvRV_set(dstr, SvWEAKREF(sstr)
10812                        ? sv_dup(SvRV_const(sstr), param)
10813                        : sv_dup_inc(SvRV_const(sstr), param));
10814
10815     }
10816     else if (SvPVX_const(sstr)) {
10817         /* Has something there */
10818         if (SvLEN(sstr)) {
10819             /* Normal PV - clone whole allocated space */
10820             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
10821             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
10822                 /* Not that normal - actually sstr is copy on write.
10823                    But we are a true, independant SV, so:  */
10824                 SvREADONLY_off(dstr);
10825                 SvFAKE_off(dstr);
10826             }
10827         }
10828         else {
10829             /* Special case - not normally malloced for some reason */
10830             if (isGV_with_GP(sstr)) {
10831                 /* Don't need to do anything here.  */
10832             }
10833             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
10834                 /* A "shared" PV - clone it as "shared" PV */
10835                 SvPV_set(dstr,
10836                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
10837                                          param)));
10838             }
10839             else {
10840                 /* Some other special case - random pointer */
10841                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
10842             }
10843         }
10844     }
10845     else {
10846         /* Copy the NULL */
10847         SvPV_set(dstr, NULL);
10848     }
10849 }
10850
10851 /* duplicate a list of SVs. source and dest may point to the same memory.  */
10852 static SV **
10853 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
10854                       SSize_t items, CLONE_PARAMS *const param)
10855 {
10856     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
10857
10858     while (items-- > 0) {
10859         *dest++ = sv_dup_inc(*source++, param);
10860     }
10861
10862     return dest;
10863 }
10864
10865 /* duplicate an SV of any type (including AV, HV etc) */
10866
10867 SV *
10868 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
10869 {
10870     dVAR;
10871     SV *dstr;
10872
10873     PERL_ARGS_ASSERT_SV_DUP;
10874
10875     if (!sstr)
10876         return NULL;
10877     if (SvTYPE(sstr) == SVTYPEMASK) {
10878 #ifdef DEBUG_LEAKING_SCALARS_ABORT
10879         abort();
10880 #endif
10881         return NULL;
10882     }
10883     /* look for it in the table first */
10884     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
10885     if (dstr)
10886         return dstr;
10887
10888     if(param->flags & CLONEf_JOIN_IN) {
10889         /** We are joining here so we don't want do clone
10890             something that is bad **/
10891         if (SvTYPE(sstr) == SVt_PVHV) {
10892             const HEK * const hvname = HvNAME_HEK(sstr);
10893             if (hvname)
10894                 /** don't clone stashes if they already exist **/
10895                 return MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0));
10896         }
10897     }
10898
10899     /* create anew and remember what it is */
10900     new_SV(dstr);
10901
10902 #ifdef DEBUG_LEAKING_SCALARS
10903     dstr->sv_debug_optype = sstr->sv_debug_optype;
10904     dstr->sv_debug_line = sstr->sv_debug_line;
10905     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
10906     dstr->sv_debug_cloned = 1;
10907     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
10908 #endif
10909
10910     ptr_table_store(PL_ptr_table, sstr, dstr);
10911
10912     /* clone */
10913     SvFLAGS(dstr)       = SvFLAGS(sstr);
10914     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
10915     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
10916
10917 #ifdef DEBUGGING
10918     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
10919         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
10920                       (void*)PL_watch_pvx, SvPVX_const(sstr));
10921 #endif
10922
10923     /* don't clone objects whose class has asked us not to */
10924     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
10925         SvFLAGS(dstr) = 0;
10926         return dstr;
10927     }
10928
10929     switch (SvTYPE(sstr)) {
10930     case SVt_NULL:
10931         SvANY(dstr)     = NULL;
10932         break;
10933     case SVt_IV:
10934         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
10935         if(SvROK(sstr)) {
10936             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10937         } else {
10938             SvIV_set(dstr, SvIVX(sstr));
10939         }
10940         break;
10941     case SVt_NV:
10942         SvANY(dstr)     = new_XNV();
10943         SvNV_set(dstr, SvNVX(sstr));
10944         break;
10945         /* case SVt_BIND: */
10946     default:
10947         {
10948             /* These are all the types that need complex bodies allocating.  */
10949             void *new_body;
10950             const svtype sv_type = SvTYPE(sstr);
10951             const struct body_details *const sv_type_details
10952                 = bodies_by_type + sv_type;
10953
10954             switch (sv_type) {
10955             default:
10956                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
10957                 break;
10958
10959             case SVt_PVGV:
10960             case SVt_PVIO:
10961             case SVt_PVFM:
10962             case SVt_PVHV:
10963             case SVt_PVAV:
10964             case SVt_PVCV:
10965             case SVt_PVLV:
10966             case SVt_REGEXP:
10967             case SVt_PVMG:
10968             case SVt_PVNV:
10969             case SVt_PVIV:
10970             case SVt_PV:
10971                 assert(sv_type_details->body_size);
10972                 if (sv_type_details->arena) {
10973                     new_body_inline(new_body, sv_type);
10974                     new_body
10975                         = (void*)((char*)new_body - sv_type_details->offset);
10976                 } else {
10977                     new_body = new_NOARENA(sv_type_details);
10978                 }
10979             }
10980             assert(new_body);
10981             SvANY(dstr) = new_body;
10982
10983 #ifndef PURIFY
10984             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
10985                  ((char*)SvANY(dstr)) + sv_type_details->offset,
10986                  sv_type_details->copy, char);
10987 #else
10988             Copy(((char*)SvANY(sstr)),
10989                  ((char*)SvANY(dstr)),
10990                  sv_type_details->body_size + sv_type_details->offset, char);
10991 #endif
10992
10993             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
10994                 && !isGV_with_GP(dstr))
10995                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
10996
10997             /* The Copy above means that all the source (unduplicated) pointers
10998                are now in the destination.  We can check the flags and the
10999                pointers in either, but it's possible that there's less cache
11000                missing by always going for the destination.
11001                FIXME - instrument and check that assumption  */
11002             if (sv_type >= SVt_PVMG) {
11003                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
11004                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
11005                 } else if (SvMAGIC(dstr))
11006                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
11007                 if (SvSTASH(dstr))
11008                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
11009             }
11010
11011             /* The cast silences a GCC warning about unhandled types.  */
11012             switch ((int)sv_type) {
11013             case SVt_PV:
11014                 break;
11015             case SVt_PVIV:
11016                 break;
11017             case SVt_PVNV:
11018                 break;
11019             case SVt_PVMG:
11020                 break;
11021             case SVt_REGEXP:
11022                 /* FIXME for plugins */
11023                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
11024                 break;
11025             case SVt_PVLV:
11026                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
11027                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
11028                     LvTARG(dstr) = dstr;
11029                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
11030                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
11031                 else
11032                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
11033             case SVt_PVGV:
11034                 if(isGV_with_GP(sstr)) {
11035                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
11036                     /* Don't call sv_add_backref here as it's going to be
11037                        created as part of the magic cloning of the symbol
11038                        table--unless this is during a join and the stash
11039                        is not actually being cloned.  */
11040                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
11041                        at the point of this comment.  */
11042                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
11043                     if(param->flags & CLONEf_JOIN_IN) {
11044                         const HEK * const hvname
11045                          = HvNAME_HEK(GvSTASH(dstr));
11046                         if( hvname
11047                          && GvSTASH(dstr) == gv_stashpvn(
11048                              HEK_KEY(hvname), HEK_LEN(hvname), 0
11049                             )
11050                           )
11051                             Perl_sv_add_backref(
11052                              aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr
11053                             );
11054                     }
11055                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
11056                     (void)GpREFCNT_inc(GvGP(dstr));
11057                 } else
11058                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
11059                 break;
11060             case SVt_PVIO:
11061                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
11062                 if (IoOFP(dstr) == IoIFP(sstr))
11063                     IoOFP(dstr) = IoIFP(dstr);
11064                 else
11065                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
11066                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
11067                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
11068                     /* I have no idea why fake dirp (rsfps)
11069                        should be treated differently but otherwise
11070                        we end up with leaks -- sky*/
11071                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
11072                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
11073                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
11074                 } else {
11075                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
11076                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
11077                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
11078                     if (IoDIRP(dstr)) {
11079                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
11080                     } else {
11081                         NOOP;
11082                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
11083                     }
11084                 }
11085                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
11086                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
11087                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
11088                 break;
11089             case SVt_PVAV:
11090                 /* avoid cloning an empty array */
11091                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
11092                     SV **dst_ary, **src_ary;
11093                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
11094
11095                     src_ary = AvARRAY((const AV *)sstr);
11096                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
11097                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
11098                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
11099                     AvALLOC((const AV *)dstr) = dst_ary;
11100                     if (AvREAL((const AV *)sstr)) {
11101                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
11102                                                       param);
11103                     }
11104                     else {
11105                         while (items-- > 0)
11106                             *dst_ary++ = sv_dup(*src_ary++, param);
11107                     }
11108                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
11109                     while (items-- > 0) {
11110                         *dst_ary++ = &PL_sv_undef;
11111                     }
11112                 }
11113                 else {
11114                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
11115                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
11116                     AvMAX(  (const AV *)dstr)   = -1;
11117                     AvFILLp((const AV *)dstr)   = -1;
11118                 }
11119                 break;
11120             case SVt_PVHV:
11121                 if (HvARRAY((const HV *)sstr)) {
11122                     STRLEN i = 0;
11123                     const bool sharekeys = !!HvSHAREKEYS(sstr);
11124                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
11125                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
11126                     char *darray;
11127                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
11128                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
11129                         char);
11130                     HvARRAY(dstr) = (HE**)darray;
11131                     while (i <= sxhv->xhv_max) {
11132                         const HE * const source = HvARRAY(sstr)[i];
11133                         HvARRAY(dstr)[i] = source
11134                             ? he_dup(source, sharekeys, param) : 0;
11135                         ++i;
11136                     }
11137                     if (SvOOK(sstr)) {
11138                         HEK *hvname;
11139                         const struct xpvhv_aux * const saux = HvAUX(sstr);
11140                         struct xpvhv_aux * const daux = HvAUX(dstr);
11141                         /* This flag isn't copied.  */
11142                         /* SvOOK_on(hv) attacks the IV flags.  */
11143                         SvFLAGS(dstr) |= SVf_OOK;
11144
11145                         hvname = saux->xhv_name;
11146                         daux->xhv_name = hek_dup(hvname, param);
11147
11148                         daux->xhv_riter = saux->xhv_riter;
11149                         daux->xhv_eiter = saux->xhv_eiter
11150                             ? he_dup(saux->xhv_eiter,
11151                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
11152                         /* backref array needs refcnt=2; see sv_add_backref */
11153                         daux->xhv_backreferences =
11154                             saux->xhv_backreferences
11155                             ? MUTABLE_AV(SvREFCNT_inc(
11156                                                       sv_dup_inc((const SV *)saux->xhv_backreferences, param)))
11157                                 : 0;
11158
11159                         daux->xhv_mro_meta = saux->xhv_mro_meta
11160                             ? mro_meta_dup(saux->xhv_mro_meta, param)
11161                             : 0;
11162
11163                         /* Record stashes for possible cloning in Perl_clone(). */
11164                         if (hvname)
11165                             av_push(param->stashes, dstr);
11166                     }
11167                 }
11168                 else
11169                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
11170                 break;
11171             case SVt_PVCV:
11172                 if (!(param->flags & CLONEf_COPY_STACKS)) {
11173                     CvDEPTH(dstr) = 0;
11174                 }
11175             case SVt_PVFM:
11176                 /* NOTE: not refcounted */
11177                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
11178                 OP_REFCNT_LOCK;
11179                 if (!CvISXSUB(dstr))
11180                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
11181                 OP_REFCNT_UNLOCK;
11182                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
11183                     CvXSUBANY(dstr).any_ptr =
11184                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
11185                 }
11186                 /* don't dup if copying back - CvGV isn't refcounted, so the
11187                  * duped GV may never be freed. A bit of a hack! DAPM */
11188                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
11189                     NULL : gv_dup(CvGV(dstr), param) ;
11190                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
11191                 CvOUTSIDE(dstr) =
11192                     CvWEAKOUTSIDE(sstr)
11193                     ? cv_dup(    CvOUTSIDE(dstr), param)
11194                     : cv_dup_inc(CvOUTSIDE(dstr), param);
11195                 if (!CvISXSUB(dstr))
11196                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
11197                 break;
11198             }
11199         }
11200     }
11201
11202     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
11203         ++PL_sv_objcount;
11204
11205     return dstr;
11206  }
11207
11208 /* duplicate a context */
11209
11210 PERL_CONTEXT *
11211 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
11212 {
11213     PERL_CONTEXT *ncxs;
11214
11215     PERL_ARGS_ASSERT_CX_DUP;
11216
11217     if (!cxs)
11218         return (PERL_CONTEXT*)NULL;
11219
11220     /* look for it in the table first */
11221     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
11222     if (ncxs)
11223         return ncxs;
11224
11225     /* create anew and remember what it is */
11226     Newx(ncxs, max + 1, PERL_CONTEXT);
11227     ptr_table_store(PL_ptr_table, cxs, ncxs);
11228     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
11229
11230     while (ix >= 0) {
11231         PERL_CONTEXT * const ncx = &ncxs[ix];
11232         if (CxTYPE(ncx) == CXt_SUBST) {
11233             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
11234         }
11235         else {
11236             switch (CxTYPE(ncx)) {
11237             case CXt_SUB:
11238                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
11239                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
11240                                            : cv_dup(ncx->blk_sub.cv,param));
11241                 ncx->blk_sub.argarray   = (CxHASARGS(ncx)
11242                                            ? av_dup_inc(ncx->blk_sub.argarray,
11243                                                         param)
11244                                            : NULL);
11245                 ncx->blk_sub.savearray  = av_dup_inc(ncx->blk_sub.savearray,
11246                                                      param);
11247                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
11248                                            ncx->blk_sub.oldcomppad);
11249                 break;
11250             case CXt_EVAL:
11251                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
11252                                                       param);
11253                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
11254                 break;
11255             case CXt_LOOP_LAZYSV:
11256                 ncx->blk_loop.state_u.lazysv.end
11257                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
11258                 /* We are taking advantage of av_dup_inc and sv_dup_inc
11259                    actually being the same function, and order equivalance of
11260                    the two unions.
11261                    We can assert the later [but only at run time :-(]  */
11262                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
11263                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
11264             case CXt_LOOP_FOR:
11265                 ncx->blk_loop.state_u.ary.ary
11266                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
11267             case CXt_LOOP_LAZYIV:
11268             case CXt_LOOP_PLAIN:
11269                 if (CxPADLOOP(ncx)) {
11270                     ncx->blk_loop.oldcomppad
11271                         = (PAD*)ptr_table_fetch(PL_ptr_table,
11272                                                 ncx->blk_loop.oldcomppad);
11273                 } else {
11274                     ncx->blk_loop.oldcomppad
11275                         = (PAD*)gv_dup((const GV *)ncx->blk_loop.oldcomppad,
11276                                        param);
11277                 }
11278                 break;
11279             case CXt_FORMAT:
11280                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
11281                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
11282                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
11283                                                      param);
11284                 break;
11285             case CXt_BLOCK:
11286             case CXt_NULL:
11287                 break;
11288             }
11289         }
11290         --ix;
11291     }
11292     return ncxs;
11293 }
11294
11295 /* duplicate a stack info structure */
11296
11297 PERL_SI *
11298 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
11299 {
11300     PERL_SI *nsi;
11301
11302     PERL_ARGS_ASSERT_SI_DUP;
11303
11304     if (!si)
11305         return (PERL_SI*)NULL;
11306
11307     /* look for it in the table first */
11308     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
11309     if (nsi)
11310         return nsi;
11311
11312     /* create anew and remember what it is */
11313     Newxz(nsi, 1, PERL_SI);
11314     ptr_table_store(PL_ptr_table, si, nsi);
11315
11316     nsi->si_stack       = av_dup_inc(si->si_stack, param);
11317     nsi->si_cxix        = si->si_cxix;
11318     nsi->si_cxmax       = si->si_cxmax;
11319     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
11320     nsi->si_type        = si->si_type;
11321     nsi->si_prev        = si_dup(si->si_prev, param);
11322     nsi->si_next        = si_dup(si->si_next, param);
11323     nsi->si_markoff     = si->si_markoff;
11324
11325     return nsi;
11326 }
11327
11328 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
11329 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
11330 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
11331 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
11332 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
11333 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
11334 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
11335 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
11336 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
11337 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
11338 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
11339 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
11340 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
11341 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
11342
11343 /* XXXXX todo */
11344 #define pv_dup_inc(p)   SAVEPV(p)
11345 #define pv_dup(p)       SAVEPV(p)
11346 #define svp_dup_inc(p,pp)       any_dup(p,pp)
11347
11348 /* map any object to the new equivent - either something in the
11349  * ptr table, or something in the interpreter structure
11350  */
11351
11352 void *
11353 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
11354 {
11355     void *ret;
11356
11357     PERL_ARGS_ASSERT_ANY_DUP;
11358
11359     if (!v)
11360         return (void*)NULL;
11361
11362     /* look for it in the table first */
11363     ret = ptr_table_fetch(PL_ptr_table, v);
11364     if (ret)
11365         return ret;
11366
11367     /* see if it is part of the interpreter structure */
11368     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
11369         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
11370     else {
11371         ret = v;
11372     }
11373
11374     return ret;
11375 }
11376
11377 /* duplicate the save stack */
11378
11379 ANY *
11380 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
11381 {
11382     dVAR;
11383     ANY * const ss      = proto_perl->Isavestack;
11384     const I32 max       = proto_perl->Isavestack_max;
11385     I32 ix              = proto_perl->Isavestack_ix;
11386     ANY *nss;
11387     const SV *sv;
11388     const GV *gv;
11389     const AV *av;
11390     const HV *hv;
11391     void* ptr;
11392     int intval;
11393     long longval;
11394     GP *gp;
11395     IV iv;
11396     I32 i;
11397     char *c = NULL;
11398     void (*dptr) (void*);
11399     void (*dxptr) (pTHX_ void*);
11400
11401     PERL_ARGS_ASSERT_SS_DUP;
11402
11403     Newxz(nss, max, ANY);
11404
11405     while (ix > 0) {
11406         const I32 type = POPINT(ss,ix);
11407         TOPINT(nss,ix) = type;
11408         switch (type) {
11409         case SAVEt_HELEM:               /* hash element */
11410             sv = (const SV *)POPPTR(ss,ix);
11411             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11412             /* fall through */
11413         case SAVEt_ITEM:                        /* normal string */
11414         case SAVEt_SV:                          /* scalar reference */
11415             sv = (const SV *)POPPTR(ss,ix);
11416             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11417             /* fall through */
11418         case SAVEt_FREESV:
11419         case SAVEt_MORTALIZESV:
11420             sv = (const SV *)POPPTR(ss,ix);
11421             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11422             break;
11423         case SAVEt_SHARED_PVREF:                /* char* in shared space */
11424             c = (char*)POPPTR(ss,ix);
11425             TOPPTR(nss,ix) = savesharedpv(c);
11426             ptr = POPPTR(ss,ix);
11427             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11428             break;
11429         case SAVEt_GENERIC_SVREF:               /* generic sv */
11430         case SAVEt_SVREF:                       /* scalar reference */
11431             sv = (const SV *)POPPTR(ss,ix);
11432             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11433             ptr = POPPTR(ss,ix);
11434             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
11435             break;
11436         case SAVEt_HV:                          /* hash reference */
11437         case SAVEt_AV:                          /* array reference */
11438             sv = (const SV *) POPPTR(ss,ix);
11439             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11440             /* fall through */
11441         case SAVEt_COMPPAD:
11442         case SAVEt_NSTAB:
11443             sv = (const SV *) POPPTR(ss,ix);
11444             TOPPTR(nss,ix) = sv_dup(sv, param);
11445             break;
11446         case SAVEt_INT:                         /* int reference */
11447             ptr = POPPTR(ss,ix);
11448             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11449             intval = (int)POPINT(ss,ix);
11450             TOPINT(nss,ix) = intval;
11451             break;
11452         case SAVEt_LONG:                        /* long reference */
11453             ptr = POPPTR(ss,ix);
11454             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11455             /* fall through */
11456         case SAVEt_CLEARSV:
11457             longval = (long)POPLONG(ss,ix);
11458             TOPLONG(nss,ix) = longval;
11459             break;
11460         case SAVEt_I32:                         /* I32 reference */
11461         case SAVEt_I16:                         /* I16 reference */
11462         case SAVEt_I8:                          /* I8 reference */
11463         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
11464             ptr = POPPTR(ss,ix);
11465             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11466             i = POPINT(ss,ix);
11467             TOPINT(nss,ix) = i;
11468             break;
11469         case SAVEt_IV:                          /* IV reference */
11470             ptr = POPPTR(ss,ix);
11471             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11472             iv = POPIV(ss,ix);
11473             TOPIV(nss,ix) = iv;
11474             break;
11475         case SAVEt_HPTR:                        /* HV* reference */
11476         case SAVEt_APTR:                        /* AV* reference */
11477         case SAVEt_SPTR:                        /* SV* reference */
11478             ptr = POPPTR(ss,ix);
11479             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11480             sv = (const SV *)POPPTR(ss,ix);
11481             TOPPTR(nss,ix) = sv_dup(sv, param);
11482             break;
11483         case SAVEt_VPTR:                        /* random* reference */
11484             ptr = POPPTR(ss,ix);
11485             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11486             ptr = POPPTR(ss,ix);
11487             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11488             break;
11489         case SAVEt_GENERIC_PVREF:               /* generic char* */
11490         case SAVEt_PPTR:                        /* char* reference */
11491             ptr = POPPTR(ss,ix);
11492             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11493             c = (char*)POPPTR(ss,ix);
11494             TOPPTR(nss,ix) = pv_dup(c);
11495             break;
11496         case SAVEt_GP:                          /* scalar reference */
11497             gp = (GP*)POPPTR(ss,ix);
11498             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
11499             (void)GpREFCNT_inc(gp);
11500             gv = (const GV *)POPPTR(ss,ix);
11501             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
11502             break;
11503         case SAVEt_FREEOP:
11504             ptr = POPPTR(ss,ix);
11505             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
11506                 /* these are assumed to be refcounted properly */
11507                 OP *o;
11508                 switch (((OP*)ptr)->op_type) {
11509                 case OP_LEAVESUB:
11510                 case OP_LEAVESUBLV:
11511                 case OP_LEAVEEVAL:
11512                 case OP_LEAVE:
11513                 case OP_SCOPE:
11514                 case OP_LEAVEWRITE:
11515                     TOPPTR(nss,ix) = ptr;
11516                     o = (OP*)ptr;
11517                     OP_REFCNT_LOCK;
11518                     (void) OpREFCNT_inc(o);
11519                     OP_REFCNT_UNLOCK;
11520                     break;
11521                 default:
11522                     TOPPTR(nss,ix) = NULL;
11523                     break;
11524                 }
11525             }
11526             else
11527                 TOPPTR(nss,ix) = NULL;
11528             break;
11529         case SAVEt_DELETE:
11530             hv = (const HV *)POPPTR(ss,ix);
11531             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11532             i = POPINT(ss,ix);
11533             TOPINT(nss,ix) = i;
11534             /* Fall through */
11535         case SAVEt_FREEPV:
11536             c = (char*)POPPTR(ss,ix);
11537             TOPPTR(nss,ix) = pv_dup_inc(c);
11538             break;
11539         case SAVEt_STACK_POS:           /* Position on Perl stack */
11540             i = POPINT(ss,ix);
11541             TOPINT(nss,ix) = i;
11542             break;
11543         case SAVEt_DESTRUCTOR:
11544             ptr = POPPTR(ss,ix);
11545             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11546             dptr = POPDPTR(ss,ix);
11547             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
11548                                         any_dup(FPTR2DPTR(void *, dptr),
11549                                                 proto_perl));
11550             break;
11551         case SAVEt_DESTRUCTOR_X:
11552             ptr = POPPTR(ss,ix);
11553             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
11554             dxptr = POPDXPTR(ss,ix);
11555             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
11556                                          any_dup(FPTR2DPTR(void *, dxptr),
11557                                                  proto_perl));
11558             break;
11559         case SAVEt_REGCONTEXT:
11560         case SAVEt_ALLOC:
11561             i = POPINT(ss,ix);
11562             TOPINT(nss,ix) = i;
11563             ix -= i;
11564             break;
11565         case SAVEt_AELEM:               /* array element */
11566             sv = (const SV *)POPPTR(ss,ix);
11567             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11568             i = POPINT(ss,ix);
11569             TOPINT(nss,ix) = i;
11570             av = (const AV *)POPPTR(ss,ix);
11571             TOPPTR(nss,ix) = av_dup_inc(av, param);
11572             break;
11573         case SAVEt_OP:
11574             ptr = POPPTR(ss,ix);
11575             TOPPTR(nss,ix) = ptr;
11576             break;
11577         case SAVEt_HINTS:
11578             ptr = POPPTR(ss,ix);
11579             if (ptr) {
11580                 HINTS_REFCNT_LOCK;
11581                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
11582                 HINTS_REFCNT_UNLOCK;
11583             }
11584             TOPPTR(nss,ix) = ptr;
11585             i = POPINT(ss,ix);
11586             TOPINT(nss,ix) = i;
11587             if (i & HINT_LOCALIZE_HH) {
11588                 hv = (const HV *)POPPTR(ss,ix);
11589                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
11590             }
11591             break;
11592         case SAVEt_PADSV_AND_MORTALIZE:
11593             longval = (long)POPLONG(ss,ix);
11594             TOPLONG(nss,ix) = longval;
11595             ptr = POPPTR(ss,ix);
11596             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11597             sv = (const SV *)POPPTR(ss,ix);
11598             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
11599             break;
11600         case SAVEt_BOOL:
11601             ptr = POPPTR(ss,ix);
11602             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
11603             longval = (long)POPBOOL(ss,ix);
11604             TOPBOOL(nss,ix) = (bool)longval;
11605             break;
11606         case SAVEt_SET_SVFLAGS:
11607             i = POPINT(ss,ix);
11608             TOPINT(nss,ix) = i;
11609             i = POPINT(ss,ix);
11610             TOPINT(nss,ix) = i;
11611             sv = (const SV *)POPPTR(ss,ix);
11612             TOPPTR(nss,ix) = sv_dup(sv, param);
11613             break;
11614         case SAVEt_RE_STATE:
11615             {
11616                 const struct re_save_state *const old_state
11617                     = (struct re_save_state *)
11618                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11619                 struct re_save_state *const new_state
11620                     = (struct re_save_state *)
11621                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
11622
11623                 Copy(old_state, new_state, 1, struct re_save_state);
11624                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
11625
11626                 new_state->re_state_bostr
11627                     = pv_dup(old_state->re_state_bostr);
11628                 new_state->re_state_reginput
11629                     = pv_dup(old_state->re_state_reginput);
11630                 new_state->re_state_regeol
11631                     = pv_dup(old_state->re_state_regeol);
11632                 new_state->re_state_regoffs
11633                     = (regexp_paren_pair*)
11634                         any_dup(old_state->re_state_regoffs, proto_perl);
11635                 new_state->re_state_reglastparen
11636                     = (U32*) any_dup(old_state->re_state_reglastparen, 
11637                               proto_perl);
11638                 new_state->re_state_reglastcloseparen
11639                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
11640                               proto_perl);
11641                 /* XXX This just has to be broken. The old save_re_context
11642                    code did SAVEGENERICPV(PL_reg_start_tmp);
11643                    PL_reg_start_tmp is char **.
11644                    Look above to what the dup code does for
11645                    SAVEt_GENERIC_PVREF
11646                    It can never have worked.
11647                    So this is merely a faithful copy of the exiting bug:  */
11648                 new_state->re_state_reg_start_tmp
11649                     = (char **) pv_dup((char *)
11650                                       old_state->re_state_reg_start_tmp);
11651                 /* I assume that it only ever "worked" because no-one called
11652                    (pseudo)fork while the regexp engine had re-entered itself.
11653                 */
11654 #ifdef PERL_OLD_COPY_ON_WRITE
11655                 new_state->re_state_nrs
11656                     = sv_dup(old_state->re_state_nrs, param);
11657 #endif
11658                 new_state->re_state_reg_magic
11659                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
11660                                proto_perl);
11661                 new_state->re_state_reg_oldcurpm
11662                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
11663                               proto_perl);
11664                 new_state->re_state_reg_curpm
11665                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
11666                                proto_perl);
11667                 new_state->re_state_reg_oldsaved
11668                     = pv_dup(old_state->re_state_reg_oldsaved);
11669                 new_state->re_state_reg_poscache
11670                     = pv_dup(old_state->re_state_reg_poscache);
11671                 new_state->re_state_reg_starttry
11672                     = pv_dup(old_state->re_state_reg_starttry);
11673                 break;
11674             }
11675         case SAVEt_COMPILE_WARNINGS:
11676             ptr = POPPTR(ss,ix);
11677             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
11678             break;
11679         case SAVEt_PARSER:
11680             ptr = POPPTR(ss,ix);
11681             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
11682             break;
11683         default:
11684             Perl_croak(aTHX_
11685                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
11686         }
11687     }
11688
11689     return nss;
11690 }
11691
11692
11693 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
11694  * flag to the result. This is done for each stash before cloning starts,
11695  * so we know which stashes want their objects cloned */
11696
11697 static void
11698 do_mark_cloneable_stash(pTHX_ SV *const sv)
11699 {
11700     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
11701     if (hvname) {
11702         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
11703         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
11704         if (cloner && GvCV(cloner)) {
11705             dSP;
11706             UV status;
11707
11708             ENTER;
11709             SAVETMPS;
11710             PUSHMARK(SP);
11711             mXPUSHs(newSVhek(hvname));
11712             PUTBACK;
11713             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
11714             SPAGAIN;
11715             status = POPu;
11716             PUTBACK;
11717             FREETMPS;
11718             LEAVE;
11719             if (status)
11720                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
11721         }
11722     }
11723 }
11724
11725
11726
11727 /*
11728 =for apidoc perl_clone
11729
11730 Create and return a new interpreter by cloning the current one.
11731
11732 perl_clone takes these flags as parameters:
11733
11734 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
11735 without it we only clone the data and zero the stacks,
11736 with it we copy the stacks and the new perl interpreter is
11737 ready to run at the exact same point as the previous one.
11738 The pseudo-fork code uses COPY_STACKS while the
11739 threads->create doesn't.
11740
11741 CLONEf_KEEP_PTR_TABLE
11742 perl_clone keeps a ptr_table with the pointer of the old
11743 variable as a key and the new variable as a value,
11744 this allows it to check if something has been cloned and not
11745 clone it again but rather just use the value and increase the
11746 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
11747 the ptr_table using the function
11748 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
11749 reason to keep it around is if you want to dup some of your own
11750 variable who are outside the graph perl scans, example of this
11751 code is in threads.xs create
11752
11753 CLONEf_CLONE_HOST
11754 This is a win32 thing, it is ignored on unix, it tells perls
11755 win32host code (which is c++) to clone itself, this is needed on
11756 win32 if you want to run two threads at the same time,
11757 if you just want to do some stuff in a separate perl interpreter
11758 and then throw it away and return to the original one,
11759 you don't need to do anything.
11760
11761 =cut
11762 */
11763
11764 /* XXX the above needs expanding by someone who actually understands it ! */
11765 EXTERN_C PerlInterpreter *
11766 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
11767
11768 PerlInterpreter *
11769 perl_clone(PerlInterpreter *proto_perl, UV flags)
11770 {
11771    dVAR;
11772 #ifdef PERL_IMPLICIT_SYS
11773
11774     PERL_ARGS_ASSERT_PERL_CLONE;
11775
11776    /* perlhost.h so we need to call into it
11777    to clone the host, CPerlHost should have a c interface, sky */
11778
11779    if (flags & CLONEf_CLONE_HOST) {
11780        return perl_clone_host(proto_perl,flags);
11781    }
11782    return perl_clone_using(proto_perl, flags,
11783                             proto_perl->IMem,
11784                             proto_perl->IMemShared,
11785                             proto_perl->IMemParse,
11786                             proto_perl->IEnv,
11787                             proto_perl->IStdIO,
11788                             proto_perl->ILIO,
11789                             proto_perl->IDir,
11790                             proto_perl->ISock,
11791                             proto_perl->IProc);
11792 }
11793
11794 PerlInterpreter *
11795 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
11796                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
11797                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
11798                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
11799                  struct IPerlDir* ipD, struct IPerlSock* ipS,
11800                  struct IPerlProc* ipP)
11801 {
11802     /* XXX many of the string copies here can be optimized if they're
11803      * constants; they need to be allocated as common memory and just
11804      * their pointers copied. */
11805
11806     IV i;
11807     CLONE_PARAMS clone_params;
11808     CLONE_PARAMS* const param = &clone_params;
11809
11810     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
11811
11812     PERL_ARGS_ASSERT_PERL_CLONE_USING;
11813
11814     /* for each stash, determine whether its objects should be cloned */
11815     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11816     PERL_SET_THX(my_perl);
11817
11818 #  ifdef DEBUGGING
11819     PoisonNew(my_perl, 1, PerlInterpreter);
11820     PL_op = NULL;
11821     PL_curcop = NULL;
11822     PL_markstack = 0;
11823     PL_scopestack = 0;
11824     PL_scopestack_name = 0;
11825     PL_savestack = 0;
11826     PL_savestack_ix = 0;
11827     PL_savestack_max = -1;
11828     PL_sig_pending = 0;
11829     PL_parser = NULL;
11830     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11831 #  else /* !DEBUGGING */
11832     Zero(my_perl, 1, PerlInterpreter);
11833 #  endif        /* DEBUGGING */
11834
11835     /* host pointers */
11836     PL_Mem              = ipM;
11837     PL_MemShared        = ipMS;
11838     PL_MemParse         = ipMP;
11839     PL_Env              = ipE;
11840     PL_StdIO            = ipStd;
11841     PL_LIO              = ipLIO;
11842     PL_Dir              = ipD;
11843     PL_Sock             = ipS;
11844     PL_Proc             = ipP;
11845 #else           /* !PERL_IMPLICIT_SYS */
11846     IV i;
11847     CLONE_PARAMS clone_params;
11848     CLONE_PARAMS* param = &clone_params;
11849     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
11850
11851     PERL_ARGS_ASSERT_PERL_CLONE;
11852
11853     /* for each stash, determine whether its objects should be cloned */
11854     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
11855     PERL_SET_THX(my_perl);
11856
11857 #    ifdef DEBUGGING
11858     PoisonNew(my_perl, 1, PerlInterpreter);
11859     PL_op = NULL;
11860     PL_curcop = NULL;
11861     PL_markstack = 0;
11862     PL_scopestack = 0;
11863     PL_scopestack_name = 0;
11864     PL_savestack = 0;
11865     PL_savestack_ix = 0;
11866     PL_savestack_max = -1;
11867     PL_sig_pending = 0;
11868     PL_parser = NULL;
11869     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
11870 #    else       /* !DEBUGGING */
11871     Zero(my_perl, 1, PerlInterpreter);
11872 #    endif      /* DEBUGGING */
11873 #endif          /* PERL_IMPLICIT_SYS */
11874     param->flags = flags;
11875     param->proto_perl = proto_perl;
11876
11877     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
11878
11879     PL_body_arenas = NULL;
11880     Zero(&PL_body_roots, 1, PL_body_roots);
11881     
11882     PL_nice_chunk       = NULL;
11883     PL_nice_chunk_size  = 0;
11884     PL_sv_count         = 0;
11885     PL_sv_objcount      = 0;
11886     PL_sv_root          = NULL;
11887     PL_sv_arenaroot     = NULL;
11888
11889     PL_debug            = proto_perl->Idebug;
11890
11891     PL_hash_seed        = proto_perl->Ihash_seed;
11892     PL_rehash_seed      = proto_perl->Irehash_seed;
11893
11894 #ifdef USE_REENTRANT_API
11895     /* XXX: things like -Dm will segfault here in perlio, but doing
11896      *  PERL_SET_CONTEXT(proto_perl);
11897      * breaks too many other things
11898      */
11899     Perl_reentrant_init(aTHX);
11900 #endif
11901
11902     /* create SV map for pointer relocation */
11903     PL_ptr_table = ptr_table_new();
11904
11905     /* initialize these special pointers as early as possible */
11906     SvANY(&PL_sv_undef)         = NULL;
11907     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
11908     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
11909     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
11910
11911     SvANY(&PL_sv_no)            = new_XPVNV();
11912     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
11913     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11914                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11915     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
11916     SvCUR_set(&PL_sv_no, 0);
11917     SvLEN_set(&PL_sv_no, 1);
11918     SvIV_set(&PL_sv_no, 0);
11919     SvNV_set(&PL_sv_no, 0);
11920     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
11921
11922     SvANY(&PL_sv_yes)           = new_XPVNV();
11923     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
11924     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
11925                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
11926     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
11927     SvCUR_set(&PL_sv_yes, 1);
11928     SvLEN_set(&PL_sv_yes, 2);
11929     SvIV_set(&PL_sv_yes, 1);
11930     SvNV_set(&PL_sv_yes, 1);
11931     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
11932
11933     /* create (a non-shared!) shared string table */
11934     PL_strtab           = newHV();
11935     HvSHAREKEYS_off(PL_strtab);
11936     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
11937     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
11938
11939     PL_compiling = proto_perl->Icompiling;
11940
11941     /* These two PVs will be free'd special way so must set them same way op.c does */
11942     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
11943     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
11944
11945     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
11946     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
11947
11948     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
11949     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
11950     if (PL_compiling.cop_hints_hash) {
11951         HINTS_REFCNT_LOCK;
11952         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
11953         HINTS_REFCNT_UNLOCK;
11954     }
11955     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
11956 #ifdef PERL_DEBUG_READONLY_OPS
11957     PL_slabs = NULL;
11958     PL_slab_count = 0;
11959 #endif
11960
11961     /* pseudo environmental stuff */
11962     PL_origargc         = proto_perl->Iorigargc;
11963     PL_origargv         = proto_perl->Iorigargv;
11964
11965     param->stashes      = newAV();  /* Setup array of objects to call clone on */
11966
11967     /* Set tainting stuff before PerlIO_debug can possibly get called */
11968     PL_tainting         = proto_perl->Itainting;
11969     PL_taint_warn       = proto_perl->Itaint_warn;
11970
11971 #ifdef PERLIO_LAYERS
11972     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
11973     PerlIO_clone(aTHX_ proto_perl, param);
11974 #endif
11975
11976     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
11977     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
11978     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
11979     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
11980     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
11981     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
11982
11983     /* switches */
11984     PL_minus_c          = proto_perl->Iminus_c;
11985     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
11986     PL_localpatches     = proto_perl->Ilocalpatches;
11987     PL_splitstr         = proto_perl->Isplitstr;
11988     PL_minus_n          = proto_perl->Iminus_n;
11989     PL_minus_p          = proto_perl->Iminus_p;
11990     PL_minus_l          = proto_perl->Iminus_l;
11991     PL_minus_a          = proto_perl->Iminus_a;
11992     PL_minus_E          = proto_perl->Iminus_E;
11993     PL_minus_F          = proto_perl->Iminus_F;
11994     PL_doswitches       = proto_perl->Idoswitches;
11995     PL_dowarn           = proto_perl->Idowarn;
11996     PL_doextract        = proto_perl->Idoextract;
11997     PL_sawampersand     = proto_perl->Isawampersand;
11998     PL_unsafe           = proto_perl->Iunsafe;
11999     PL_inplace          = SAVEPV(proto_perl->Iinplace);
12000     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
12001     PL_perldb           = proto_perl->Iperldb;
12002     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
12003     PL_exit_flags       = proto_perl->Iexit_flags;
12004
12005     /* magical thingies */
12006     /* XXX time(&PL_basetime) when asked for? */
12007     PL_basetime         = proto_perl->Ibasetime;
12008     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
12009
12010     PL_maxsysfd         = proto_perl->Imaxsysfd;
12011     PL_statusvalue      = proto_perl->Istatusvalue;
12012 #ifdef VMS
12013     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
12014 #else
12015     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
12016 #endif
12017     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
12018
12019     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
12020     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
12021     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
12022
12023    
12024     /* RE engine related */
12025     Zero(&PL_reg_state, 1, struct re_save_state);
12026     PL_reginterp_cnt    = 0;
12027     PL_regmatch_slab    = NULL;
12028     
12029     /* Clone the regex array */
12030     /* ORANGE FIXME for plugins, probably in the SV dup code.
12031        newSViv(PTR2IV(CALLREGDUPE(
12032        INT2PTR(REGEXP *, SvIVX(regex)), param))))
12033     */
12034     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
12035     PL_regex_pad = AvARRAY(PL_regex_padav);
12036
12037     /* shortcuts to various I/O objects */
12038     PL_ofsgv            = gv_dup(proto_perl->Iofsgv, param);
12039     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
12040     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
12041     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
12042     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
12043     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
12044     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
12045
12046     /* shortcuts to regexp stuff */
12047     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
12048
12049     /* shortcuts to misc objects */
12050     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
12051
12052     /* shortcuts to debugging objects */
12053     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
12054     PL_DBline           = gv_dup(proto_perl->IDBline, param);
12055     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
12056     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
12057     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
12058     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
12059     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
12060
12061     /* symbol tables */
12062     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
12063     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
12064     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
12065     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
12066     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
12067
12068     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
12069     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
12070     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
12071     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
12072     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
12073     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
12074     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
12075     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
12076
12077     PL_sub_generation   = proto_perl->Isub_generation;
12078     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
12079
12080     /* funky return mechanisms */
12081     PL_forkprocess      = proto_perl->Iforkprocess;
12082
12083     /* subprocess state */
12084     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
12085
12086     /* internal state */
12087     PL_maxo             = proto_perl->Imaxo;
12088     if (proto_perl->Iop_mask)
12089         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
12090     else
12091         PL_op_mask      = NULL;
12092     /* PL_asserting        = proto_perl->Iasserting; */
12093
12094     /* current interpreter roots */
12095     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
12096     OP_REFCNT_LOCK;
12097     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
12098     OP_REFCNT_UNLOCK;
12099     PL_main_start       = proto_perl->Imain_start;
12100     PL_eval_root        = proto_perl->Ieval_root;
12101     PL_eval_start       = proto_perl->Ieval_start;
12102
12103     /* runtime control stuff */
12104     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
12105
12106     PL_filemode         = proto_perl->Ifilemode;
12107     PL_lastfd           = proto_perl->Ilastfd;
12108     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
12109     PL_Argv             = NULL;
12110     PL_Cmd              = NULL;
12111     PL_gensym           = proto_perl->Igensym;
12112     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
12113     PL_laststatval      = proto_perl->Ilaststatval;
12114     PL_laststype        = proto_perl->Ilaststype;
12115     PL_mess_sv          = NULL;
12116
12117     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
12118
12119     /* interpreter atexit processing */
12120     PL_exitlistlen      = proto_perl->Iexitlistlen;
12121     if (PL_exitlistlen) {
12122         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12123         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
12124     }
12125     else
12126         PL_exitlist     = (PerlExitListEntry*)NULL;
12127
12128     PL_my_cxt_size = proto_perl->Imy_cxt_size;
12129     if (PL_my_cxt_size) {
12130         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
12131         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
12132 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12133         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
12134         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
12135 #endif
12136     }
12137     else {
12138         PL_my_cxt_list  = (void**)NULL;
12139 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
12140         PL_my_cxt_keys  = (const char**)NULL;
12141 #endif
12142     }
12143     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
12144     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
12145     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
12146
12147     PL_profiledata      = NULL;
12148
12149     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
12150
12151     PAD_CLONE_VARS(proto_perl, param);
12152
12153 #ifdef HAVE_INTERP_INTERN
12154     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
12155 #endif
12156
12157     /* more statics moved here */
12158     PL_generation       = proto_perl->Igeneration;
12159     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
12160
12161     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
12162     PL_in_clean_all     = proto_perl->Iin_clean_all;
12163
12164     PL_uid              = proto_perl->Iuid;
12165     PL_euid             = proto_perl->Ieuid;
12166     PL_gid              = proto_perl->Igid;
12167     PL_egid             = proto_perl->Iegid;
12168     PL_nomemok          = proto_perl->Inomemok;
12169     PL_an               = proto_perl->Ian;
12170     PL_evalseq          = proto_perl->Ievalseq;
12171     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
12172     PL_origalen         = proto_perl->Iorigalen;
12173 #ifdef PERL_USES_PL_PIDSTATUS
12174     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
12175 #endif
12176     PL_osname           = SAVEPV(proto_perl->Iosname);
12177     PL_sighandlerp      = proto_perl->Isighandlerp;
12178
12179     PL_runops           = proto_perl->Irunops;
12180
12181     PL_parser           = parser_dup(proto_perl->Iparser, param);
12182
12183     /* XXX this only works if the saved cop has already been cloned */
12184     if (proto_perl->Iparser) {
12185         PL_parser->saved_curcop = (COP*)any_dup(
12186                                     proto_perl->Iparser->saved_curcop,
12187                                     proto_perl);
12188     }
12189
12190     PL_subline          = proto_perl->Isubline;
12191     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
12192
12193 #ifdef FCRYPT
12194     PL_cryptseen        = proto_perl->Icryptseen;
12195 #endif
12196
12197     PL_hints            = proto_perl->Ihints;
12198
12199     PL_amagic_generation        = proto_perl->Iamagic_generation;
12200
12201 #ifdef USE_LOCALE_COLLATE
12202     PL_collation_ix     = proto_perl->Icollation_ix;
12203     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
12204     PL_collation_standard       = proto_perl->Icollation_standard;
12205     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
12206     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
12207 #endif /* USE_LOCALE_COLLATE */
12208
12209 #ifdef USE_LOCALE_NUMERIC
12210     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
12211     PL_numeric_standard = proto_perl->Inumeric_standard;
12212     PL_numeric_local    = proto_perl->Inumeric_local;
12213     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
12214 #endif /* !USE_LOCALE_NUMERIC */
12215
12216     /* utf8 character classes */
12217     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
12218     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
12219     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
12220     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
12221     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
12222     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
12223     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
12224     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
12225     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
12226     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
12227     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
12228     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
12229     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
12230     PL_utf8_X_begin     = sv_dup_inc(proto_perl->Iutf8_X_begin, param);
12231     PL_utf8_X_extend    = sv_dup_inc(proto_perl->Iutf8_X_extend, param);
12232     PL_utf8_X_prepend   = sv_dup_inc(proto_perl->Iutf8_X_prepend, param);
12233     PL_utf8_X_non_hangul        = sv_dup_inc(proto_perl->Iutf8_X_non_hangul, param);
12234     PL_utf8_X_L = sv_dup_inc(proto_perl->Iutf8_X_L, param);
12235     PL_utf8_X_LV        = sv_dup_inc(proto_perl->Iutf8_X_LV, param);
12236     PL_utf8_X_LVT       = sv_dup_inc(proto_perl->Iutf8_X_LVT, param);
12237     PL_utf8_X_T = sv_dup_inc(proto_perl->Iutf8_X_T, param);
12238     PL_utf8_X_V = sv_dup_inc(proto_perl->Iutf8_X_V, param);
12239     PL_utf8_X_LV_LVT_V  = sv_dup_inc(proto_perl->Iutf8_X_LV_LVT_V, param);
12240     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
12241     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
12242     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
12243     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
12244     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
12245     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
12246
12247     /* Did the locale setup indicate UTF-8? */
12248     PL_utf8locale       = proto_perl->Iutf8locale;
12249     /* Unicode features (see perlrun/-C) */
12250     PL_unicode          = proto_perl->Iunicode;
12251
12252     /* Pre-5.8 signals control */
12253     PL_signals          = proto_perl->Isignals;
12254
12255     /* times() ticks per second */
12256     PL_clocktick        = proto_perl->Iclocktick;
12257
12258     /* Recursion stopper for PerlIO_find_layer */
12259     PL_in_load_module   = proto_perl->Iin_load_module;
12260
12261     /* sort() routine */
12262     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
12263
12264     /* Not really needed/useful since the reenrant_retint is "volatile",
12265      * but do it for consistency's sake. */
12266     PL_reentrant_retint = proto_perl->Ireentrant_retint;
12267
12268     /* Hooks to shared SVs and locks. */
12269     PL_sharehook        = proto_perl->Isharehook;
12270     PL_lockhook         = proto_perl->Ilockhook;
12271     PL_unlockhook       = proto_perl->Iunlockhook;
12272     PL_threadhook       = proto_perl->Ithreadhook;
12273     PL_destroyhook      = proto_perl->Idestroyhook;
12274
12275 #ifdef THREADS_HAVE_PIDS
12276     PL_ppid             = proto_perl->Ippid;
12277 #endif
12278
12279     /* swatch cache */
12280     PL_last_swash_hv    = NULL; /* reinits on demand */
12281     PL_last_swash_klen  = 0;
12282     PL_last_swash_key[0]= '\0';
12283     PL_last_swash_tmps  = (U8*)NULL;
12284     PL_last_swash_slen  = 0;
12285
12286     PL_glob_index       = proto_perl->Iglob_index;
12287     PL_srand_called     = proto_perl->Isrand_called;
12288
12289     if (proto_perl->Ipsig_pend) {
12290         Newxz(PL_psig_pend, SIG_SIZE, int);
12291     }
12292     else {
12293         PL_psig_pend    = (int*)NULL;
12294     }
12295
12296     if (proto_perl->Ipsig_name) {
12297         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
12298         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
12299                             param);
12300         PL_psig_ptr = PL_psig_name + SIG_SIZE;
12301     }
12302     else {
12303         PL_psig_ptr     = (SV**)NULL;
12304         PL_psig_name    = (SV**)NULL;
12305     }
12306
12307     /* intrpvar.h stuff */
12308
12309     if (flags & CLONEf_COPY_STACKS) {
12310         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
12311         PL_tmps_ix              = proto_perl->Itmps_ix;
12312         PL_tmps_max             = proto_perl->Itmps_max;
12313         PL_tmps_floor           = proto_perl->Itmps_floor;
12314         Newx(PL_tmps_stack, PL_tmps_max, SV*);
12315         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
12316                             PL_tmps_ix+1, param);
12317
12318         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
12319         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
12320         Newxz(PL_markstack, i, I32);
12321         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
12322                                                   - proto_perl->Imarkstack);
12323         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
12324                                                   - proto_perl->Imarkstack);
12325         Copy(proto_perl->Imarkstack, PL_markstack,
12326              PL_markstack_ptr - PL_markstack + 1, I32);
12327
12328         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
12329          * NOTE: unlike the others! */
12330         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
12331         PL_scopestack_max       = proto_perl->Iscopestack_max;
12332         Newxz(PL_scopestack, PL_scopestack_max, I32);
12333         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
12334
12335 #ifdef DEBUGGING
12336         Newxz(PL_scopestack_name, PL_scopestack_max, const char *);
12337         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
12338 #endif
12339         /* NOTE: si_dup() looks at PL_markstack */
12340         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
12341
12342         /* PL_curstack          = PL_curstackinfo->si_stack; */
12343         PL_curstack             = av_dup(proto_perl->Icurstack, param);
12344         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
12345
12346         /* next PUSHs() etc. set *(PL_stack_sp+1) */
12347         PL_stack_base           = AvARRAY(PL_curstack);
12348         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
12349                                                    - proto_perl->Istack_base);
12350         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
12351
12352         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
12353          * NOTE: unlike the others! */
12354         PL_savestack_ix         = proto_perl->Isavestack_ix;
12355         PL_savestack_max        = proto_perl->Isavestack_max;
12356         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
12357         PL_savestack            = ss_dup(proto_perl, param);
12358     }
12359     else {
12360         init_stacks();
12361         ENTER;                  /* perl_destruct() wants to LEAVE; */
12362
12363         /* although we're not duplicating the tmps stack, we should still
12364          * add entries for any SVs on the tmps stack that got cloned by a
12365          * non-refcount means (eg a temp in @_); otherwise they will be
12366          * orphaned
12367          */
12368         for (i = 0; i<= proto_perl->Itmps_ix; i++) {
12369             SV * const nsv = MUTABLE_SV(ptr_table_fetch(PL_ptr_table,
12370                     proto_perl->Itmps_stack[i]));
12371             if (nsv && !SvREFCNT(nsv)) {
12372                 PUSH_EXTEND_MORTAL__SV_C(SvREFCNT_inc_simple(nsv));
12373             }
12374         }
12375     }
12376
12377     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
12378     PL_top_env          = &PL_start_env;
12379
12380     PL_op               = proto_perl->Iop;
12381
12382     PL_Sv               = NULL;
12383     PL_Xpv              = (XPV*)NULL;
12384     my_perl->Ina        = proto_perl->Ina;
12385
12386     PL_statbuf          = proto_perl->Istatbuf;
12387     PL_statcache        = proto_perl->Istatcache;
12388     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
12389     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
12390 #ifdef HAS_TIMES
12391     PL_timesbuf         = proto_perl->Itimesbuf;
12392 #endif
12393
12394     PL_tainted          = proto_perl->Itainted;
12395     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
12396     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
12397     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
12398     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
12399     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
12400     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
12401     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
12402     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
12403
12404     PL_restartop        = proto_perl->Irestartop;
12405     PL_in_eval          = proto_perl->Iin_eval;
12406     PL_delaymagic       = proto_perl->Idelaymagic;
12407     PL_dirty            = proto_perl->Idirty;
12408     PL_localizing       = proto_perl->Ilocalizing;
12409
12410     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
12411     PL_hv_fetch_ent_mh  = NULL;
12412     PL_modcount         = proto_perl->Imodcount;
12413     PL_lastgotoprobe    = NULL;
12414     PL_dumpindent       = proto_perl->Idumpindent;
12415
12416     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
12417     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
12418     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
12419     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
12420     PL_efloatbuf        = NULL;         /* reinits on demand */
12421     PL_efloatsize       = 0;                    /* reinits on demand */
12422
12423     /* regex stuff */
12424
12425     PL_screamfirst      = NULL;
12426     PL_screamnext       = NULL;
12427     PL_maxscream        = -1;                   /* reinits on demand */
12428     PL_lastscream       = NULL;
12429
12430
12431     PL_regdummy         = proto_perl->Iregdummy;
12432     PL_colorset         = 0;            /* reinits PL_colors[] */
12433     /*PL_colors[6]      = {0,0,0,0,0,0};*/
12434
12435
12436
12437     /* Pluggable optimizer */
12438     PL_peepp            = proto_perl->Ipeepp;
12439     /* op_free() hook */
12440     PL_opfreehook       = proto_perl->Iopfreehook;
12441
12442     PL_stashcache       = newHV();
12443
12444     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
12445                                             proto_perl->Iwatchaddr);
12446     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
12447     if (PL_debug && PL_watchaddr) {
12448         PerlIO_printf(Perl_debug_log,
12449           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
12450           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
12451           PTR2UV(PL_watchok));
12452     }
12453
12454     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
12455
12456     /* Call the ->CLONE method, if it exists, for each of the stashes
12457        identified by sv_dup() above.
12458     */
12459     while(av_len(param->stashes) != -1) {
12460         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
12461         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
12462         if (cloner && GvCV(cloner)) {
12463             dSP;
12464             ENTER;
12465             SAVETMPS;
12466             PUSHMARK(SP);
12467             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
12468             PUTBACK;
12469             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
12470             FREETMPS;
12471             LEAVE;
12472         }
12473     }
12474
12475     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
12476         ptr_table_free(PL_ptr_table);
12477         PL_ptr_table = NULL;
12478     }
12479
12480
12481     SvREFCNT_dec(param->stashes);
12482
12483     /* orphaned? eg threads->new inside BEGIN or use */
12484     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
12485         SvREFCNT_inc_simple_void(PL_compcv);
12486         SAVEFREESV(PL_compcv);
12487     }
12488
12489     return my_perl;
12490 }
12491
12492 #endif /* USE_ITHREADS */
12493
12494 /*
12495 =head1 Unicode Support
12496
12497 =for apidoc sv_recode_to_utf8
12498
12499 The encoding is assumed to be an Encode object, on entry the PV
12500 of the sv is assumed to be octets in that encoding, and the sv
12501 will be converted into Unicode (and UTF-8).
12502
12503 If the sv already is UTF-8 (or if it is not POK), or if the encoding
12504 is not a reference, nothing is done to the sv.  If the encoding is not
12505 an C<Encode::XS> Encoding object, bad things will happen.
12506 (See F<lib/encoding.pm> and L<Encode>).
12507
12508 The PV of the sv is returned.
12509
12510 =cut */
12511
12512 char *
12513 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
12514 {
12515     dVAR;
12516
12517     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
12518
12519     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
12520         SV *uni;
12521         STRLEN len;
12522         const char *s;
12523         dSP;
12524         ENTER;
12525         SAVETMPS;
12526         save_re_context();
12527         PUSHMARK(sp);
12528         EXTEND(SP, 3);
12529         XPUSHs(encoding);
12530         XPUSHs(sv);
12531 /*
12532   NI-S 2002/07/09
12533   Passing sv_yes is wrong - it needs to be or'ed set of constants
12534   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
12535   remove converted chars from source.
12536
12537   Both will default the value - let them.
12538
12539         XPUSHs(&PL_sv_yes);
12540 */
12541         PUTBACK;
12542         call_method("decode", G_SCALAR);
12543         SPAGAIN;
12544         uni = POPs;
12545         PUTBACK;
12546         s = SvPV_const(uni, len);
12547         if (s != SvPVX_const(sv)) {
12548             SvGROW(sv, len + 1);
12549             Move(s, SvPVX(sv), len + 1, char);
12550             SvCUR_set(sv, len);
12551         }
12552         FREETMPS;
12553         LEAVE;
12554         SvUTF8_on(sv);
12555         return SvPVX(sv);
12556     }
12557     return SvPOKp(sv) ? SvPVX(sv) : NULL;
12558 }
12559
12560 /*
12561 =for apidoc sv_cat_decode
12562
12563 The encoding is assumed to be an Encode object, the PV of the ssv is
12564 assumed to be octets in that encoding and decoding the input starts
12565 from the position which (PV + *offset) pointed to.  The dsv will be
12566 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
12567 when the string tstr appears in decoding output or the input ends on
12568 the PV of the ssv. The value which the offset points will be modified
12569 to the last input position on the ssv.
12570
12571 Returns TRUE if the terminator was found, else returns FALSE.
12572
12573 =cut */
12574
12575 bool
12576 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
12577                    SV *ssv, int *offset, char *tstr, int tlen)
12578 {
12579     dVAR;
12580     bool ret = FALSE;
12581
12582     PERL_ARGS_ASSERT_SV_CAT_DECODE;
12583
12584     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
12585         SV *offsv;
12586         dSP;
12587         ENTER;
12588         SAVETMPS;
12589         save_re_context();
12590         PUSHMARK(sp);
12591         EXTEND(SP, 6);
12592         XPUSHs(encoding);
12593         XPUSHs(dsv);
12594         XPUSHs(ssv);
12595         offsv = newSViv(*offset);
12596         mXPUSHs(offsv);
12597         mXPUSHp(tstr, tlen);
12598         PUTBACK;
12599         call_method("cat_decode", G_SCALAR);
12600         SPAGAIN;
12601         ret = SvTRUE(TOPs);
12602         *offset = SvIV(offsv);
12603         PUTBACK;
12604         FREETMPS;
12605         LEAVE;
12606     }
12607     else
12608         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
12609     return ret;
12610
12611 }
12612
12613 /* ---------------------------------------------------------------------
12614  *
12615  * support functions for report_uninit()
12616  */
12617
12618 /* the maxiumum size of array or hash where we will scan looking
12619  * for the undefined element that triggered the warning */
12620
12621 #define FUV_MAX_SEARCH_SIZE 1000
12622
12623 /* Look for an entry in the hash whose value has the same SV as val;
12624  * If so, return a mortal copy of the key. */
12625
12626 STATIC SV*
12627 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
12628 {
12629     dVAR;
12630     register HE **array;
12631     I32 i;
12632
12633     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
12634
12635     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
12636                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
12637         return NULL;
12638
12639     array = HvARRAY(hv);
12640
12641     for (i=HvMAX(hv); i>0; i--) {
12642         register HE *entry;
12643         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
12644             if (HeVAL(entry) != val)
12645                 continue;
12646             if (    HeVAL(entry) == &PL_sv_undef ||
12647                     HeVAL(entry) == &PL_sv_placeholder)
12648                 continue;
12649             if (!HeKEY(entry))
12650                 return NULL;
12651             if (HeKLEN(entry) == HEf_SVKEY)
12652                 return sv_mortalcopy(HeKEY_sv(entry));
12653             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
12654         }
12655     }
12656     return NULL;
12657 }
12658
12659 /* Look for an entry in the array whose value has the same SV as val;
12660  * If so, return the index, otherwise return -1. */
12661
12662 STATIC I32
12663 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
12664 {
12665     dVAR;
12666
12667     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
12668
12669     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
12670                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
12671         return -1;
12672
12673     if (val != &PL_sv_undef) {
12674         SV ** const svp = AvARRAY(av);
12675         I32 i;
12676
12677         for (i=AvFILLp(av); i>=0; i--)
12678             if (svp[i] == val)
12679                 return i;
12680     }
12681     return -1;
12682 }
12683
12684 /* S_varname(): return the name of a variable, optionally with a subscript.
12685  * If gv is non-zero, use the name of that global, along with gvtype (one
12686  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
12687  * targ.  Depending on the value of the subscript_type flag, return:
12688  */
12689
12690 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
12691 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
12692 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
12693 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
12694
12695 STATIC SV*
12696 S_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
12697         const SV *const keyname, I32 aindex, int subscript_type)
12698 {
12699
12700     SV * const name = sv_newmortal();
12701     if (gv) {
12702         char buffer[2];
12703         buffer[0] = gvtype;
12704         buffer[1] = 0;
12705
12706         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
12707
12708         gv_fullname4(name, gv, buffer, 0);
12709
12710         if ((unsigned int)SvPVX(name)[1] <= 26) {
12711             buffer[0] = '^';
12712             buffer[1] = SvPVX(name)[1] + 'A' - 1;
12713
12714             /* Swap the 1 unprintable control character for the 2 byte pretty
12715                version - ie substr($name, 1, 1) = $buffer; */
12716             sv_insert(name, 1, 1, buffer, 2);
12717         }
12718     }
12719     else {
12720         CV * const cv = find_runcv(NULL);
12721         SV *sv;
12722         AV *av;
12723
12724         if (!cv || !CvPADLIST(cv))
12725             return NULL;
12726         av = MUTABLE_AV((*av_fetch(CvPADLIST(cv), 0, FALSE)));
12727         sv = *av_fetch(av, targ, FALSE);
12728         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
12729     }
12730
12731     if (subscript_type == FUV_SUBSCRIPT_HASH) {
12732         SV * const sv = newSV(0);
12733         *SvPVX(name) = '$';
12734         Perl_sv_catpvf(aTHX_ name, "{%s}",
12735             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
12736         SvREFCNT_dec(sv);
12737     }
12738     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
12739         *SvPVX(name) = '$';
12740         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
12741     }
12742     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
12743         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
12744         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
12745     }
12746
12747     return name;
12748 }
12749
12750
12751 /*
12752 =for apidoc find_uninit_var
12753
12754 Find the name of the undefined variable (if any) that caused the operator o
12755 to issue a "Use of uninitialized value" warning.
12756 If match is true, only return a name if it's value matches uninit_sv.
12757 So roughly speaking, if a unary operator (such as OP_COS) generates a
12758 warning, then following the direct child of the op may yield an
12759 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
12760 other hand, with OP_ADD there are two branches to follow, so we only print
12761 the variable name if we get an exact match.
12762
12763 The name is returned as a mortal SV.
12764
12765 Assumes that PL_op is the op that originally triggered the error, and that
12766 PL_comppad/PL_curpad points to the currently executing pad.
12767
12768 =cut
12769 */
12770
12771 STATIC SV *
12772 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
12773                   bool match)
12774 {
12775     dVAR;
12776     SV *sv;
12777     const GV *gv;
12778     const OP *o, *o2, *kid;
12779
12780     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
12781                             uninit_sv == &PL_sv_placeholder)))
12782         return NULL;
12783
12784     switch (obase->op_type) {
12785
12786     case OP_RV2AV:
12787     case OP_RV2HV:
12788     case OP_PADAV:
12789     case OP_PADHV:
12790       {
12791         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
12792         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
12793         I32 index = 0;
12794         SV *keysv = NULL;
12795         int subscript_type = FUV_SUBSCRIPT_WITHIN;
12796
12797         if (pad) { /* @lex, %lex */
12798             sv = PAD_SVl(obase->op_targ);
12799             gv = NULL;
12800         }
12801         else {
12802             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
12803             /* @global, %global */
12804                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
12805                 if (!gv)
12806                     break;
12807                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
12808             }
12809             else /* @{expr}, %{expr} */
12810                 return find_uninit_var(cUNOPx(obase)->op_first,
12811                                                     uninit_sv, match);
12812         }
12813
12814         /* attempt to find a match within the aggregate */
12815         if (hash) {
12816             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12817             if (keysv)
12818                 subscript_type = FUV_SUBSCRIPT_HASH;
12819         }
12820         else {
12821             index = find_array_subscript((const AV *)sv, uninit_sv);
12822             if (index >= 0)
12823                 subscript_type = FUV_SUBSCRIPT_ARRAY;
12824         }
12825
12826         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
12827             break;
12828
12829         return varname(gv, hash ? '%' : '@', obase->op_targ,
12830                                     keysv, index, subscript_type);
12831       }
12832
12833     case OP_PADSV:
12834         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
12835             break;
12836         return varname(NULL, '$', obase->op_targ,
12837                                     NULL, 0, FUV_SUBSCRIPT_NONE);
12838
12839     case OP_GVSV:
12840         gv = cGVOPx_gv(obase);
12841         if (!gv || (match && GvSV(gv) != uninit_sv))
12842             break;
12843         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
12844
12845     case OP_AELEMFAST:
12846         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
12847             if (match) {
12848                 SV **svp;
12849                 AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
12850                 if (!av || SvRMAGICAL(av))
12851                     break;
12852                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12853                 if (!svp || *svp != uninit_sv)
12854                     break;
12855             }
12856             return varname(NULL, '$', obase->op_targ,
12857                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12858         }
12859         else {
12860             gv = cGVOPx_gv(obase);
12861             if (!gv)
12862                 break;
12863             if (match) {
12864                 SV **svp;
12865                 AV *const av = GvAV(gv);
12866                 if (!av || SvRMAGICAL(av))
12867                     break;
12868                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
12869                 if (!svp || *svp != uninit_sv)
12870                     break;
12871             }
12872             return varname(gv, '$', 0,
12873                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
12874         }
12875         break;
12876
12877     case OP_EXISTS:
12878         o = cUNOPx(obase)->op_first;
12879         if (!o || o->op_type != OP_NULL ||
12880                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
12881             break;
12882         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
12883
12884     case OP_AELEM:
12885     case OP_HELEM:
12886         if (PL_op == obase)
12887             /* $a[uninit_expr] or $h{uninit_expr} */
12888             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
12889
12890         gv = NULL;
12891         o = cBINOPx(obase)->op_first;
12892         kid = cBINOPx(obase)->op_last;
12893
12894         /* get the av or hv, and optionally the gv */
12895         sv = NULL;
12896         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
12897             sv = PAD_SV(o->op_targ);
12898         }
12899         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
12900                 && cUNOPo->op_first->op_type == OP_GV)
12901         {
12902             gv = cGVOPx_gv(cUNOPo->op_first);
12903             if (!gv)
12904                 break;
12905             sv = o->op_type
12906                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
12907         }
12908         if (!sv)
12909             break;
12910
12911         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
12912             /* index is constant */
12913             if (match) {
12914                 if (SvMAGICAL(sv))
12915                     break;
12916                 if (obase->op_type == OP_HELEM) {
12917                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), cSVOPx_sv(kid), 0, 0);
12918                     if (!he || HeVAL(he) != uninit_sv)
12919                         break;
12920                 }
12921                 else {
12922                     SV * const * const svp = av_fetch(MUTABLE_AV(sv), SvIV(cSVOPx_sv(kid)), FALSE);
12923                     if (!svp || *svp != uninit_sv)
12924                         break;
12925                 }
12926             }
12927             if (obase->op_type == OP_HELEM)
12928                 return varname(gv, '%', o->op_targ,
12929                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
12930             else
12931                 return varname(gv, '@', o->op_targ, NULL,
12932                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
12933         }
12934         else  {
12935             /* index is an expression;
12936              * attempt to find a match within the aggregate */
12937             if (obase->op_type == OP_HELEM) {
12938                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
12939                 if (keysv)
12940                     return varname(gv, '%', o->op_targ,
12941                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
12942             }
12943             else {
12944                 const I32 index
12945                     = find_array_subscript((const AV *)sv, uninit_sv);
12946                 if (index >= 0)
12947                     return varname(gv, '@', o->op_targ,
12948                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
12949             }
12950             if (match)
12951                 break;
12952             return varname(gv,
12953                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
12954                 ? '@' : '%',
12955                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
12956         }
12957         break;
12958
12959     case OP_AASSIGN:
12960         /* only examine RHS */
12961         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
12962
12963     case OP_OPEN:
12964         o = cUNOPx(obase)->op_first;
12965         if (o->op_type == OP_PUSHMARK)
12966             o = o->op_sibling;
12967
12968         if (!o->op_sibling) {
12969             /* one-arg version of open is highly magical */
12970
12971             if (o->op_type == OP_GV) { /* open FOO; */
12972                 gv = cGVOPx_gv(o);
12973                 if (match && GvSV(gv) != uninit_sv)
12974                     break;
12975                 return varname(gv, '$', 0,
12976                             NULL, 0, FUV_SUBSCRIPT_NONE);
12977             }
12978             /* other possibilities not handled are:
12979              * open $x; or open my $x;  should return '${*$x}'
12980              * open expr;               should return '$'.expr ideally
12981              */
12982              break;
12983         }
12984         goto do_op;
12985
12986     /* ops where $_ may be an implicit arg */
12987     case OP_TRANS:
12988     case OP_SUBST:
12989     case OP_MATCH:
12990         if ( !(obase->op_flags & OPf_STACKED)) {
12991             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
12992                                  ? PAD_SVl(obase->op_targ)
12993                                  : DEFSV))
12994             {
12995                 sv = sv_newmortal();
12996                 sv_setpvs(sv, "$_");
12997                 return sv;
12998             }
12999         }
13000         goto do_op;
13001
13002     case OP_PRTF:
13003     case OP_PRINT:
13004     case OP_SAY:
13005         match = 1; /* print etc can return undef on defined args */
13006         /* skip filehandle as it can't produce 'undef' warning  */
13007         o = cUNOPx(obase)->op_first;
13008         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
13009             o = o->op_sibling->op_sibling;
13010         goto do_op2;
13011
13012
13013     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
13014     case OP_RV2SV:
13015     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
13016
13017         /* the following ops are capable of returning PL_sv_undef even for
13018          * defined arg(s) */
13019
13020     case OP_BACKTICK:
13021     case OP_PIPE_OP:
13022     case OP_FILENO:
13023     case OP_BINMODE:
13024     case OP_TIED:
13025     case OP_GETC:
13026     case OP_SYSREAD:
13027     case OP_SEND:
13028     case OP_IOCTL:
13029     case OP_SOCKET:
13030     case OP_SOCKPAIR:
13031     case OP_BIND:
13032     case OP_CONNECT:
13033     case OP_LISTEN:
13034     case OP_ACCEPT:
13035     case OP_SHUTDOWN:
13036     case OP_SSOCKOPT:
13037     case OP_GETPEERNAME:
13038     case OP_FTRREAD:
13039     case OP_FTRWRITE:
13040     case OP_FTREXEC:
13041     case OP_FTROWNED:
13042     case OP_FTEREAD:
13043     case OP_FTEWRITE:
13044     case OP_FTEEXEC:
13045     case OP_FTEOWNED:
13046     case OP_FTIS:
13047     case OP_FTZERO:
13048     case OP_FTSIZE:
13049     case OP_FTFILE:
13050     case OP_FTDIR:
13051     case OP_FTLINK:
13052     case OP_FTPIPE:
13053     case OP_FTSOCK:
13054     case OP_FTBLK:
13055     case OP_FTCHR:
13056     case OP_FTTTY:
13057     case OP_FTSUID:
13058     case OP_FTSGID:
13059     case OP_FTSVTX:
13060     case OP_FTTEXT:
13061     case OP_FTBINARY:
13062     case OP_FTMTIME:
13063     case OP_FTATIME:
13064     case OP_FTCTIME:
13065     case OP_READLINK:
13066     case OP_OPEN_DIR:
13067     case OP_READDIR:
13068     case OP_TELLDIR:
13069     case OP_SEEKDIR:
13070     case OP_REWINDDIR:
13071     case OP_CLOSEDIR:
13072     case OP_GMTIME:
13073     case OP_ALARM:
13074     case OP_SEMGET:
13075     case OP_GETLOGIN:
13076     case OP_UNDEF:
13077     case OP_SUBSTR:
13078     case OP_AEACH:
13079     case OP_EACH:
13080     case OP_SORT:
13081     case OP_CALLER:
13082     case OP_DOFILE:
13083     case OP_PROTOTYPE:
13084     case OP_NCMP:
13085     case OP_SMARTMATCH:
13086     case OP_UNPACK:
13087     case OP_SYSOPEN:
13088     case OP_SYSSEEK:
13089         match = 1;
13090         goto do_op;
13091
13092     case OP_ENTERSUB:
13093     case OP_GOTO:
13094         /* XXX tmp hack: these two may call an XS sub, and currently
13095           XS subs don't have a SUB entry on the context stack, so CV and
13096           pad determination goes wrong, and BAD things happen. So, just
13097           don't try to determine the value under those circumstances.
13098           Need a better fix at dome point. DAPM 11/2007 */
13099         break;
13100
13101     case OP_FLIP:
13102     case OP_FLOP:
13103     {
13104         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
13105         if (gv && GvSV(gv) == uninit_sv)
13106             return newSVpvs_flags("$.", SVs_TEMP);
13107         goto do_op;
13108     }
13109
13110     case OP_POS:
13111         /* def-ness of rval pos() is independent of the def-ness of its arg */
13112         if ( !(obase->op_flags & OPf_MOD))
13113             break;
13114
13115     case OP_SCHOMP:
13116     case OP_CHOMP:
13117         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
13118             return newSVpvs_flags("${$/}", SVs_TEMP);
13119         /*FALLTHROUGH*/
13120
13121     default:
13122     do_op:
13123         if (!(obase->op_flags & OPf_KIDS))
13124             break;
13125         o = cUNOPx(obase)->op_first;
13126         
13127     do_op2:
13128         if (!o)
13129             break;
13130
13131         /* if all except one arg are constant, or have no side-effects,
13132          * or are optimized away, then it's unambiguous */
13133         o2 = NULL;
13134         for (kid=o; kid; kid = kid->op_sibling) {
13135             if (kid) {
13136                 const OPCODE type = kid->op_type;
13137                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
13138                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
13139                   || (type == OP_PUSHMARK)
13140                 )
13141                 continue;
13142             }
13143             if (o2) { /* more than one found */
13144                 o2 = NULL;
13145                 break;
13146             }
13147             o2 = kid;
13148         }
13149         if (o2)
13150             return find_uninit_var(o2, uninit_sv, match);
13151
13152         /* scan all args */
13153         while (o) {
13154             sv = find_uninit_var(o, uninit_sv, 1);
13155             if (sv)
13156                 return sv;
13157             o = o->op_sibling;
13158         }
13159         break;
13160     }
13161     return NULL;
13162 }
13163
13164
13165 /*
13166 =for apidoc report_uninit
13167
13168 Print appropriate "Use of uninitialized variable" warning
13169
13170 =cut
13171 */
13172
13173 void
13174 Perl_report_uninit(pTHX_ const SV *uninit_sv)
13175 {
13176     dVAR;
13177     if (PL_op) {
13178         SV* varname = NULL;
13179         if (uninit_sv) {
13180             varname = find_uninit_var(PL_op, uninit_sv,0);
13181             if (varname)
13182                 sv_insert(varname, 0, 0, " ", 1);
13183         }
13184         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13185                 varname ? SvPV_nolen_const(varname) : "",
13186                 " in ", OP_DESC(PL_op));
13187     }
13188     else
13189         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
13190                     "", "", "");
13191 }
13192
13193 /*
13194  * Local variables:
13195  * c-indentation-style: bsd
13196  * c-basic-offset: 4
13197  * indent-tabs-mode: t
13198  * End:
13199  *
13200  * ex: set ts=8 sts=4 sw=4 noet:
13201  */