Better documentation for SVf_UTF8. Including SvPV() 1st, SvUTF() 2nd.
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* if adding more checks watch out for the following tests:
34  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
35  *   lib/utf8.t lib/Unicode/Collate/t/index.t
36  * --jhi
37  */
38 #   define ASSERT_UTF8_CACHE(cache) \
39     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
40                               assert((cache)[2] <= (cache)[3]); \
41                               assert((cache)[3] <= (cache)[1]);} \
42                               } STMT_END
43 #else
44 #   define ASSERT_UTF8_CACHE(cache) NOOP
45 #endif
46
47 #ifdef PERL_OLD_COPY_ON_WRITE
48 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
49 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
50 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
51    on-write.  */
52 #endif
53
54 /* ============================================================================
55
56 =head1 Allocation and deallocation of SVs.
57
58 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
59 sv, av, hv...) contains type and reference count information, and for
60 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
61 contains fields specific to each type.  Some types store all they need
62 in the head, so don't have a body.
63
64 In all but the most memory-paranoid configuations (ex: PURIFY), heads
65 and bodies are allocated out of arenas, which by default are
66 approximately 4K chunks of memory parcelled up into N heads or bodies.
67 Sv-bodies are allocated by their sv-type, guaranteeing size
68 consistency needed to allocate safely from arrays.
69
70 For SV-heads, the first slot in each arena is reserved, and holds a
71 link to the next arena, some flags, and a note of the number of slots.
72 Snaked through each arena chain is a linked list of free items; when
73 this becomes empty, an extra arena is allocated and divided up into N
74 items which are threaded into the free list.
75
76 SV-bodies are similar, but they use arena-sets by default, which
77 separate the link and info from the arena itself, and reclaim the 1st
78 slot in the arena.  SV-bodies are further described later.
79
80 The following global variables are associated with arenas:
81
82     PL_sv_arenaroot     pointer to list of SV arenas
83     PL_sv_root          pointer to list of free SV structures
84
85     PL_body_arenas      head of linked-list of body arenas
86     PL_body_roots[]     array of pointers to list of free bodies of svtype
87                         arrays are indexed by the svtype needed
88
89 A few special SV heads are not allocated from an arena, but are
90 instead directly created in the interpreter structure, eg PL_sv_undef.
91 The size of arenas can be changed from the default by setting
92 PERL_ARENA_SIZE appropriately at compile time.
93
94 The SV arena serves the secondary purpose of allowing still-live SVs
95 to be located and destroyed during final cleanup.
96
97 At the lowest level, the macros new_SV() and del_SV() grab and free
98 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
99 to return the SV to the free list with error checking.) new_SV() calls
100 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
101 SVs in the free list have their SvTYPE field set to all ones.
102
103 At the time of very final cleanup, sv_free_arenas() is called from
104 perl_destruct() to physically free all the arenas allocated since the
105 start of the interpreter.
106
107 Manipulation of any of the PL_*root pointers is protected by enclosing
108 LOCK_SV_MUTEX; ... UNLOCK_SV_MUTEX calls which should Do the Right Thing
109 if threads are enabled.
110
111 The function visit() scans the SV arenas list, and calls a specified
112 function for each SV it finds which is still live - ie which has an SvTYPE
113 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
114 following functions (specified as [function that calls visit()] / [function
115 called by visit() for each SV]):
116
117     sv_report_used() / do_report_used()
118                         dump all remaining SVs (debugging aid)
119
120     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
121                         Attempt to free all objects pointed to by RVs,
122                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
123                         try to do the same for all objects indirectly
124                         referenced by typeglobs too.  Called once from
125                         perl_destruct(), prior to calling sv_clean_all()
126                         below.
127
128     sv_clean_all() / do_clean_all()
129                         SvREFCNT_dec(sv) each remaining SV, possibly
130                         triggering an sv_free(). It also sets the
131                         SVf_BREAK flag on the SV to indicate that the
132                         refcnt has been artificially lowered, and thus
133                         stopping sv_free() from giving spurious warnings
134                         about SVs which unexpectedly have a refcnt
135                         of zero.  called repeatedly from perl_destruct()
136                         until there are no SVs left.
137
138 =head2 Arena allocator API Summary
139
140 Private API to rest of sv.c
141
142     new_SV(),  del_SV(),
143
144     new_XIV(), del_XIV(),
145     new_XNV(), del_XNV(),
146     etc
147
148 Public API:
149
150     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
151
152 =cut
153
154 ============================================================================ */
155
156 /*
157  * "A time to plant, and a time to uproot what was planted..."
158  */
159
160 /*
161  * nice_chunk and nice_chunk size need to be set
162  * and queried under the protection of sv_mutex
163  */
164 void
165 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
166 {
167     dVAR;
168     void *new_chunk;
169     U32 new_chunk_size;
170     LOCK_SV_MUTEX;
171     new_chunk = (void *)(chunk);
172     new_chunk_size = (chunk_size);
173     if (new_chunk_size > PL_nice_chunk_size) {
174         Safefree(PL_nice_chunk);
175         PL_nice_chunk = (char *) new_chunk;
176         PL_nice_chunk_size = new_chunk_size;
177     } else {
178         Safefree(chunk);
179     }
180     UNLOCK_SV_MUTEX;
181 }
182
183 #ifdef DEBUG_LEAKING_SCALARS
184 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
185 #else
186 #  define FREE_SV_DEBUG_FILE(sv)
187 #endif
188
189 #ifdef PERL_POISON
190 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
191 /* Whilst I'd love to do this, it seems that things like to check on
192    unreferenced scalars
193 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
194 */
195 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
196                                 PoisonNew(&SvREFCNT(sv), 1, U32)
197 #else
198 #  define SvARENA_CHAIN(sv)     SvANY(sv)
199 #  define POSION_SV_HEAD(sv)
200 #endif
201
202 #define plant_SV(p) \
203     STMT_START {                                        \
204         FREE_SV_DEBUG_FILE(p);                          \
205         POSION_SV_HEAD(p);                              \
206         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
207         SvFLAGS(p) = SVTYPEMASK;                        \
208         PL_sv_root = (p);                               \
209         --PL_sv_count;                                  \
210     } STMT_END
211
212 /* sv_mutex must be held while calling uproot_SV() */
213 #define uproot_SV(p) \
214     STMT_START {                                        \
215         (p) = PL_sv_root;                               \
216         PL_sv_root = (SV*)SvARENA_CHAIN(p);             \
217         ++PL_sv_count;                                  \
218     } STMT_END
219
220
221 /* make some more SVs by adding another arena */
222
223 /* sv_mutex must be held while calling more_sv() */
224 STATIC SV*
225 S_more_sv(pTHX)
226 {
227     dVAR;
228     SV* sv;
229
230     if (PL_nice_chunk) {
231         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
232         PL_nice_chunk = NULL;
233         PL_nice_chunk_size = 0;
234     }
235     else {
236         char *chunk;                /* must use New here to match call to */
237         Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
238         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
239     }
240     uproot_SV(sv);
241     return sv;
242 }
243
244 /* new_SV(): return a new, empty SV head */
245
246 #ifdef DEBUG_LEAKING_SCALARS
247 /* provide a real function for a debugger to play with */
248 STATIC SV*
249 S_new_SV(pTHX)
250 {
251     SV* sv;
252
253     LOCK_SV_MUTEX;
254     if (PL_sv_root)
255         uproot_SV(sv);
256     else
257         sv = S_more_sv(aTHX);
258     UNLOCK_SV_MUTEX;
259     SvANY(sv) = 0;
260     SvREFCNT(sv) = 1;
261     SvFLAGS(sv) = 0;
262     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
263     sv->sv_debug_line = (U16) ((PL_copline == NOLINE) ?
264         (PL_curcop ? CopLINE(PL_curcop) : 0) : PL_copline);
265     sv->sv_debug_inpad = 0;
266     sv->sv_debug_cloned = 0;
267     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
268     
269     return sv;
270 }
271 #  define new_SV(p) (p)=S_new_SV(aTHX)
272
273 #else
274 #  define new_SV(p) \
275     STMT_START {                                        \
276         LOCK_SV_MUTEX;                                  \
277         if (PL_sv_root)                                 \
278             uproot_SV(p);                               \
279         else                                            \
280             (p) = S_more_sv(aTHX);                      \
281         UNLOCK_SV_MUTEX;                                \
282         SvANY(p) = 0;                                   \
283         SvREFCNT(p) = 1;                                \
284         SvFLAGS(p) = 0;                                 \
285     } STMT_END
286 #endif
287
288
289 /* del_SV(): return an empty SV head to the free list */
290
291 #ifdef DEBUGGING
292
293 #define del_SV(p) \
294     STMT_START {                                        \
295         LOCK_SV_MUTEX;                                  \
296         if (DEBUG_D_TEST)                               \
297             del_sv(p);                                  \
298         else                                            \
299             plant_SV(p);                                \
300         UNLOCK_SV_MUTEX;                                \
301     } STMT_END
302
303 STATIC void
304 S_del_sv(pTHX_ SV *p)
305 {
306     dVAR;
307     if (DEBUG_D_TEST) {
308         SV* sva;
309         bool ok = 0;
310         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
311             const SV * const sv = sva + 1;
312             const SV * const svend = &sva[SvREFCNT(sva)];
313             if (p >= sv && p < svend) {
314                 ok = 1;
315                 break;
316             }
317         }
318         if (!ok) {
319             if (ckWARN_d(WARN_INTERNAL))        
320                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
321                             "Attempt to free non-arena SV: 0x%"UVxf
322                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
323             return;
324         }
325     }
326     plant_SV(p);
327 }
328
329 #else /* ! DEBUGGING */
330
331 #define del_SV(p)   plant_SV(p)
332
333 #endif /* DEBUGGING */
334
335
336 /*
337 =head1 SV Manipulation Functions
338
339 =for apidoc sv_add_arena
340
341 Given a chunk of memory, link it to the head of the list of arenas,
342 and split it into a list of free SVs.
343
344 =cut
345 */
346
347 void
348 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
349 {
350     dVAR;
351     SV* const sva = (SV*)ptr;
352     register SV* sv;
353     register SV* svend;
354
355     /* The first SV in an arena isn't an SV. */
356     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
357     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
358     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
359
360     PL_sv_arenaroot = sva;
361     PL_sv_root = sva + 1;
362
363     svend = &sva[SvREFCNT(sva) - 1];
364     sv = sva + 1;
365     while (sv < svend) {
366         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
367 #ifdef DEBUGGING
368         SvREFCNT(sv) = 0;
369 #endif
370         /* Must always set typemask because it's awlays checked in on cleanup
371            when the arenas are walked looking for objects.  */
372         SvFLAGS(sv) = SVTYPEMASK;
373         sv++;
374     }
375     SvARENA_CHAIN(sv) = 0;
376 #ifdef DEBUGGING
377     SvREFCNT(sv) = 0;
378 #endif
379     SvFLAGS(sv) = SVTYPEMASK;
380 }
381
382 /* visit(): call the named function for each non-free SV in the arenas
383  * whose flags field matches the flags/mask args. */
384
385 STATIC I32
386 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
387 {
388     dVAR;
389     SV* sva;
390     I32 visited = 0;
391
392     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
393         register const SV * const svend = &sva[SvREFCNT(sva)];
394         register SV* sv;
395         for (sv = sva + 1; sv < svend; ++sv) {
396             if (SvTYPE(sv) != SVTYPEMASK
397                     && (sv->sv_flags & mask) == flags
398                     && SvREFCNT(sv))
399             {
400                 (FCALL)(aTHX_ sv);
401                 ++visited;
402             }
403         }
404     }
405     return visited;
406 }
407
408 #ifdef DEBUGGING
409
410 /* called by sv_report_used() for each live SV */
411
412 static void
413 do_report_used(pTHX_ SV *sv)
414 {
415     if (SvTYPE(sv) != SVTYPEMASK) {
416         PerlIO_printf(Perl_debug_log, "****\n");
417         sv_dump(sv);
418     }
419 }
420 #endif
421
422 /*
423 =for apidoc sv_report_used
424
425 Dump the contents of all SVs not yet freed. (Debugging aid).
426
427 =cut
428 */
429
430 void
431 Perl_sv_report_used(pTHX)
432 {
433 #ifdef DEBUGGING
434     visit(do_report_used, 0, 0);
435 #else
436     PERL_UNUSED_CONTEXT;
437 #endif
438 }
439
440 /* called by sv_clean_objs() for each live SV */
441
442 static void
443 do_clean_objs(pTHX_ SV *ref)
444 {
445     dVAR;
446     if (SvROK(ref)) {
447         SV * const target = SvRV(ref);
448         if (SvOBJECT(target)) {
449             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
450             if (SvWEAKREF(ref)) {
451                 sv_del_backref(target, ref);
452                 SvWEAKREF_off(ref);
453                 SvRV_set(ref, NULL);
454             } else {
455                 SvROK_off(ref);
456                 SvRV_set(ref, NULL);
457                 SvREFCNT_dec(target);
458             }
459         }
460     }
461
462     /* XXX Might want to check arrays, etc. */
463 }
464
465 /* called by sv_clean_objs() for each live SV */
466
467 #ifndef DISABLE_DESTRUCTOR_KLUDGE
468 static void
469 do_clean_named_objs(pTHX_ SV *sv)
470 {
471     dVAR;
472     if (SvTYPE(sv) == SVt_PVGV && isGV_with_GP(sv) && GvGP(sv)) {
473         if ((
474 #ifdef PERL_DONT_CREATE_GVSV
475              GvSV(sv) &&
476 #endif
477              SvOBJECT(GvSV(sv))) ||
478              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
479              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
480              (GvIO(sv) && SvOBJECT(GvIO(sv))) ||
481              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
482         {
483             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
484             SvFLAGS(sv) |= SVf_BREAK;
485             SvREFCNT_dec(sv);
486         }
487     }
488 }
489 #endif
490
491 /*
492 =for apidoc sv_clean_objs
493
494 Attempt to destroy all objects not yet freed
495
496 =cut
497 */
498
499 void
500 Perl_sv_clean_objs(pTHX)
501 {
502     dVAR;
503     PL_in_clean_objs = TRUE;
504     visit(do_clean_objs, SVf_ROK, SVf_ROK);
505 #ifndef DISABLE_DESTRUCTOR_KLUDGE
506     /* some barnacles may yet remain, clinging to typeglobs */
507     visit(do_clean_named_objs, SVt_PVGV, SVTYPEMASK);
508 #endif
509     PL_in_clean_objs = FALSE;
510 }
511
512 /* called by sv_clean_all() for each live SV */
513
514 static void
515 do_clean_all(pTHX_ SV *sv)
516 {
517     dVAR;
518     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
519     SvFLAGS(sv) |= SVf_BREAK;
520     if (PL_comppad == (AV*)sv) {
521         PL_comppad = NULL;
522         PL_curpad = NULL;
523     }
524     SvREFCNT_dec(sv);
525 }
526
527 /*
528 =for apidoc sv_clean_all
529
530 Decrement the refcnt of each remaining SV, possibly triggering a
531 cleanup. This function may have to be called multiple times to free
532 SVs which are in complex self-referential hierarchies.
533
534 =cut
535 */
536
537 I32
538 Perl_sv_clean_all(pTHX)
539 {
540     dVAR;
541     I32 cleaned;
542     PL_in_clean_all = TRUE;
543     cleaned = visit(do_clean_all, 0,0);
544     PL_in_clean_all = FALSE;
545     return cleaned;
546 }
547
548 /*
549   ARENASETS: a meta-arena implementation which separates arena-info
550   into struct arena_set, which contains an array of struct
551   arena_descs, each holding info for a single arena.  By separating
552   the meta-info from the arena, we recover the 1st slot, formerly
553   borrowed for list management.  The arena_set is about the size of an
554   arena, avoiding the needless malloc overhead of a naive linked-list
555
556   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
557   memory in the last arena-set (1/2 on average).  In trade, we get
558   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
559   smaller types).  The recovery of the wasted space allows use of
560   small arenas for large, rare body types,
561 */
562 struct arena_desc {
563     char       *arena;          /* the raw storage, allocated aligned */
564     size_t      size;           /* its size ~4k typ */
565     int         unit_type;      /* useful for arena audits */
566     /* info for sv-heads (eventually)
567        int count, flags;
568     */
569 };
570
571 struct arena_set;
572
573 /* Get the maximum number of elements in set[] such that struct arena_set
574    will fit within PERL_ARENA_SIZE, which is probabably just under 4K, and
575    therefore likely to be 1 aligned memory page.  */
576
577 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
578                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
579
580 struct arena_set {
581     struct arena_set* next;
582     int   set_size;             /* ie ARENAS_PER_SET */
583     int   curr;                 /* index of next available arena-desc */
584     struct arena_desc set[ARENAS_PER_SET];
585 };
586
587 /*
588 =for apidoc sv_free_arenas
589
590 Deallocate the memory used by all arenas. Note that all the individual SV
591 heads and bodies within the arenas must already have been freed.
592
593 =cut
594 */
595 void
596 Perl_sv_free_arenas(pTHX)
597 {
598     dVAR;
599     SV* sva;
600     SV* svanext;
601     int i;
602
603     /* Free arenas here, but be careful about fake ones.  (We assume
604        contiguity of the fake ones with the corresponding real ones.) */
605
606     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
607         svanext = (SV*) SvANY(sva);
608         while (svanext && SvFAKE(svanext))
609             svanext = (SV*) SvANY(svanext);
610
611         if (!SvFAKE(sva))
612             Safefree(sva);
613     }
614
615     {
616         struct arena_set *next, *aroot = (struct arena_set*) PL_body_arenas;
617         
618         for (; aroot; aroot = next) {
619             const int max = aroot->curr;
620             for (i=0; i<max; i++) {
621                 assert(aroot->set[i].arena);
622                 Safefree(aroot->set[i].arena);
623             }
624             next = aroot->next;
625             Safefree(aroot);
626         }
627     }
628     PL_body_arenas = 0;
629
630     for (i=0; i<PERL_ARENA_ROOTS_SIZE; i++)
631         PL_body_roots[i] = 0;
632
633     Safefree(PL_nice_chunk);
634     PL_nice_chunk = NULL;
635     PL_nice_chunk_size = 0;
636     PL_sv_arenaroot = 0;
637     PL_sv_root = 0;
638 }
639
640 /*
641   Here are mid-level routines that manage the allocation of bodies out
642   of the various arenas.  There are 5 kinds of arenas:
643
644   1. SV-head arenas, which are discussed and handled above
645   2. regular body arenas
646   3. arenas for reduced-size bodies
647   4. Hash-Entry arenas
648   5. pte arenas (thread related)
649
650   Arena types 2 & 3 are chained by body-type off an array of
651   arena-root pointers, which is indexed by svtype.  Some of the
652   larger/less used body types are malloced singly, since a large
653   unused block of them is wasteful.  Also, several svtypes dont have
654   bodies; the data fits into the sv-head itself.  The arena-root
655   pointer thus has a few unused root-pointers (which may be hijacked
656   later for arena types 4,5)
657
658   3 differs from 2 as an optimization; some body types have several
659   unused fields in the front of the structure (which are kept in-place
660   for consistency).  These bodies can be allocated in smaller chunks,
661   because the leading fields arent accessed.  Pointers to such bodies
662   are decremented to point at the unused 'ghost' memory, knowing that
663   the pointers are used with offsets to the real memory.
664
665   HE, HEK arenas are managed separately, with separate code, but may
666   be merge-able later..
667
668   PTE arenas are not sv-bodies, but they share these mid-level
669   mechanics, so are considered here.  The new mid-level mechanics rely
670   on the sv_type of the body being allocated, so we just reserve one
671   of the unused body-slots for PTEs, then use it in those (2) PTE
672   contexts below (line ~10k)
673 */
674
675 /* get_arena(size): this creates custom-sized arenas
676    TBD: export properly for hv.c: S_more_he().
677 */
678 void*
679 Perl_get_arena(pTHX_ int arena_size)
680 {
681     dVAR;
682     struct arena_desc* adesc;
683     struct arena_set *newroot, **aroot = (struct arena_set**) &PL_body_arenas;
684     int curr;
685
686     /* shouldnt need this
687     if (!arena_size)    arena_size = PERL_ARENA_SIZE;
688     */
689
690     /* may need new arena-set to hold new arena */
691     if (!*aroot || (*aroot)->curr >= (*aroot)->set_size) {
692         Newxz(newroot, 1, struct arena_set);
693         newroot->set_size = ARENAS_PER_SET;
694         newroot->next = *aroot;
695         *aroot = newroot;
696         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)*aroot));
697     }
698
699     /* ok, now have arena-set with at least 1 empty/available arena-desc */
700     curr = (*aroot)->curr++;
701     adesc = &((*aroot)->set[curr]);
702     assert(!adesc->arena);
703     
704     Newxz(adesc->arena, arena_size, char);
705     adesc->size = arena_size;
706     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %d\n", 
707                           curr, adesc->arena, arena_size));
708
709     return adesc->arena;
710 }
711
712
713 /* return a thing to the free list */
714
715 #define del_body(thing, root)                   \
716     STMT_START {                                \
717         void ** const thing_copy = (void **)thing;\
718         LOCK_SV_MUTEX;                          \
719         *thing_copy = *root;                    \
720         *root = (void*)thing_copy;              \
721         UNLOCK_SV_MUTEX;                        \
722     } STMT_END
723
724 /* 
725
726 =head1 SV-Body Allocation
727
728 Allocation of SV-bodies is similar to SV-heads, differing as follows;
729 the allocation mechanism is used for many body types, so is somewhat
730 more complicated, it uses arena-sets, and has no need for still-live
731 SV detection.
732
733 At the outermost level, (new|del)_X*V macros return bodies of the
734 appropriate type.  These macros call either (new|del)_body_type or
735 (new|del)_body_allocated macro pairs, depending on specifics of the
736 type.  Most body types use the former pair, the latter pair is used to
737 allocate body types with "ghost fields".
738
739 "ghost fields" are fields that are unused in certain types, and
740 consequently dont need to actually exist.  They are declared because
741 they're part of a "base type", which allows use of functions as
742 methods.  The simplest examples are AVs and HVs, 2 aggregate types
743 which don't use the fields which support SCALAR semantics.
744
745 For these types, the arenas are carved up into *_allocated size
746 chunks, we thus avoid wasted memory for those unaccessed members.
747 When bodies are allocated, we adjust the pointer back in memory by the
748 size of the bit not allocated, so it's as if we allocated the full
749 structure.  (But things will all go boom if you write to the part that
750 is "not there", because you'll be overwriting the last members of the
751 preceding structure in memory.)
752
753 We calculate the correction using the STRUCT_OFFSET macro. For
754 example, if xpv_allocated is the same structure as XPV then the two
755 OFFSETs sum to zero, and the pointer is unchanged. If the allocated
756 structure is smaller (no initial NV actually allocated) then the net
757 effect is to subtract the size of the NV from the pointer, to return a
758 new pointer as if an initial NV were actually allocated.
759
760 This is the same trick as was used for NV and IV bodies. Ironically it
761 doesn't need to be used for NV bodies any more, because NV is now at
762 the start of the structure. IV bodies don't need it either, because
763 they are no longer allocated.
764
765 In turn, the new_body_* allocators call S_new_body(), which invokes
766 new_body_inline macro, which takes a lock, and takes a body off the
767 linked list at PL_body_roots[sv_type], calling S_more_bodies() if
768 necessary to refresh an empty list.  Then the lock is released, and
769 the body is returned.
770
771 S_more_bodies calls get_arena(), and carves it up into an array of N
772 bodies, which it strings into a linked list.  It looks up arena-size
773 and body-size from the body_details table described below, thus
774 supporting the multiple body-types.
775
776 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
777 the (new|del)_X*V macros are mapped directly to malloc/free.
778
779 */
780
781 /* 
782
783 For each sv-type, struct body_details bodies_by_type[] carries
784 parameters which control these aspects of SV handling:
785
786 Arena_size determines whether arenas are used for this body type, and if
787 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
788 zero, forcing individual mallocs and frees.
789
790 Body_size determines how big a body is, and therefore how many fit into
791 each arena.  Offset carries the body-pointer adjustment needed for
792 *_allocated body types, and is used in *_allocated macros.
793
794 But its main purpose is to parameterize info needed in
795 Perl_sv_upgrade().  The info here dramatically simplifies the function
796 vs the implementation in 5.8.7, making it table-driven.  All fields
797 are used for this, except for arena_size.
798
799 For the sv-types that have no bodies, arenas are not used, so those
800 PL_body_roots[sv_type] are unused, and can be overloaded.  In
801 something of a special case, SVt_NULL is borrowed for HE arenas;
802 PL_body_roots[SVt_NULL] is filled by S_more_he, but the
803 bodies_by_type[SVt_NULL] slot is not used, as the table is not
804 available in hv.c,
805
806 PTEs also use arenas, but are never seen in Perl_sv_upgrade.
807 Nonetheless, they get their own slot in bodies_by_type[SVt_NULL], so
808 they can just use the same allocation semantics.  At first, PTEs were
809 also overloaded to a non-body sv-type, but this yielded hard-to-find
810 malloc bugs, so was simplified by claiming a new slot.  This choice
811 has no consequence at this time.
812
813 */
814
815 struct body_details {
816     U8 body_size;       /* Size to allocate  */
817     U8 copy;            /* Size of structure to copy (may be shorter)  */
818     U8 offset;
819     unsigned int type : 4;          /* We have space for a sanity check.  */
820     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
821     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
822     unsigned int arena : 1;         /* Allocated from an arena */
823     size_t arena_size;              /* Size of arena to allocate */
824 };
825
826 #define HADNV FALSE
827 #define NONV TRUE
828
829
830 #ifdef PURIFY
831 /* With -DPURFIY we allocate everything directly, and don't use arenas.
832    This seems a rather elegant way to simplify some of the code below.  */
833 #define HASARENA FALSE
834 #else
835 #define HASARENA TRUE
836 #endif
837 #define NOARENA FALSE
838
839 /* Size the arenas to exactly fit a given number of bodies.  A count
840    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
841    simplifying the default.  If count > 0, the arena is sized to fit
842    only that many bodies, allowing arenas to be used for large, rare
843    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
844    limited by PERL_ARENA_SIZE, so we can safely oversize the
845    declarations.
846  */
847 #define FIT_ARENA0(body_size)                           \
848     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
849 #define FIT_ARENAn(count,body_size)                     \
850     ( count * body_size <= PERL_ARENA_SIZE)             \
851     ? count * body_size                                 \
852     : FIT_ARENA0 (body_size)
853 #define FIT_ARENA(count,body_size)                      \
854     count                                               \
855     ? FIT_ARENAn (count, body_size)                     \
856     : FIT_ARENA0 (body_size)
857
858 /* A macro to work out the offset needed to subtract from a pointer to (say)
859
860 typedef struct {
861     STRLEN      xpv_cur;
862     STRLEN      xpv_len;
863 } xpv_allocated;
864
865 to make its members accessible via a pointer to (say)
866
867 struct xpv {
868     NV          xnv_nv;
869     STRLEN      xpv_cur;
870     STRLEN      xpv_len;
871 };
872
873 */
874
875 #define relative_STRUCT_OFFSET(longer, shorter, member) \
876     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
877
878 /* Calculate the length to copy. Specifically work out the length less any
879    final padding the compiler needed to add.  See the comment in sv_upgrade
880    for why copying the padding proved to be a bug.  */
881
882 #define copy_length(type, last_member) \
883         STRUCT_OFFSET(type, last_member) \
884         + sizeof (((type*)SvANY((SV*)0))->last_member)
885
886 static const struct body_details bodies_by_type[] = {
887     { sizeof(HE), 0, 0, SVt_NULL,
888       FALSE, NONV, NOARENA, FIT_ARENA(0, sizeof(HE)) },
889
890     /* IVs are in the head, so the allocation size is 0.
891        However, the slot is overloaded for PTEs.  */
892     { sizeof(struct ptr_tbl_ent), /* This is used for PTEs.  */
893       sizeof(IV), /* This is used to copy out the IV body.  */
894       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
895       NOARENA /* IVS don't need an arena  */,
896       /* But PTEs need to know the size of their arena  */
897       FIT_ARENA(0, sizeof(struct ptr_tbl_ent))
898     },
899
900     /* 8 bytes on most ILP32 with IEEE doubles */
901     { sizeof(NV), sizeof(NV), 0, SVt_NV, FALSE, HADNV, HASARENA,
902       FIT_ARENA(0, sizeof(NV)) },
903
904     /* RVs are in the head now.  */
905     { 0, 0, 0, SVt_RV, FALSE, NONV, NOARENA, 0 },
906
907     /* The bind placeholder pretends to be an RV for now.  */
908     { 0, 0, 0, SVt_BIND, FALSE, NONV, NOARENA, 0 },
909
910     /* 8 bytes on most ILP32 with IEEE doubles */
911     { sizeof(xpv_allocated),
912       copy_length(XPV, xpv_len)
913       - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
914       + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
915       SVt_PV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpv_allocated)) },
916
917     /* 12 */
918     { sizeof(xpviv_allocated),
919       copy_length(XPVIV, xiv_u)
920       - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
921       + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
922       SVt_PVIV, FALSE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpviv_allocated)) },
923
924     /* 20 */
925     { sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, SVt_PVNV, FALSE, HADNV,
926       HASARENA, FIT_ARENA(0, sizeof(XPVNV)) },
927
928     /* 28 */
929     { sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, SVt_PVMG, FALSE, HADNV,
930       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
931     
932     /* 48 */
933     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
934       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
935     
936     /* 64 */
937     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
938       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
939
940     { sizeof(xpvav_allocated),
941       copy_length(XPVAV, xmg_stash)
942       - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
943       + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
944       SVt_PVAV, TRUE, HADNV, HASARENA, FIT_ARENA(0, sizeof(xpvav_allocated)) },
945
946     { sizeof(xpvhv_allocated),
947       copy_length(XPVHV, xmg_stash)
948       - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
949       + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
950       SVt_PVHV, TRUE, HADNV, HASARENA, FIT_ARENA(0, sizeof(xpvhv_allocated)) },
951
952     /* 56 */
953     { sizeof(xpvcv_allocated), sizeof(xpvcv_allocated),
954       + relative_STRUCT_OFFSET(xpvcv_allocated, XPVCV, xpv_cur),
955       SVt_PVCV, TRUE, NONV, HASARENA, FIT_ARENA(0, sizeof(xpvcv_allocated)) },
956
957     { sizeof(xpvfm_allocated), sizeof(xpvfm_allocated),
958       + relative_STRUCT_OFFSET(xpvfm_allocated, XPVFM, xpv_cur),
959       SVt_PVFM, TRUE, NONV, NOARENA, FIT_ARENA(20, sizeof(xpvfm_allocated)) },
960
961     /* XPVIO is 84 bytes, fits 48x */
962     { sizeof(XPVIO), sizeof(XPVIO), 0, SVt_PVIO, TRUE, HADNV,
963       HASARENA, FIT_ARENA(24, sizeof(XPVIO)) },
964 };
965
966 #define new_body_type(sv_type)          \
967     (void *)((char *)S_new_body(aTHX_ sv_type))
968
969 #define del_body_type(p, sv_type)       \
970     del_body(p, &PL_body_roots[sv_type])
971
972
973 #define new_body_allocated(sv_type)             \
974     (void *)((char *)S_new_body(aTHX_ sv_type)  \
975              - bodies_by_type[sv_type].offset)
976
977 #define del_body_allocated(p, sv_type)          \
978     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
979
980
981 #define my_safemalloc(s)        (void*)safemalloc(s)
982 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
983 #define my_safefree(p)  safefree((char*)p)
984
985 #ifdef PURIFY
986
987 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
988 #define del_XNV(p)      my_safefree(p)
989
990 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
991 #define del_XPVNV(p)    my_safefree(p)
992
993 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
994 #define del_XPVAV(p)    my_safefree(p)
995
996 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
997 #define del_XPVHV(p)    my_safefree(p)
998
999 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
1000 #define del_XPVMG(p)    my_safefree(p)
1001
1002 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
1003 #define del_XPVGV(p)    my_safefree(p)
1004
1005 #else /* !PURIFY */
1006
1007 #define new_XNV()       new_body_type(SVt_NV)
1008 #define del_XNV(p)      del_body_type(p, SVt_NV)
1009
1010 #define new_XPVNV()     new_body_type(SVt_PVNV)
1011 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
1012
1013 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
1014 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
1015
1016 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
1017 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
1018
1019 #define new_XPVMG()     new_body_type(SVt_PVMG)
1020 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
1021
1022 #define new_XPVGV()     new_body_type(SVt_PVGV)
1023 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
1024
1025 #endif /* PURIFY */
1026
1027 /* no arena for you! */
1028
1029 #define new_NOARENA(details) \
1030         my_safemalloc((details)->body_size + (details)->offset)
1031 #define new_NOARENAZ(details) \
1032         my_safecalloc((details)->body_size + (details)->offset)
1033
1034 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1035 static bool done_sanity_check;
1036 #endif
1037
1038 STATIC void *
1039 S_more_bodies (pTHX_ svtype sv_type)
1040 {
1041     dVAR;
1042     void ** const root = &PL_body_roots[sv_type];
1043     const struct body_details * const bdp = &bodies_by_type[sv_type];
1044     const size_t body_size = bdp->body_size;
1045     char *start;
1046     const char *end;
1047
1048     assert(bdp->arena_size);
1049
1050 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1051     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1052      * variables like done_sanity_check. */
1053     if (!done_sanity_check) {
1054         unsigned int i = SVt_LAST;
1055
1056         done_sanity_check = TRUE;
1057
1058         while (i--)
1059             assert (bodies_by_type[i].type == i);
1060     }
1061 #endif
1062
1063     start = (char*) Perl_get_arena(aTHX_ bdp->arena_size);
1064
1065     end = start + bdp->arena_size - body_size;
1066
1067     /* computed count doesnt reflect the 1st slot reservation */
1068     DEBUG_m(PerlIO_printf(Perl_debug_log,
1069                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1070                           start, end,
1071                           (int)bdp->arena_size, sv_type, (int)body_size,
1072                           (int)bdp->arena_size / (int)body_size));
1073
1074     *root = (void *)start;
1075
1076     while (start < end) {
1077         char * const next = start + body_size;
1078         *(void**) start = (void *)next;
1079         start = next;
1080     }
1081     *(void **)start = 0;
1082
1083     return *root;
1084 }
1085
1086 /* grab a new thing from the free list, allocating more if necessary.
1087    The inline version is used for speed in hot routines, and the
1088    function using it serves the rest (unless PURIFY).
1089 */
1090 #define new_body_inline(xpv, sv_type) \
1091     STMT_START { \
1092         void ** const r3wt = &PL_body_roots[sv_type]; \
1093         LOCK_SV_MUTEX; \
1094         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1095           ? *((void **)(r3wt)) : more_bodies(sv_type)); \
1096         *(r3wt) = *(void**)(xpv); \
1097         UNLOCK_SV_MUTEX; \
1098     } STMT_END
1099
1100 #ifndef PURIFY
1101
1102 STATIC void *
1103 S_new_body(pTHX_ svtype sv_type)
1104 {
1105     dVAR;
1106     void *xpv;
1107     new_body_inline(xpv, sv_type);
1108     return xpv;
1109 }
1110
1111 #endif
1112
1113 /*
1114 =for apidoc sv_upgrade
1115
1116 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1117 SV, then copies across as much information as possible from the old body.
1118 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1119
1120 =cut
1121 */
1122
1123 void
1124 Perl_sv_upgrade(pTHX_ register SV *sv, svtype new_type)
1125 {
1126     dVAR;
1127     void*       old_body;
1128     void*       new_body;
1129     const svtype old_type = SvTYPE(sv);
1130     const struct body_details *new_type_details;
1131     const struct body_details *const old_type_details
1132         = bodies_by_type + old_type;
1133
1134     if (new_type != SVt_PV && SvIsCOW(sv)) {
1135         sv_force_normal_flags(sv, 0);
1136     }
1137
1138     if (old_type == new_type)
1139         return;
1140
1141     if (old_type > new_type)
1142         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1143                 (int)old_type, (int)new_type);
1144
1145
1146     old_body = SvANY(sv);
1147
1148     /* Copying structures onto other structures that have been neatly zeroed
1149        has a subtle gotcha. Consider XPVMG
1150
1151        +------+------+------+------+------+-------+-------+
1152        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1153        +------+------+------+------+------+-------+-------+
1154        0      4      8     12     16     20      24      28
1155
1156        where NVs are aligned to 8 bytes, so that sizeof that structure is
1157        actually 32 bytes long, with 4 bytes of padding at the end:
1158
1159        +------+------+------+------+------+-------+-------+------+
1160        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1161        +------+------+------+------+------+-------+-------+------+
1162        0      4      8     12     16     20      24      28     32
1163
1164        so what happens if you allocate memory for this structure:
1165
1166        +------+------+------+------+------+-------+-------+------+------+...
1167        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1168        +------+------+------+------+------+-------+-------+------+------+...
1169        0      4      8     12     16     20      24      28     32     36
1170
1171        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1172        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1173        started out as zero once, but it's quite possible that it isn't. So now,
1174        rather than a nicely zeroed GP, you have it pointing somewhere random.
1175        Bugs ensue.
1176
1177        (In fact, GP ends up pointing at a previous GP structure, because the
1178        principle cause of the padding in XPVMG getting garbage is a copy of
1179        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob)
1180
1181        So we are careful and work out the size of used parts of all the
1182        structures.  */
1183
1184     switch (old_type) {
1185     case SVt_NULL:
1186         break;
1187     case SVt_IV:
1188         if (new_type < SVt_PVIV) {
1189             new_type = (new_type == SVt_NV)
1190                 ? SVt_PVNV : SVt_PVIV;
1191         }
1192         break;
1193     case SVt_NV:
1194         if (new_type < SVt_PVNV) {
1195             new_type = SVt_PVNV;
1196         }
1197         break;
1198     case SVt_RV:
1199         break;
1200     case SVt_PV:
1201         assert(new_type > SVt_PV);
1202         assert(SVt_IV < SVt_PV);
1203         assert(SVt_NV < SVt_PV);
1204         break;
1205     case SVt_PVIV:
1206         break;
1207     case SVt_PVNV:
1208         break;
1209     case SVt_PVMG:
1210         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1211            there's no way that it can be safely upgraded, because perl.c
1212            expects to Safefree(SvANY(PL_mess_sv))  */
1213         assert(sv != PL_mess_sv);
1214         /* This flag bit is used to mean other things in other scalar types.
1215            Given that it only has meaning inside the pad, it shouldn't be set
1216            on anything that can get upgraded.  */
1217         assert(!SvPAD_TYPED(sv));
1218         break;
1219     default:
1220         if (old_type_details->cant_upgrade)
1221             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1222                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1223     }
1224     new_type_details = bodies_by_type + new_type;
1225
1226     SvFLAGS(sv) &= ~SVTYPEMASK;
1227     SvFLAGS(sv) |= new_type;
1228
1229     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1230        the return statements above will have triggered.  */
1231     assert (new_type != SVt_NULL);
1232     switch (new_type) {
1233     case SVt_IV:
1234         assert(old_type == SVt_NULL);
1235         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1236         SvIV_set(sv, 0);
1237         return;
1238     case SVt_NV:
1239         assert(old_type == SVt_NULL);
1240         SvANY(sv) = new_XNV();
1241         SvNV_set(sv, 0);
1242         return;
1243     case SVt_RV:
1244         assert(old_type == SVt_NULL);
1245         SvANY(sv) = &sv->sv_u.svu_rv;
1246         SvRV_set(sv, 0);
1247         return;
1248     case SVt_PVHV:
1249     case SVt_PVAV:
1250         assert(new_type_details->body_size);
1251
1252 #ifndef PURIFY  
1253         assert(new_type_details->arena);
1254         assert(new_type_details->arena_size);
1255         /* This points to the start of the allocated area.  */
1256         new_body_inline(new_body, new_type);
1257         Zero(new_body, new_type_details->body_size, char);
1258         new_body = ((char *)new_body) - new_type_details->offset;
1259 #else
1260         /* We always allocated the full length item with PURIFY. To do this
1261            we fake things so that arena is false for all 16 types..  */
1262         new_body = new_NOARENAZ(new_type_details);
1263 #endif
1264         SvANY(sv) = new_body;
1265         if (new_type == SVt_PVAV) {
1266             AvMAX(sv)   = -1;
1267             AvFILLp(sv) = -1;
1268             AvREAL_only(sv);
1269         }
1270
1271         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1272            The target created by newSVrv also is, and it can have magic.
1273            However, it never has SvPVX set.
1274         */
1275         if (old_type >= SVt_RV) {
1276             assert(SvPVX_const(sv) == 0);
1277         }
1278
1279         if (old_type >= SVt_PVMG) {
1280             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1281             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1282         } else {
1283             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1284         }
1285         break;
1286
1287
1288     case SVt_PVIV:
1289         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1290            no route from NV to PVIV, NOK can never be true  */
1291         assert(!SvNOKp(sv));
1292         assert(!SvNOK(sv));
1293     case SVt_PVIO:
1294     case SVt_PVFM:
1295     case SVt_PVGV:
1296     case SVt_PVCV:
1297     case SVt_PVLV:
1298     case SVt_PVMG:
1299     case SVt_PVNV:
1300     case SVt_PV:
1301
1302         assert(new_type_details->body_size);
1303         /* We always allocated the full length item with PURIFY. To do this
1304            we fake things so that arena is false for all 16 types..  */
1305         if(new_type_details->arena) {
1306             /* This points to the start of the allocated area.  */
1307             new_body_inline(new_body, new_type);
1308             Zero(new_body, new_type_details->body_size, char);
1309             new_body = ((char *)new_body) - new_type_details->offset;
1310         } else {
1311             new_body = new_NOARENAZ(new_type_details);
1312         }
1313         SvANY(sv) = new_body;
1314
1315         if (old_type_details->copy) {
1316             /* There is now the potential for an upgrade from something without
1317                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1318             int offset = old_type_details->offset;
1319             int length = old_type_details->copy;
1320
1321             if (new_type_details->offset > old_type_details->offset) {
1322                 const int difference
1323                     = new_type_details->offset - old_type_details->offset;
1324                 offset += difference;
1325                 length -= difference;
1326             }
1327             assert (length >= 0);
1328                 
1329             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1330                  char);
1331         }
1332
1333 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1334         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1335          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1336          * NV slot, but the new one does, then we need to initialise the
1337          * freshly created NV slot with whatever the correct bit pattern is
1338          * for 0.0  */
1339         if (old_type_details->zero_nv && !new_type_details->zero_nv)
1340             SvNV_set(sv, 0);
1341 #endif
1342
1343         if (new_type == SVt_PVIO)
1344             IoPAGE_LEN(sv) = 60;
1345         if (old_type < SVt_RV)
1346             SvPV_set(sv, NULL);
1347         break;
1348     default:
1349         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1350                    (unsigned long)new_type);
1351     }
1352
1353     if (old_type_details->arena) {
1354         /* If there was an old body, then we need to free it.
1355            Note that there is an assumption that all bodies of types that
1356            can be upgraded came from arenas. Only the more complex non-
1357            upgradable types are allowed to be directly malloc()ed.  */
1358 #ifdef PURIFY
1359         my_safefree(old_body);
1360 #else
1361         del_body((void*)((char*)old_body + old_type_details->offset),
1362                  &PL_body_roots[old_type]);
1363 #endif
1364     }
1365 }
1366
1367 /*
1368 =for apidoc sv_backoff
1369
1370 Remove any string offset. You should normally use the C<SvOOK_off> macro
1371 wrapper instead.
1372
1373 =cut
1374 */
1375
1376 int
1377 Perl_sv_backoff(pTHX_ register SV *sv)
1378 {
1379     PERL_UNUSED_CONTEXT;
1380     assert(SvOOK(sv));
1381     assert(SvTYPE(sv) != SVt_PVHV);
1382     assert(SvTYPE(sv) != SVt_PVAV);
1383     if (SvIVX(sv)) {
1384         const char * const s = SvPVX_const(sv);
1385         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1386         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1387         SvIV_set(sv, 0);
1388         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1389     }
1390     SvFLAGS(sv) &= ~SVf_OOK;
1391     return 0;
1392 }
1393
1394 /*
1395 =for apidoc sv_grow
1396
1397 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1398 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1399 Use the C<SvGROW> wrapper instead.
1400
1401 =cut
1402 */
1403
1404 char *
1405 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1406 {
1407     register char *s;
1408
1409     if (PL_madskills && newlen >= 0x100000) {
1410         PerlIO_printf(Perl_debug_log,
1411                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1412     }
1413 #ifdef HAS_64K_LIMIT
1414     if (newlen >= 0x10000) {
1415         PerlIO_printf(Perl_debug_log,
1416                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1417         my_exit(1);
1418     }
1419 #endif /* HAS_64K_LIMIT */
1420     if (SvROK(sv))
1421         sv_unref(sv);
1422     if (SvTYPE(sv) < SVt_PV) {
1423         sv_upgrade(sv, SVt_PV);
1424         s = SvPVX_mutable(sv);
1425     }
1426     else if (SvOOK(sv)) {       /* pv is offset? */
1427         sv_backoff(sv);
1428         s = SvPVX_mutable(sv);
1429         if (newlen > SvLEN(sv))
1430             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1431 #ifdef HAS_64K_LIMIT
1432         if (newlen >= 0x10000)
1433             newlen = 0xFFFF;
1434 #endif
1435     }
1436     else
1437         s = SvPVX_mutable(sv);
1438
1439     if (newlen > SvLEN(sv)) {           /* need more room? */
1440         newlen = PERL_STRLEN_ROUNDUP(newlen);
1441         if (SvLEN(sv) && s) {
1442 #ifdef MYMALLOC
1443             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1444             if (newlen <= l) {
1445                 SvLEN_set(sv, l);
1446                 return s;
1447             } else
1448 #endif
1449             s = (char*)saferealloc(s, newlen);
1450         }
1451         else {
1452             s = (char*)safemalloc(newlen);
1453             if (SvPVX_const(sv) && SvCUR(sv)) {
1454                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1455             }
1456         }
1457         SvPV_set(sv, s);
1458         SvLEN_set(sv, newlen);
1459     }
1460     return s;
1461 }
1462
1463 /*
1464 =for apidoc sv_setiv
1465
1466 Copies an integer into the given SV, upgrading first if necessary.
1467 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1468
1469 =cut
1470 */
1471
1472 void
1473 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1474 {
1475     dVAR;
1476     SV_CHECK_THINKFIRST_COW_DROP(sv);
1477     switch (SvTYPE(sv)) {
1478     case SVt_NULL:
1479         sv_upgrade(sv, SVt_IV);
1480         break;
1481     case SVt_NV:
1482         sv_upgrade(sv, SVt_PVNV);
1483         break;
1484     case SVt_RV:
1485     case SVt_PV:
1486         sv_upgrade(sv, SVt_PVIV);
1487         break;
1488
1489     case SVt_PVGV:
1490     case SVt_PVAV:
1491     case SVt_PVHV:
1492     case SVt_PVCV:
1493     case SVt_PVFM:
1494     case SVt_PVIO:
1495         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1496                    OP_DESC(PL_op));
1497     default: NOOP;
1498     }
1499     (void)SvIOK_only(sv);                       /* validate number */
1500     SvIV_set(sv, i);
1501     SvTAINT(sv);
1502 }
1503
1504 /*
1505 =for apidoc sv_setiv_mg
1506
1507 Like C<sv_setiv>, but also handles 'set' magic.
1508
1509 =cut
1510 */
1511
1512 void
1513 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1514 {
1515     sv_setiv(sv,i);
1516     SvSETMAGIC(sv);
1517 }
1518
1519 /*
1520 =for apidoc sv_setuv
1521
1522 Copies an unsigned integer into the given SV, upgrading first if necessary.
1523 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1524
1525 =cut
1526 */
1527
1528 void
1529 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1530 {
1531     /* With these two if statements:
1532        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1533
1534        without
1535        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1536
1537        If you wish to remove them, please benchmark to see what the effect is
1538     */
1539     if (u <= (UV)IV_MAX) {
1540        sv_setiv(sv, (IV)u);
1541        return;
1542     }
1543     sv_setiv(sv, 0);
1544     SvIsUV_on(sv);
1545     SvUV_set(sv, u);
1546 }
1547
1548 /*
1549 =for apidoc sv_setuv_mg
1550
1551 Like C<sv_setuv>, but also handles 'set' magic.
1552
1553 =cut
1554 */
1555
1556 void
1557 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1558 {
1559     sv_setuv(sv,u);
1560     SvSETMAGIC(sv);
1561 }
1562
1563 /*
1564 =for apidoc sv_setnv
1565
1566 Copies a double into the given SV, upgrading first if necessary.
1567 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1568
1569 =cut
1570 */
1571
1572 void
1573 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1574 {
1575     dVAR;
1576     SV_CHECK_THINKFIRST_COW_DROP(sv);
1577     switch (SvTYPE(sv)) {
1578     case SVt_NULL:
1579     case SVt_IV:
1580         sv_upgrade(sv, SVt_NV);
1581         break;
1582     case SVt_RV:
1583     case SVt_PV:
1584     case SVt_PVIV:
1585         sv_upgrade(sv, SVt_PVNV);
1586         break;
1587
1588     case SVt_PVGV:
1589     case SVt_PVAV:
1590     case SVt_PVHV:
1591     case SVt_PVCV:
1592     case SVt_PVFM:
1593     case SVt_PVIO:
1594         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1595                    OP_NAME(PL_op));
1596     default: NOOP;
1597     }
1598     SvNV_set(sv, num);
1599     (void)SvNOK_only(sv);                       /* validate number */
1600     SvTAINT(sv);
1601 }
1602
1603 /*
1604 =for apidoc sv_setnv_mg
1605
1606 Like C<sv_setnv>, but also handles 'set' magic.
1607
1608 =cut
1609 */
1610
1611 void
1612 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1613 {
1614     sv_setnv(sv,num);
1615     SvSETMAGIC(sv);
1616 }
1617
1618 /* Print an "isn't numeric" warning, using a cleaned-up,
1619  * printable version of the offending string
1620  */
1621
1622 STATIC void
1623 S_not_a_number(pTHX_ SV *sv)
1624 {
1625      dVAR;
1626      SV *dsv;
1627      char tmpbuf[64];
1628      const char *pv;
1629
1630      if (DO_UTF8(sv)) {
1631           dsv = sv_2mortal(newSVpvs(""));
1632           pv = sv_uni_display(dsv, sv, 10, 0);
1633      } else {
1634           char *d = tmpbuf;
1635           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1636           /* each *s can expand to 4 chars + "...\0",
1637              i.e. need room for 8 chars */
1638         
1639           const char *s = SvPVX_const(sv);
1640           const char * const end = s + SvCUR(sv);
1641           for ( ; s < end && d < limit; s++ ) {
1642                int ch = *s & 0xFF;
1643                if (ch & 128 && !isPRINT_LC(ch)) {
1644                     *d++ = 'M';
1645                     *d++ = '-';
1646                     ch &= 127;
1647                }
1648                if (ch == '\n') {
1649                     *d++ = '\\';
1650                     *d++ = 'n';
1651                }
1652                else if (ch == '\r') {
1653                     *d++ = '\\';
1654                     *d++ = 'r';
1655                }
1656                else if (ch == '\f') {
1657                     *d++ = '\\';
1658                     *d++ = 'f';
1659                }
1660                else if (ch == '\\') {
1661                     *d++ = '\\';
1662                     *d++ = '\\';
1663                }
1664                else if (ch == '\0') {
1665                     *d++ = '\\';
1666                     *d++ = '0';
1667                }
1668                else if (isPRINT_LC(ch))
1669                     *d++ = ch;
1670                else {
1671                     *d++ = '^';
1672                     *d++ = toCTRL(ch);
1673                }
1674           }
1675           if (s < end) {
1676                *d++ = '.';
1677                *d++ = '.';
1678                *d++ = '.';
1679           }
1680           *d = '\0';
1681           pv = tmpbuf;
1682     }
1683
1684     if (PL_op)
1685         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1686                     "Argument \"%s\" isn't numeric in %s", pv,
1687                     OP_DESC(PL_op));
1688     else
1689         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1690                     "Argument \"%s\" isn't numeric", pv);
1691 }
1692
1693 /*
1694 =for apidoc looks_like_number
1695
1696 Test if the content of an SV looks like a number (or is a number).
1697 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1698 non-numeric warning), even if your atof() doesn't grok them.
1699
1700 =cut
1701 */
1702
1703 I32
1704 Perl_looks_like_number(pTHX_ SV *sv)
1705 {
1706     register const char *sbegin;
1707     STRLEN len;
1708
1709     if (SvPOK(sv)) {
1710         sbegin = SvPVX_const(sv);
1711         len = SvCUR(sv);
1712     }
1713     else if (SvPOKp(sv))
1714         sbegin = SvPV_const(sv, len);
1715     else
1716         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1717     return grok_number(sbegin, len, NULL);
1718 }
1719
1720 STATIC bool
1721 S_glob_2number(pTHX_ GV * const gv)
1722 {
1723     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1724     SV *const buffer = sv_newmortal();
1725
1726     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1727        is on.  */
1728     SvFAKE_off(gv);
1729     gv_efullname3(buffer, gv, "*");
1730     SvFLAGS(gv) |= wasfake;
1731
1732     /* We know that all GVs stringify to something that is not-a-number,
1733         so no need to test that.  */
1734     if (ckWARN(WARN_NUMERIC))
1735         not_a_number(buffer);
1736     /* We just want something true to return, so that S_sv_2iuv_common
1737         can tail call us and return true.  */
1738     return TRUE;
1739 }
1740
1741 STATIC char *
1742 S_glob_2pv(pTHX_ GV * const gv, STRLEN * const len)
1743 {
1744     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1745     SV *const buffer = sv_newmortal();
1746
1747     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1748        is on.  */
1749     SvFAKE_off(gv);
1750     gv_efullname3(buffer, gv, "*");
1751     SvFLAGS(gv) |= wasfake;
1752
1753     assert(SvPOK(buffer));
1754     if (len) {
1755         *len = SvCUR(buffer);
1756     }
1757     return SvPVX(buffer);
1758 }
1759
1760 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1761    until proven guilty, assume that things are not that bad... */
1762
1763 /*
1764    NV_PRESERVES_UV:
1765
1766    As 64 bit platforms often have an NV that doesn't preserve all bits of
1767    an IV (an assumption perl has been based on to date) it becomes necessary
1768    to remove the assumption that the NV always carries enough precision to
1769    recreate the IV whenever needed, and that the NV is the canonical form.
1770    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1771    precision as a side effect of conversion (which would lead to insanity
1772    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1773    1) to distinguish between IV/UV/NV slots that have cached a valid
1774       conversion where precision was lost and IV/UV/NV slots that have a
1775       valid conversion which has lost no precision
1776    2) to ensure that if a numeric conversion to one form is requested that
1777       would lose precision, the precise conversion (or differently
1778       imprecise conversion) is also performed and cached, to prevent
1779       requests for different numeric formats on the same SV causing
1780       lossy conversion chains. (lossless conversion chains are perfectly
1781       acceptable (still))
1782
1783
1784    flags are used:
1785    SvIOKp is true if the IV slot contains a valid value
1786    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1787    SvNOKp is true if the NV slot contains a valid value
1788    SvNOK  is true only if the NV value is accurate
1789
1790    so
1791    while converting from PV to NV, check to see if converting that NV to an
1792    IV(or UV) would lose accuracy over a direct conversion from PV to
1793    IV(or UV). If it would, cache both conversions, return NV, but mark
1794    SV as IOK NOKp (ie not NOK).
1795
1796    While converting from PV to IV, check to see if converting that IV to an
1797    NV would lose accuracy over a direct conversion from PV to NV. If it
1798    would, cache both conversions, flag similarly.
1799
1800    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1801    correctly because if IV & NV were set NV *always* overruled.
1802    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1803    changes - now IV and NV together means that the two are interchangeable:
1804    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1805
1806    The benefit of this is that operations such as pp_add know that if
1807    SvIOK is true for both left and right operands, then integer addition
1808    can be used instead of floating point (for cases where the result won't
1809    overflow). Before, floating point was always used, which could lead to
1810    loss of precision compared with integer addition.
1811
1812    * making IV and NV equal status should make maths accurate on 64 bit
1813      platforms
1814    * may speed up maths somewhat if pp_add and friends start to use
1815      integers when possible instead of fp. (Hopefully the overhead in
1816      looking for SvIOK and checking for overflow will not outweigh the
1817      fp to integer speedup)
1818    * will slow down integer operations (callers of SvIV) on "inaccurate"
1819      values, as the change from SvIOK to SvIOKp will cause a call into
1820      sv_2iv each time rather than a macro access direct to the IV slot
1821    * should speed up number->string conversion on integers as IV is
1822      favoured when IV and NV are equally accurate
1823
1824    ####################################################################
1825    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1826    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1827    On the other hand, SvUOK is true iff UV.
1828    ####################################################################
1829
1830    Your mileage will vary depending your CPU's relative fp to integer
1831    performance ratio.
1832 */
1833
1834 #ifndef NV_PRESERVES_UV
1835 #  define IS_NUMBER_UNDERFLOW_IV 1
1836 #  define IS_NUMBER_UNDERFLOW_UV 2
1837 #  define IS_NUMBER_IV_AND_UV    2
1838 #  define IS_NUMBER_OVERFLOW_IV  4
1839 #  define IS_NUMBER_OVERFLOW_UV  5
1840
1841 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1842
1843 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1844 STATIC int
1845 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1846 {
1847     dVAR;
1848     PERL_UNUSED_ARG(numtype); /* Used only under DEBUGGING? */
1849     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1850     if (SvNVX(sv) < (NV)IV_MIN) {
1851         (void)SvIOKp_on(sv);
1852         (void)SvNOK_on(sv);
1853         SvIV_set(sv, IV_MIN);
1854         return IS_NUMBER_UNDERFLOW_IV;
1855     }
1856     if (SvNVX(sv) > (NV)UV_MAX) {
1857         (void)SvIOKp_on(sv);
1858         (void)SvNOK_on(sv);
1859         SvIsUV_on(sv);
1860         SvUV_set(sv, UV_MAX);
1861         return IS_NUMBER_OVERFLOW_UV;
1862     }
1863     (void)SvIOKp_on(sv);
1864     (void)SvNOK_on(sv);
1865     /* Can't use strtol etc to convert this string.  (See truth table in
1866        sv_2iv  */
1867     if (SvNVX(sv) <= (UV)IV_MAX) {
1868         SvIV_set(sv, I_V(SvNVX(sv)));
1869         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1870             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1871         } else {
1872             /* Integer is imprecise. NOK, IOKp */
1873         }
1874         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1875     }
1876     SvIsUV_on(sv);
1877     SvUV_set(sv, U_V(SvNVX(sv)));
1878     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1879         if (SvUVX(sv) == UV_MAX) {
1880             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1881                possibly be preserved by NV. Hence, it must be overflow.
1882                NOK, IOKp */
1883             return IS_NUMBER_OVERFLOW_UV;
1884         }
1885         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1886     } else {
1887         /* Integer is imprecise. NOK, IOKp */
1888     }
1889     return IS_NUMBER_OVERFLOW_IV;
1890 }
1891 #endif /* !NV_PRESERVES_UV*/
1892
1893 STATIC bool
1894 S_sv_2iuv_common(pTHX_ SV *sv) {
1895     dVAR;
1896     if (SvNOKp(sv)) {
1897         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1898          * without also getting a cached IV/UV from it at the same time
1899          * (ie PV->NV conversion should detect loss of accuracy and cache
1900          * IV or UV at same time to avoid this. */
1901         /* IV-over-UV optimisation - choose to cache IV if possible */
1902
1903         if (SvTYPE(sv) == SVt_NV)
1904             sv_upgrade(sv, SVt_PVNV);
1905
1906         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1907         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1908            certainly cast into the IV range at IV_MAX, whereas the correct
1909            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1910            cases go to UV */
1911 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
1912         if (Perl_isnan(SvNVX(sv))) {
1913             SvUV_set(sv, 0);
1914             SvIsUV_on(sv);
1915             return FALSE;
1916         }
1917 #endif
1918         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1919             SvIV_set(sv, I_V(SvNVX(sv)));
1920             if (SvNVX(sv) == (NV) SvIVX(sv)
1921 #ifndef NV_PRESERVES_UV
1922                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1923                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1924                 /* Don't flag it as "accurately an integer" if the number
1925                    came from a (by definition imprecise) NV operation, and
1926                    we're outside the range of NV integer precision */
1927 #endif
1928                 ) {
1929                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1930                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1931                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1932                                       PTR2UV(sv),
1933                                       SvNVX(sv),
1934                                       SvIVX(sv)));
1935
1936             } else {
1937                 /* IV not precise.  No need to convert from PV, as NV
1938                    conversion would already have cached IV if it detected
1939                    that PV->IV would be better than PV->NV->IV
1940                    flags already correct - don't set public IOK.  */
1941                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1942                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1943                                       PTR2UV(sv),
1944                                       SvNVX(sv),
1945                                       SvIVX(sv)));
1946             }
1947             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1948                but the cast (NV)IV_MIN rounds to a the value less (more
1949                negative) than IV_MIN which happens to be equal to SvNVX ??
1950                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1951                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1952                (NV)UVX == NVX are both true, but the values differ. :-(
1953                Hopefully for 2s complement IV_MIN is something like
1954                0x8000000000000000 which will be exact. NWC */
1955         }
1956         else {
1957             SvUV_set(sv, U_V(SvNVX(sv)));
1958             if (
1959                 (SvNVX(sv) == (NV) SvUVX(sv))
1960 #ifndef  NV_PRESERVES_UV
1961                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1962                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1963                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1964                 /* Don't flag it as "accurately an integer" if the number
1965                    came from a (by definition imprecise) NV operation, and
1966                    we're outside the range of NV integer precision */
1967 #endif
1968                 )
1969                 SvIOK_on(sv);
1970             SvIsUV_on(sv);
1971             DEBUG_c(PerlIO_printf(Perl_debug_log,
1972                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1973                                   PTR2UV(sv),
1974                                   SvUVX(sv),
1975                                   SvUVX(sv)));
1976         }
1977     }
1978     else if (SvPOKp(sv) && SvLEN(sv)) {
1979         UV value;
1980         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1981         /* We want to avoid a possible problem when we cache an IV/ a UV which
1982            may be later translated to an NV, and the resulting NV is not
1983            the same as the direct translation of the initial string
1984            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1985            be careful to ensure that the value with the .456 is around if the
1986            NV value is requested in the future).
1987         
1988            This means that if we cache such an IV/a UV, we need to cache the
1989            NV as well.  Moreover, we trade speed for space, and do not
1990            cache the NV if we are sure it's not needed.
1991          */
1992
1993         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1994         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1995              == IS_NUMBER_IN_UV) {
1996             /* It's definitely an integer, only upgrade to PVIV */
1997             if (SvTYPE(sv) < SVt_PVIV)
1998                 sv_upgrade(sv, SVt_PVIV);
1999             (void)SvIOK_on(sv);
2000         } else if (SvTYPE(sv) < SVt_PVNV)
2001             sv_upgrade(sv, SVt_PVNV);
2002
2003         /* If NVs preserve UVs then we only use the UV value if we know that
2004            we aren't going to call atof() below. If NVs don't preserve UVs
2005            then the value returned may have more precision than atof() will
2006            return, even though value isn't perfectly accurate.  */
2007         if ((numtype & (IS_NUMBER_IN_UV
2008 #ifdef NV_PRESERVES_UV
2009                         | IS_NUMBER_NOT_INT
2010 #endif
2011             )) == IS_NUMBER_IN_UV) {
2012             /* This won't turn off the public IOK flag if it was set above  */
2013             (void)SvIOKp_on(sv);
2014
2015             if (!(numtype & IS_NUMBER_NEG)) {
2016                 /* positive */;
2017                 if (value <= (UV)IV_MAX) {
2018                     SvIV_set(sv, (IV)value);
2019                 } else {
2020                     /* it didn't overflow, and it was positive. */
2021                     SvUV_set(sv, value);
2022                     SvIsUV_on(sv);
2023                 }
2024             } else {
2025                 /* 2s complement assumption  */
2026                 if (value <= (UV)IV_MIN) {
2027                     SvIV_set(sv, -(IV)value);
2028                 } else {
2029                     /* Too negative for an IV.  This is a double upgrade, but
2030                        I'm assuming it will be rare.  */
2031                     if (SvTYPE(sv) < SVt_PVNV)
2032                         sv_upgrade(sv, SVt_PVNV);
2033                     SvNOK_on(sv);
2034                     SvIOK_off(sv);
2035                     SvIOKp_on(sv);
2036                     SvNV_set(sv, -(NV)value);
2037                     SvIV_set(sv, IV_MIN);
2038                 }
2039             }
2040         }
2041         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2042            will be in the previous block to set the IV slot, and the next
2043            block to set the NV slot.  So no else here.  */
2044         
2045         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2046             != IS_NUMBER_IN_UV) {
2047             /* It wasn't an (integer that doesn't overflow the UV). */
2048             SvNV_set(sv, Atof(SvPVX_const(sv)));
2049
2050             if (! numtype && ckWARN(WARN_NUMERIC))
2051                 not_a_number(sv);
2052
2053 #if defined(USE_LONG_DOUBLE)
2054             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2055                                   PTR2UV(sv), SvNVX(sv)));
2056 #else
2057             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2058                                   PTR2UV(sv), SvNVX(sv)));
2059 #endif
2060
2061 #ifdef NV_PRESERVES_UV
2062             (void)SvIOKp_on(sv);
2063             (void)SvNOK_on(sv);
2064             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2065                 SvIV_set(sv, I_V(SvNVX(sv)));
2066                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2067                     SvIOK_on(sv);
2068                 } else {
2069                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2070                 }
2071                 /* UV will not work better than IV */
2072             } else {
2073                 if (SvNVX(sv) > (NV)UV_MAX) {
2074                     SvIsUV_on(sv);
2075                     /* Integer is inaccurate. NOK, IOKp, is UV */
2076                     SvUV_set(sv, UV_MAX);
2077                 } else {
2078                     SvUV_set(sv, U_V(SvNVX(sv)));
2079                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2080                        NV preservse UV so can do correct comparison.  */
2081                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2082                         SvIOK_on(sv);
2083                     } else {
2084                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2085                     }
2086                 }
2087                 SvIsUV_on(sv);
2088             }
2089 #else /* NV_PRESERVES_UV */
2090             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2091                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2092                 /* The IV/UV slot will have been set from value returned by
2093                    grok_number above.  The NV slot has just been set using
2094                    Atof.  */
2095                 SvNOK_on(sv);
2096                 assert (SvIOKp(sv));
2097             } else {
2098                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2099                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2100                     /* Small enough to preserve all bits. */
2101                     (void)SvIOKp_on(sv);
2102                     SvNOK_on(sv);
2103                     SvIV_set(sv, I_V(SvNVX(sv)));
2104                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2105                         SvIOK_on(sv);
2106                     /* Assumption: first non-preserved integer is < IV_MAX,
2107                        this NV is in the preserved range, therefore: */
2108                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2109                           < (UV)IV_MAX)) {
2110                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2111                     }
2112                 } else {
2113                     /* IN_UV NOT_INT
2114                          0      0       already failed to read UV.
2115                          0      1       already failed to read UV.
2116                          1      0       you won't get here in this case. IV/UV
2117                                         slot set, public IOK, Atof() unneeded.
2118                          1      1       already read UV.
2119                        so there's no point in sv_2iuv_non_preserve() attempting
2120                        to use atol, strtol, strtoul etc.  */
2121                     sv_2iuv_non_preserve (sv, numtype);
2122                 }
2123             }
2124 #endif /* NV_PRESERVES_UV */
2125         }
2126     }
2127     else  {
2128         if (isGV_with_GP(sv))
2129             return glob_2number((GV *)sv);
2130
2131         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2132             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2133                 report_uninit(sv);
2134         }
2135         if (SvTYPE(sv) < SVt_IV)
2136             /* Typically the caller expects that sv_any is not NULL now.  */
2137             sv_upgrade(sv, SVt_IV);
2138         /* Return 0 from the caller.  */
2139         return TRUE;
2140     }
2141     return FALSE;
2142 }
2143
2144 /*
2145 =for apidoc sv_2iv_flags
2146
2147 Return the integer value of an SV, doing any necessary string
2148 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2149 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2150
2151 =cut
2152 */
2153
2154 IV
2155 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
2156 {
2157     dVAR;
2158     if (!sv)
2159         return 0;
2160     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2161         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2162            cache IVs just in case. In practice it seems that they never
2163            actually anywhere accessible by user Perl code, let alone get used
2164            in anything other than a string context.  */
2165         if (flags & SV_GMAGIC)
2166             mg_get(sv);
2167         if (SvIOKp(sv))
2168             return SvIVX(sv);
2169         if (SvNOKp(sv)) {
2170             return I_V(SvNVX(sv));
2171         }
2172         if (SvPOKp(sv) && SvLEN(sv)) {
2173             UV value;
2174             const int numtype
2175                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2176
2177             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2178                 == IS_NUMBER_IN_UV) {
2179                 /* It's definitely an integer */
2180                 if (numtype & IS_NUMBER_NEG) {
2181                     if (value < (UV)IV_MIN)
2182                         return -(IV)value;
2183                 } else {
2184                     if (value < (UV)IV_MAX)
2185                         return (IV)value;
2186                 }
2187             }
2188             if (!numtype) {
2189                 if (ckWARN(WARN_NUMERIC))
2190                     not_a_number(sv);
2191             }
2192             return I_V(Atof(SvPVX_const(sv)));
2193         }
2194         if (SvROK(sv)) {
2195             goto return_rok;
2196         }
2197         assert(SvTYPE(sv) >= SVt_PVMG);
2198         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2199     } else if (SvTHINKFIRST(sv)) {
2200         if (SvROK(sv)) {
2201         return_rok:
2202             if (SvAMAGIC(sv)) {
2203                 SV * const tmpstr=AMG_CALLun(sv,numer);
2204                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2205                     return SvIV(tmpstr);
2206                 }
2207             }
2208             return PTR2IV(SvRV(sv));
2209         }
2210         if (SvIsCOW(sv)) {
2211             sv_force_normal_flags(sv, 0);
2212         }
2213         if (SvREADONLY(sv) && !SvOK(sv)) {
2214             if (ckWARN(WARN_UNINITIALIZED))
2215                 report_uninit(sv);
2216             return 0;
2217         }
2218     }
2219     if (!SvIOKp(sv)) {
2220         if (S_sv_2iuv_common(aTHX_ sv))
2221             return 0;
2222     }
2223     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2224         PTR2UV(sv),SvIVX(sv)));
2225     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2226 }
2227
2228 /*
2229 =for apidoc sv_2uv_flags
2230
2231 Return the unsigned integer value of an SV, doing any necessary string
2232 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2233 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2234
2235 =cut
2236 */
2237
2238 UV
2239 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
2240 {
2241     dVAR;
2242     if (!sv)
2243         return 0;
2244     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2245         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2246            cache IVs just in case.  */
2247         if (flags & SV_GMAGIC)
2248             mg_get(sv);
2249         if (SvIOKp(sv))
2250             return SvUVX(sv);
2251         if (SvNOKp(sv))
2252             return U_V(SvNVX(sv));
2253         if (SvPOKp(sv) && SvLEN(sv)) {
2254             UV value;
2255             const int numtype
2256                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2257
2258             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2259                 == IS_NUMBER_IN_UV) {
2260                 /* It's definitely an integer */
2261                 if (!(numtype & IS_NUMBER_NEG))
2262                     return value;
2263             }
2264             if (!numtype) {
2265                 if (ckWARN(WARN_NUMERIC))
2266                     not_a_number(sv);
2267             }
2268             return U_V(Atof(SvPVX_const(sv)));
2269         }
2270         if (SvROK(sv)) {
2271             goto return_rok;
2272         }
2273         assert(SvTYPE(sv) >= SVt_PVMG);
2274         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2275     } else if (SvTHINKFIRST(sv)) {
2276         if (SvROK(sv)) {
2277         return_rok:
2278             if (SvAMAGIC(sv)) {
2279                 SV *const tmpstr = AMG_CALLun(sv,numer);
2280                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2281                     return SvUV(tmpstr);
2282                 }
2283             }
2284             return PTR2UV(SvRV(sv));
2285         }
2286         if (SvIsCOW(sv)) {
2287             sv_force_normal_flags(sv, 0);
2288         }
2289         if (SvREADONLY(sv) && !SvOK(sv)) {
2290             if (ckWARN(WARN_UNINITIALIZED))
2291                 report_uninit(sv);
2292             return 0;
2293         }
2294     }
2295     if (!SvIOKp(sv)) {
2296         if (S_sv_2iuv_common(aTHX_ sv))
2297             return 0;
2298     }
2299
2300     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2301                           PTR2UV(sv),SvUVX(sv)));
2302     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2303 }
2304
2305 /*
2306 =for apidoc sv_2nv
2307
2308 Return the num value of an SV, doing any necessary string or integer
2309 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2310 macros.
2311
2312 =cut
2313 */
2314
2315 NV
2316 Perl_sv_2nv(pTHX_ register SV *sv)
2317 {
2318     dVAR;
2319     if (!sv)
2320         return 0.0;
2321     if (SvGMAGICAL(sv) || (SvTYPE(sv) == SVt_PVGV && SvVALID(sv))) {
2322         /* FBMs use the same flag bit as SVf_IVisUV, so must let them
2323            cache IVs just in case.  */
2324         mg_get(sv);
2325         if (SvNOKp(sv))
2326             return SvNVX(sv);
2327         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2328             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2329                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2330                 not_a_number(sv);
2331             return Atof(SvPVX_const(sv));
2332         }
2333         if (SvIOKp(sv)) {
2334             if (SvIsUV(sv))
2335                 return (NV)SvUVX(sv);
2336             else
2337                 return (NV)SvIVX(sv);
2338         }
2339         if (SvROK(sv)) {
2340             goto return_rok;
2341         }
2342         assert(SvTYPE(sv) >= SVt_PVMG);
2343         /* This falls through to the report_uninit near the end of the
2344            function. */
2345     } else if (SvTHINKFIRST(sv)) {
2346         if (SvROK(sv)) {
2347         return_rok:
2348             if (SvAMAGIC(sv)) {
2349                 SV *const tmpstr = AMG_CALLun(sv,numer);
2350                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2351                     return SvNV(tmpstr);
2352                 }
2353             }
2354             return PTR2NV(SvRV(sv));
2355         }
2356         if (SvIsCOW(sv)) {
2357             sv_force_normal_flags(sv, 0);
2358         }
2359         if (SvREADONLY(sv) && !SvOK(sv)) {
2360             if (ckWARN(WARN_UNINITIALIZED))
2361                 report_uninit(sv);
2362             return 0.0;
2363         }
2364     }
2365     if (SvTYPE(sv) < SVt_NV) {
2366         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2367         sv_upgrade(sv, SVt_NV);
2368 #ifdef USE_LONG_DOUBLE
2369         DEBUG_c({
2370             STORE_NUMERIC_LOCAL_SET_STANDARD();
2371             PerlIO_printf(Perl_debug_log,
2372                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2373                           PTR2UV(sv), SvNVX(sv));
2374             RESTORE_NUMERIC_LOCAL();
2375         });
2376 #else
2377         DEBUG_c({
2378             STORE_NUMERIC_LOCAL_SET_STANDARD();
2379             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2380                           PTR2UV(sv), SvNVX(sv));
2381             RESTORE_NUMERIC_LOCAL();
2382         });
2383 #endif
2384     }
2385     else if (SvTYPE(sv) < SVt_PVNV)
2386         sv_upgrade(sv, SVt_PVNV);
2387     if (SvNOKp(sv)) {
2388         return SvNVX(sv);
2389     }
2390     if (SvIOKp(sv)) {
2391         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2392 #ifdef NV_PRESERVES_UV
2393         SvNOK_on(sv);
2394 #else
2395         /* Only set the public NV OK flag if this NV preserves the IV  */
2396         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2397         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2398                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2399             SvNOK_on(sv);
2400         else
2401             SvNOKp_on(sv);
2402 #endif
2403     }
2404     else if (SvPOKp(sv) && SvLEN(sv)) {
2405         UV value;
2406         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2407         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2408             not_a_number(sv);
2409 #ifdef NV_PRESERVES_UV
2410         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2411             == IS_NUMBER_IN_UV) {
2412             /* It's definitely an integer */
2413             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2414         } else
2415             SvNV_set(sv, Atof(SvPVX_const(sv)));
2416         SvNOK_on(sv);
2417 #else
2418         SvNV_set(sv, Atof(SvPVX_const(sv)));
2419         /* Only set the public NV OK flag if this NV preserves the value in
2420            the PV at least as well as an IV/UV would.
2421            Not sure how to do this 100% reliably. */
2422         /* if that shift count is out of range then Configure's test is
2423            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2424            UV_BITS */
2425         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2426             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2427             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2428         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2429             /* Can't use strtol etc to convert this string, so don't try.
2430                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2431             SvNOK_on(sv);
2432         } else {
2433             /* value has been set.  It may not be precise.  */
2434             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2435                 /* 2s complement assumption for (UV)IV_MIN  */
2436                 SvNOK_on(sv); /* Integer is too negative.  */
2437             } else {
2438                 SvNOKp_on(sv);
2439                 SvIOKp_on(sv);
2440
2441                 if (numtype & IS_NUMBER_NEG) {
2442                     SvIV_set(sv, -(IV)value);
2443                 } else if (value <= (UV)IV_MAX) {
2444                     SvIV_set(sv, (IV)value);
2445                 } else {
2446                     SvUV_set(sv, value);
2447                     SvIsUV_on(sv);
2448                 }
2449
2450                 if (numtype & IS_NUMBER_NOT_INT) {
2451                     /* I believe that even if the original PV had decimals,
2452                        they are lost beyond the limit of the FP precision.
2453                        However, neither is canonical, so both only get p
2454                        flags.  NWC, 2000/11/25 */
2455                     /* Both already have p flags, so do nothing */
2456                 } else {
2457                     const NV nv = SvNVX(sv);
2458                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2459                         if (SvIVX(sv) == I_V(nv)) {
2460                             SvNOK_on(sv);
2461                         } else {
2462                             /* It had no "." so it must be integer.  */
2463                         }
2464                         SvIOK_on(sv);
2465                     } else {
2466                         /* between IV_MAX and NV(UV_MAX).
2467                            Could be slightly > UV_MAX */
2468
2469                         if (numtype & IS_NUMBER_NOT_INT) {
2470                             /* UV and NV both imprecise.  */
2471                         } else {
2472                             const UV nv_as_uv = U_V(nv);
2473
2474                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2475                                 SvNOK_on(sv);
2476                             }
2477                             SvIOK_on(sv);
2478                         }
2479                     }
2480                 }
2481             }
2482         }
2483 #endif /* NV_PRESERVES_UV */
2484     }
2485     else  {
2486         if (isGV_with_GP(sv)) {
2487             glob_2number((GV *)sv);
2488             return 0.0;
2489         }
2490
2491         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2492             report_uninit(sv);
2493         assert (SvTYPE(sv) >= SVt_NV);
2494         /* Typically the caller expects that sv_any is not NULL now.  */
2495         /* XXX Ilya implies that this is a bug in callers that assume this
2496            and ideally should be fixed.  */
2497         return 0.0;
2498     }
2499 #if defined(USE_LONG_DOUBLE)
2500     DEBUG_c({
2501         STORE_NUMERIC_LOCAL_SET_STANDARD();
2502         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2503                       PTR2UV(sv), SvNVX(sv));
2504         RESTORE_NUMERIC_LOCAL();
2505     });
2506 #else
2507     DEBUG_c({
2508         STORE_NUMERIC_LOCAL_SET_STANDARD();
2509         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2510                       PTR2UV(sv), SvNVX(sv));
2511         RESTORE_NUMERIC_LOCAL();
2512     });
2513 #endif
2514     return SvNVX(sv);
2515 }
2516
2517 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2518  * UV as a string towards the end of buf, and return pointers to start and
2519  * end of it.
2520  *
2521  * We assume that buf is at least TYPE_CHARS(UV) long.
2522  */
2523
2524 static char *
2525 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2526 {
2527     char *ptr = buf + TYPE_CHARS(UV);
2528     char * const ebuf = ptr;
2529     int sign;
2530
2531     if (is_uv)
2532         sign = 0;
2533     else if (iv >= 0) {
2534         uv = iv;
2535         sign = 0;
2536     } else {
2537         uv = -iv;
2538         sign = 1;
2539     }
2540     do {
2541         *--ptr = '0' + (char)(uv % 10);
2542     } while (uv /= 10);
2543     if (sign)
2544         *--ptr = '-';
2545     *peob = ebuf;
2546     return ptr;
2547 }
2548
2549 /*
2550 =for apidoc sv_2pv_flags
2551
2552 Returns a pointer to the string value of an SV, and sets *lp to its length.
2553 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2554 if necessary.
2555 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2556 usually end up here too.
2557
2558 =cut
2559 */
2560
2561 char *
2562 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2563 {
2564     dVAR;
2565     register char *s;
2566
2567     if (!sv) {
2568         if (lp)
2569             *lp = 0;
2570         return (char *)"";
2571     }
2572     if (SvGMAGICAL(sv)) {
2573         if (flags & SV_GMAGIC)
2574             mg_get(sv);
2575         if (SvPOKp(sv)) {
2576             if (lp)
2577                 *lp = SvCUR(sv);
2578             if (flags & SV_MUTABLE_RETURN)
2579                 return SvPVX_mutable(sv);
2580             if (flags & SV_CONST_RETURN)
2581                 return (char *)SvPVX_const(sv);
2582             return SvPVX(sv);
2583         }
2584         if (SvIOKp(sv) || SvNOKp(sv)) {
2585             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2586             STRLEN len;
2587
2588             if (SvIOKp(sv)) {
2589                 len = SvIsUV(sv)
2590                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2591                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2592             } else {
2593                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2594                 len = strlen(tbuf);
2595             }
2596             assert(!SvROK(sv));
2597             {
2598                 dVAR;
2599
2600 #ifdef FIXNEGATIVEZERO
2601                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2602                     tbuf[0] = '0';
2603                     tbuf[1] = 0;
2604                     len = 1;
2605                 }
2606 #endif
2607                 SvUPGRADE(sv, SVt_PV);
2608                 if (lp)
2609                     *lp = len;
2610                 s = SvGROW_mutable(sv, len + 1);
2611                 SvCUR_set(sv, len);
2612                 SvPOKp_on(sv);
2613                 return (char*)memcpy(s, tbuf, len + 1);
2614             }
2615         }
2616         if (SvROK(sv)) {
2617             goto return_rok;
2618         }
2619         assert(SvTYPE(sv) >= SVt_PVMG);
2620         /* This falls through to the report_uninit near the end of the
2621            function. */
2622     } else if (SvTHINKFIRST(sv)) {
2623         if (SvROK(sv)) {
2624         return_rok:
2625             if (SvAMAGIC(sv)) {
2626                 SV *const tmpstr = AMG_CALLun(sv,string);
2627                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2628                     /* Unwrap this:  */
2629                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2630                      */
2631
2632                     char *pv;
2633                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2634                         if (flags & SV_CONST_RETURN) {
2635                             pv = (char *) SvPVX_const(tmpstr);
2636                         } else {
2637                             pv = (flags & SV_MUTABLE_RETURN)
2638                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2639                         }
2640                         if (lp)
2641                             *lp = SvCUR(tmpstr);
2642                     } else {
2643                         pv = sv_2pv_flags(tmpstr, lp, flags);
2644                     }
2645                     if (SvUTF8(tmpstr))
2646                         SvUTF8_on(sv);
2647                     else
2648                         SvUTF8_off(sv);
2649                     return pv;
2650                 }
2651             }
2652             {
2653                 STRLEN len;
2654                 char *retval;
2655                 char *buffer;
2656                 MAGIC *mg;
2657                 const SV *const referent = (SV*)SvRV(sv);
2658
2659                 if (!referent) {
2660                     len = 7;
2661                     retval = buffer = savepvn("NULLREF", len);
2662                 } else if (SvTYPE(referent) == SVt_PVMG
2663                            && ((SvFLAGS(referent) &
2664                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2665                                == (SVs_OBJECT|SVs_SMG))
2666                            && (mg = mg_find(referent, PERL_MAGIC_qr)))
2667                 {
2668                     char *str = NULL;
2669                     I32 haseval = 0;
2670                     U32 flags = 0;
2671                     (str) = CALLREG_AS_STR(mg,lp,&flags,&haseval);
2672                     if (flags & 1)
2673                         SvUTF8_on(sv);
2674                     else
2675                         SvUTF8_off(sv);
2676                     PL_reginterp_cnt += haseval;
2677                     return str;
2678                 } else {
2679                     const char *const typestr = sv_reftype(referent, 0);
2680                     const STRLEN typelen = strlen(typestr);
2681                     UV addr = PTR2UV(referent);
2682                     const char *stashname = NULL;
2683                     STRLEN stashnamelen = 0; /* hush, gcc */
2684                     const char *buffer_end;
2685
2686                     if (SvOBJECT(referent)) {
2687                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2688
2689                         if (name) {
2690                             stashname = HEK_KEY(name);
2691                             stashnamelen = HEK_LEN(name);
2692
2693                             if (HEK_UTF8(name)) {
2694                                 SvUTF8_on(sv);
2695                             } else {
2696                                 SvUTF8_off(sv);
2697                             }
2698                         } else {
2699                             stashname = "__ANON__";
2700                             stashnamelen = 8;
2701                         }
2702                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2703                             + 2 * sizeof(UV) + 2 /* )\0 */;
2704                     } else {
2705                         len = typelen + 3 /* (0x */
2706                             + 2 * sizeof(UV) + 2 /* )\0 */;
2707                     }
2708
2709                     Newx(buffer, len, char);
2710                     buffer_end = retval = buffer + len;
2711
2712                     /* Working backwards  */
2713                     *--retval = '\0';
2714                     *--retval = ')';
2715                     do {
2716                         *--retval = PL_hexdigit[addr & 15];
2717                     } while (addr >>= 4);
2718                     *--retval = 'x';
2719                     *--retval = '0';
2720                     *--retval = '(';
2721
2722                     retval -= typelen;
2723                     memcpy(retval, typestr, typelen);
2724
2725                     if (stashname) {
2726                         *--retval = '=';
2727                         retval -= stashnamelen;
2728                         memcpy(retval, stashname, stashnamelen);
2729                     }
2730                     /* retval may not neccesarily have reached the start of the
2731                        buffer here.  */
2732                     assert (retval >= buffer);
2733
2734                     len = buffer_end - retval - 1; /* -1 for that \0  */
2735                 }
2736                 if (lp)
2737                     *lp = len;
2738                 SAVEFREEPV(buffer);
2739                 return retval;
2740             }
2741         }
2742         if (SvREADONLY(sv) && !SvOK(sv)) {
2743             if (ckWARN(WARN_UNINITIALIZED))
2744                 report_uninit(sv);
2745             if (lp)
2746                 *lp = 0;
2747             return (char *)"";
2748         }
2749     }
2750     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2751         /* I'm assuming that if both IV and NV are equally valid then
2752            converting the IV is going to be more efficient */
2753         const U32 isUIOK = SvIsUV(sv);
2754         char buf[TYPE_CHARS(UV)];
2755         char *ebuf, *ptr;
2756
2757         if (SvTYPE(sv) < SVt_PVIV)
2758             sv_upgrade(sv, SVt_PVIV);
2759         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2760         /* inlined from sv_setpvn */
2761         SvGROW_mutable(sv, (STRLEN)(ebuf - ptr + 1));
2762         Move(ptr,SvPVX_mutable(sv),ebuf - ptr,char);
2763         SvCUR_set(sv, ebuf - ptr);
2764         s = SvEND(sv);
2765         *s = '\0';
2766     }
2767     else if (SvNOKp(sv)) {
2768         const int olderrno = errno;
2769         if (SvTYPE(sv) < SVt_PVNV)
2770             sv_upgrade(sv, SVt_PVNV);
2771         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2772         s = SvGROW_mutable(sv, NV_DIG + 20);
2773         /* some Xenix systems wipe out errno here */
2774 #ifdef apollo
2775         if (SvNVX(sv) == 0.0)
2776             my_strlcpy(s, "0", SvLEN(sv));
2777         else
2778 #endif /*apollo*/
2779         {
2780             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2781         }
2782         errno = olderrno;
2783 #ifdef FIXNEGATIVEZERO
2784         if (*s == '-' && s[1] == '0' && !s[2])
2785             my_strlcpy(s, "0", SvLEN(s));
2786 #endif
2787         while (*s) s++;
2788 #ifdef hcx
2789         if (s[-1] == '.')
2790             *--s = '\0';
2791 #endif
2792     }
2793     else {
2794         if (isGV_with_GP(sv))
2795             return glob_2pv((GV *)sv, lp);
2796
2797         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2798             report_uninit(sv);
2799         if (lp)
2800             *lp = 0;
2801         if (SvTYPE(sv) < SVt_PV)
2802             /* Typically the caller expects that sv_any is not NULL now.  */
2803             sv_upgrade(sv, SVt_PV);
2804         return (char *)"";
2805     }
2806     {
2807         const STRLEN len = s - SvPVX_const(sv);
2808         if (lp) 
2809             *lp = len;
2810         SvCUR_set(sv, len);
2811     }
2812     SvPOK_on(sv);
2813     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2814                           PTR2UV(sv),SvPVX_const(sv)));
2815     if (flags & SV_CONST_RETURN)
2816         return (char *)SvPVX_const(sv);
2817     if (flags & SV_MUTABLE_RETURN)
2818         return SvPVX_mutable(sv);
2819     return SvPVX(sv);
2820 }
2821
2822 /*
2823 =for apidoc sv_copypv
2824
2825 Copies a stringified representation of the source SV into the
2826 destination SV.  Automatically performs any necessary mg_get and
2827 coercion of numeric values into strings.  Guaranteed to preserve
2828 UTF-8 flag even from overloaded objects.  Similar in nature to
2829 sv_2pv[_flags] but operates directly on an SV instead of just the
2830 string.  Mostly uses sv_2pv_flags to do its work, except when that
2831 would lose the UTF-8'ness of the PV.
2832
2833 =cut
2834 */
2835
2836 void
2837 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2838 {
2839     STRLEN len;
2840     const char * const s = SvPV_const(ssv,len);
2841     sv_setpvn(dsv,s,len);
2842     if (SvUTF8(ssv))
2843         SvUTF8_on(dsv);
2844     else
2845         SvUTF8_off(dsv);
2846 }
2847
2848 /*
2849 =for apidoc sv_2pvbyte
2850
2851 Return a pointer to the byte-encoded representation of the SV, and set *lp
2852 to its length.  May cause the SV to be downgraded from UTF-8 as a
2853 side-effect.
2854
2855 Usually accessed via the C<SvPVbyte> macro.
2856
2857 =cut
2858 */
2859
2860 char *
2861 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2862 {
2863     sv_utf8_downgrade(sv,0);
2864     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2865 }
2866
2867 /*
2868 =for apidoc sv_2pvutf8
2869
2870 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2871 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2872
2873 Usually accessed via the C<SvPVutf8> macro.
2874
2875 =cut
2876 */
2877
2878 char *
2879 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2880 {
2881     sv_utf8_upgrade(sv);
2882     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2883 }
2884
2885
2886 /*
2887 =for apidoc sv_2bool
2888
2889 This function is only called on magical items, and is only used by
2890 sv_true() or its macro equivalent.
2891
2892 =cut
2893 */
2894
2895 bool
2896 Perl_sv_2bool(pTHX_ register SV *sv)
2897 {
2898     dVAR;
2899     SvGETMAGIC(sv);
2900
2901     if (!SvOK(sv))
2902         return 0;
2903     if (SvROK(sv)) {
2904         if (SvAMAGIC(sv)) {
2905             SV * const tmpsv = AMG_CALLun(sv,bool_);
2906             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2907                 return (bool)SvTRUE(tmpsv);
2908         }
2909         return SvRV(sv) != 0;
2910     }
2911     if (SvPOKp(sv)) {
2912         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2913         if (Xpvtmp &&
2914                 (*sv->sv_u.svu_pv > '0' ||
2915                 Xpvtmp->xpv_cur > 1 ||
2916                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2917             return 1;
2918         else
2919             return 0;
2920     }
2921     else {
2922         if (SvIOKp(sv))
2923             return SvIVX(sv) != 0;
2924         else {
2925             if (SvNOKp(sv))
2926                 return SvNVX(sv) != 0.0;
2927             else {
2928                 if (isGV_with_GP(sv))
2929                     return TRUE;
2930                 else
2931                     return FALSE;
2932             }
2933         }
2934     }
2935 }
2936
2937 /*
2938 =for apidoc sv_utf8_upgrade
2939
2940 Converts the PV of an SV to its UTF-8-encoded form.
2941 Forces the SV to string form if it is not already.
2942 Always sets the SvUTF8 flag to avoid future validity checks even
2943 if all the bytes have hibit clear.
2944
2945 This is not as a general purpose byte encoding to Unicode interface:
2946 use the Encode extension for that.
2947
2948 =for apidoc sv_utf8_upgrade_flags
2949
2950 Converts the PV of an SV to its UTF-8-encoded form.
2951 Forces the SV to string form if it is not already.
2952 Always sets the SvUTF8 flag to avoid future validity checks even
2953 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2954 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2955 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2956
2957 This is not as a general purpose byte encoding to Unicode interface:
2958 use the Encode extension for that.
2959
2960 =cut
2961 */
2962
2963 STRLEN
2964 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2965 {
2966     dVAR;
2967     if (sv == &PL_sv_undef)
2968         return 0;
2969     if (!SvPOK(sv)) {
2970         STRLEN len = 0;
2971         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2972             (void) sv_2pv_flags(sv,&len, flags);
2973             if (SvUTF8(sv))
2974                 return len;
2975         } else {
2976             (void) SvPV_force(sv,len);
2977         }
2978     }
2979
2980     if (SvUTF8(sv)) {
2981         return SvCUR(sv);
2982     }
2983
2984     if (SvIsCOW(sv)) {
2985         sv_force_normal_flags(sv, 0);
2986     }
2987
2988     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2989         sv_recode_to_utf8(sv, PL_encoding);
2990     else { /* Assume Latin-1/EBCDIC */
2991         /* This function could be much more efficient if we
2992          * had a FLAG in SVs to signal if there are any hibit
2993          * chars in the PV.  Given that there isn't such a flag
2994          * make the loop as fast as possible. */
2995         const U8 * const s = (U8 *) SvPVX_const(sv);
2996         const U8 * const e = (U8 *) SvEND(sv);
2997         const U8 *t = s;
2998         
2999         while (t < e) {
3000             const U8 ch = *t++;
3001             /* Check for hi bit */
3002             if (!NATIVE_IS_INVARIANT(ch)) {
3003                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
3004                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
3005
3006                 SvPV_free(sv); /* No longer using what was there before. */
3007                 SvPV_set(sv, (char*)recoded);
3008                 SvCUR_set(sv, len - 1);
3009                 SvLEN_set(sv, len); /* No longer know the real size. */
3010                 break;
3011             }
3012         }
3013         /* Mark as UTF-8 even if no hibit - saves scanning loop */
3014         SvUTF8_on(sv);
3015     }
3016     return SvCUR(sv);
3017 }
3018
3019 /*
3020 =for apidoc sv_utf8_downgrade
3021
3022 Attempts to convert the PV of an SV from characters to bytes.
3023 If the PV contains a character beyond byte, this conversion will fail;
3024 in this case, either returns false or, if C<fail_ok> is not
3025 true, croaks.
3026
3027 This is not as a general purpose Unicode to byte encoding interface:
3028 use the Encode extension for that.
3029
3030 =cut
3031 */
3032
3033 bool
3034 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
3035 {
3036     dVAR;
3037     if (SvPOKp(sv) && SvUTF8(sv)) {
3038         if (SvCUR(sv)) {
3039             U8 *s;
3040             STRLEN len;
3041
3042             if (SvIsCOW(sv)) {
3043                 sv_force_normal_flags(sv, 0);
3044             }
3045             s = (U8 *) SvPV(sv, len);
3046             if (!utf8_to_bytes(s, &len)) {
3047                 if (fail_ok)
3048                     return FALSE;
3049                 else {
3050                     if (PL_op)
3051                         Perl_croak(aTHX_ "Wide character in %s",
3052                                    OP_DESC(PL_op));
3053                     else
3054                         Perl_croak(aTHX_ "Wide character");
3055                 }
3056             }
3057             SvCUR_set(sv, len);
3058         }
3059     }
3060     SvUTF8_off(sv);
3061     return TRUE;
3062 }
3063
3064 /*
3065 =for apidoc sv_utf8_encode
3066
3067 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3068 flag off so that it looks like octets again.
3069
3070 =cut
3071 */
3072
3073 void
3074 Perl_sv_utf8_encode(pTHX_ register SV *sv)
3075 {
3076     if (SvIsCOW(sv)) {
3077         sv_force_normal_flags(sv, 0);
3078     }
3079     if (SvREADONLY(sv)) {
3080         Perl_croak(aTHX_ PL_no_modify);
3081     }
3082     (void) sv_utf8_upgrade(sv);
3083     SvUTF8_off(sv);
3084 }
3085
3086 /*
3087 =for apidoc sv_utf8_decode
3088
3089 If the PV of the SV is an octet sequence in UTF-8
3090 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3091 so that it looks like a character. If the PV contains only single-byte
3092 characters, the C<SvUTF8> flag stays being off.
3093 Scans PV for validity and returns false if the PV is invalid UTF-8.
3094
3095 =cut
3096 */
3097
3098 bool
3099 Perl_sv_utf8_decode(pTHX_ register SV *sv)
3100 {
3101     if (SvPOKp(sv)) {
3102         const U8 *c;
3103         const U8 *e;
3104
3105         /* The octets may have got themselves encoded - get them back as
3106          * bytes
3107          */
3108         if (!sv_utf8_downgrade(sv, TRUE))
3109             return FALSE;
3110
3111         /* it is actually just a matter of turning the utf8 flag on, but
3112          * we want to make sure everything inside is valid utf8 first.
3113          */
3114         c = (const U8 *) SvPVX_const(sv);
3115         if (!is_utf8_string(c, SvCUR(sv)+1))
3116             return FALSE;
3117         e = (const U8 *) SvEND(sv);
3118         while (c < e) {
3119             const U8 ch = *c++;
3120             if (!UTF8_IS_INVARIANT(ch)) {
3121                 SvUTF8_on(sv);
3122                 break;
3123             }
3124         }
3125     }
3126     return TRUE;
3127 }
3128
3129 /*
3130 =for apidoc sv_setsv
3131
3132 Copies the contents of the source SV C<ssv> into the destination SV
3133 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3134 function if the source SV needs to be reused. Does not handle 'set' magic.
3135 Loosely speaking, it performs a copy-by-value, obliterating any previous
3136 content of the destination.
3137
3138 You probably want to use one of the assortment of wrappers, such as
3139 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3140 C<SvSetMagicSV_nosteal>.
3141
3142 =for apidoc sv_setsv_flags
3143
3144 Copies the contents of the source SV C<ssv> into the destination SV
3145 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3146 function if the source SV needs to be reused. Does not handle 'set' magic.
3147 Loosely speaking, it performs a copy-by-value, obliterating any previous
3148 content of the destination.
3149 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3150 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3151 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3152 and C<sv_setsv_nomg> are implemented in terms of this function.
3153
3154 You probably want to use one of the assortment of wrappers, such as
3155 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3156 C<SvSetMagicSV_nosteal>.
3157
3158 This is the primary function for copying scalars, and most other
3159 copy-ish functions and macros use this underneath.
3160
3161 =cut
3162 */
3163
3164 static void
3165 S_glob_assign_glob(pTHX_ SV *dstr, SV *sstr, const int dtype)
3166 {
3167     if (dtype != SVt_PVGV) {
3168         const char * const name = GvNAME(sstr);
3169         const STRLEN len = GvNAMELEN(sstr);
3170         /* don't upgrade SVt_PVLV: it can hold a glob */
3171         if (dtype != SVt_PVLV) {
3172             if (dtype >= SVt_PV) {
3173                 SvPV_free(dstr);
3174                 SvPV_set(dstr, 0);
3175                 SvLEN_set(dstr, 0);
3176                 SvCUR_set(dstr, 0);
3177             }
3178             sv_upgrade(dstr, SVt_PVGV);
3179             (void)SvOK_off(dstr);
3180             SvSCREAM_on(dstr);
3181         }
3182         GvSTASH(dstr) = GvSTASH(sstr);
3183         if (GvSTASH(dstr))
3184             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3185         gv_name_set((GV *)dstr, name, len, GV_ADD);
3186         SvFAKE_on(dstr);        /* can coerce to non-glob */
3187     }
3188
3189 #ifdef GV_UNIQUE_CHECK
3190     if (GvUNIQUE((GV*)dstr)) {
3191         Perl_croak(aTHX_ PL_no_modify);
3192     }
3193 #endif
3194
3195     gp_free((GV*)dstr);
3196     SvSCREAM_off(dstr);
3197     (void)SvOK_off(dstr);
3198     SvSCREAM_on(dstr);
3199     GvINTRO_off(dstr);          /* one-shot flag */
3200     GvGP(dstr) = gp_ref(GvGP(sstr));
3201     if (SvTAINTED(sstr))
3202         SvTAINT(dstr);
3203     if (GvIMPORTED(dstr) != GVf_IMPORTED
3204         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3205         {
3206             GvIMPORTED_on(dstr);
3207         }
3208     GvMULTI_on(dstr);
3209     return;
3210 }
3211
3212 static void
3213 S_glob_assign_ref(pTHX_ SV *dstr, SV *sstr) {
3214     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3215     SV *dref = NULL;
3216     const int intro = GvINTRO(dstr);
3217     SV **location;
3218     U8 import_flag = 0;
3219     const U32 stype = SvTYPE(sref);
3220
3221
3222 #ifdef GV_UNIQUE_CHECK
3223     if (GvUNIQUE((GV*)dstr)) {
3224         Perl_croak(aTHX_ PL_no_modify);
3225     }
3226 #endif
3227
3228     if (intro) {
3229         GvINTRO_off(dstr);      /* one-shot flag */
3230         GvLINE(dstr) = CopLINE(PL_curcop);
3231         GvEGV(dstr) = (GV*)dstr;
3232     }
3233     GvMULTI_on(dstr);
3234     switch (stype) {
3235     case SVt_PVCV:
3236         location = (SV **) &GvCV(dstr);
3237         import_flag = GVf_IMPORTED_CV;
3238         goto common;
3239     case SVt_PVHV:
3240         location = (SV **) &GvHV(dstr);
3241         import_flag = GVf_IMPORTED_HV;
3242         goto common;
3243     case SVt_PVAV:
3244         location = (SV **) &GvAV(dstr);
3245         import_flag = GVf_IMPORTED_AV;
3246         goto common;
3247     case SVt_PVIO:
3248         location = (SV **) &GvIOp(dstr);
3249         goto common;
3250     case SVt_PVFM:
3251         location = (SV **) &GvFORM(dstr);
3252     default:
3253         location = &GvSV(dstr);
3254         import_flag = GVf_IMPORTED_SV;
3255     common:
3256         if (intro) {
3257             if (stype == SVt_PVCV) {
3258                 if (GvCVGEN(dstr) && GvCV(dstr) != (CV*)sref) {
3259                     SvREFCNT_dec(GvCV(dstr));
3260                     GvCV(dstr) = NULL;
3261                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3262                     PL_sub_generation++;
3263                 }
3264             }
3265             SAVEGENERICSV(*location);
3266         }
3267         else
3268             dref = *location;
3269         if (stype == SVt_PVCV && *location != sref) {
3270             CV* const cv = (CV*)*location;
3271             if (cv) {
3272                 if (!GvCVGEN((GV*)dstr) &&
3273                     (CvROOT(cv) || CvXSUB(cv)))
3274                     {
3275                         /* Redefining a sub - warning is mandatory if
3276                            it was a const and its value changed. */
3277                         if (CvCONST(cv) && CvCONST((CV*)sref)
3278                             && cv_const_sv(cv) == cv_const_sv((CV*)sref)) {
3279                             NOOP;
3280                             /* They are 2 constant subroutines generated from
3281                                the same constant. This probably means that
3282                                they are really the "same" proxy subroutine
3283                                instantiated in 2 places. Most likely this is
3284                                when a constant is exported twice.  Don't warn.
3285                             */
3286                         }
3287                         else if (ckWARN(WARN_REDEFINE)
3288                                  || (CvCONST(cv)
3289                                      && (!CvCONST((CV*)sref)
3290                                          || sv_cmp(cv_const_sv(cv),
3291                                                    cv_const_sv((CV*)sref))))) {
3292                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3293                                         (const char *)
3294                                         (CvCONST(cv)
3295                                          ? "Constant subroutine %s::%s redefined"
3296                                          : "Subroutine %s::%s redefined"),
3297                                         HvNAME_get(GvSTASH((GV*)dstr)),
3298                                         GvENAME((GV*)dstr));
3299                         }
3300                     }
3301                 if (!intro)
3302                     cv_ckproto_len(cv, (GV*)dstr,
3303                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3304                                    SvPOK(sref) ? SvCUR(sref) : 0);
3305             }
3306             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3307             GvASSUMECV_on(dstr);
3308             PL_sub_generation++;
3309         }
3310         *location = sref;
3311         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3312             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3313             GvFLAGS(dstr) |= import_flag;
3314         }
3315         break;
3316     }
3317     SvREFCNT_dec(dref);
3318     if (SvTAINTED(sstr))
3319         SvTAINT(dstr);
3320     return;
3321 }
3322
3323 void
3324 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3325 {
3326     dVAR;
3327     register U32 sflags;
3328     register int dtype;
3329     register svtype stype;
3330
3331     if (sstr == dstr)
3332         return;
3333
3334     if (SvIS_FREED(dstr)) {
3335         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3336                    " to a freed scalar %p", sstr, dstr);
3337     }
3338     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3339     if (!sstr)
3340         sstr = &PL_sv_undef;
3341     if (SvIS_FREED(sstr)) {
3342         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p", sstr,
3343                    dstr);
3344     }
3345     stype = SvTYPE(sstr);
3346     dtype = SvTYPE(dstr);
3347
3348     SvAMAGIC_off(dstr);
3349     if ( SvVOK(dstr) )
3350     {
3351         /* need to nuke the magic */
3352         mg_free(dstr);
3353         SvRMAGICAL_off(dstr);
3354     }
3355
3356     /* There's a lot of redundancy below but we're going for speed here */
3357
3358     switch (stype) {
3359     case SVt_NULL:
3360       undef_sstr:
3361         if (dtype != SVt_PVGV) {
3362             (void)SvOK_off(dstr);
3363             return;
3364         }
3365         break;
3366     case SVt_IV:
3367         if (SvIOK(sstr)) {
3368             switch (dtype) {
3369             case SVt_NULL:
3370                 sv_upgrade(dstr, SVt_IV);
3371                 break;
3372             case SVt_NV:
3373             case SVt_RV:
3374             case SVt_PV:
3375                 sv_upgrade(dstr, SVt_PVIV);
3376                 break;
3377             case SVt_PVGV:
3378                 goto end_of_first_switch;
3379             }
3380             (void)SvIOK_only(dstr);
3381             SvIV_set(dstr,  SvIVX(sstr));
3382             if (SvIsUV(sstr))
3383                 SvIsUV_on(dstr);
3384             /* SvTAINTED can only be true if the SV has taint magic, which in
3385                turn means that the SV type is PVMG (or greater). This is the
3386                case statement for SVt_IV, so this cannot be true (whatever gcov
3387                may say).  */
3388             assert(!SvTAINTED(sstr));
3389             return;
3390         }
3391         goto undef_sstr;
3392
3393     case SVt_NV:
3394         if (SvNOK(sstr)) {
3395             switch (dtype) {
3396             case SVt_NULL:
3397             case SVt_IV:
3398                 sv_upgrade(dstr, SVt_NV);
3399                 break;
3400             case SVt_RV:
3401             case SVt_PV:
3402             case SVt_PVIV:
3403                 sv_upgrade(dstr, SVt_PVNV);
3404                 break;
3405             case SVt_PVGV:
3406                 goto end_of_first_switch;
3407             }
3408             SvNV_set(dstr, SvNVX(sstr));
3409             (void)SvNOK_only(dstr);
3410             /* SvTAINTED can only be true if the SV has taint magic, which in
3411                turn means that the SV type is PVMG (or greater). This is the
3412                case statement for SVt_NV, so this cannot be true (whatever gcov
3413                may say).  */
3414             assert(!SvTAINTED(sstr));
3415             return;
3416         }
3417         goto undef_sstr;
3418
3419     case SVt_RV:
3420         if (dtype < SVt_RV)
3421             sv_upgrade(dstr, SVt_RV);
3422         break;
3423     case SVt_PVFM:
3424 #ifdef PERL_OLD_COPY_ON_WRITE
3425         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3426             if (dtype < SVt_PVIV)
3427                 sv_upgrade(dstr, SVt_PVIV);
3428             break;
3429         }
3430         /* Fall through */
3431 #endif
3432     case SVt_PV:
3433         if (dtype < SVt_PV)
3434             sv_upgrade(dstr, SVt_PV);
3435         break;
3436     case SVt_PVIV:
3437         if (dtype < SVt_PVIV)
3438             sv_upgrade(dstr, SVt_PVIV);
3439         break;
3440     case SVt_PVNV:
3441         if (dtype < SVt_PVNV)
3442             sv_upgrade(dstr, SVt_PVNV);
3443         break;
3444     default:
3445         {
3446         const char * const type = sv_reftype(sstr,0);
3447         if (PL_op)
3448             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3449         else
3450             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3451         }
3452         break;
3453
3454         /* case SVt_BIND: */
3455     case SVt_PVGV:
3456         if (isGV_with_GP(sstr) && dtype <= SVt_PVGV) {
3457             glob_assign_glob(dstr, sstr, dtype);
3458             return;
3459         }
3460         /* SvVALID means that this PVGV is playing at being an FBM.  */
3461         /*FALLTHROUGH*/
3462
3463     case SVt_PVMG:
3464     case SVt_PVLV:
3465         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3466             mg_get(sstr);
3467             if (SvTYPE(sstr) != stype) {
3468                 stype = SvTYPE(sstr);
3469                 if (isGV_with_GP(sstr) && stype == SVt_PVGV && dtype <= SVt_PVGV) {
3470                     glob_assign_glob(dstr, sstr, dtype);
3471                     return;
3472                 }
3473             }
3474         }
3475         if (stype == SVt_PVLV)
3476             SvUPGRADE(dstr, SVt_PVNV);
3477         else
3478             SvUPGRADE(dstr, (svtype)stype);
3479     }
3480  end_of_first_switch:
3481
3482     /* dstr may have been upgraded.  */
3483     dtype = SvTYPE(dstr);
3484     sflags = SvFLAGS(sstr);
3485
3486     if (dtype == SVt_PVCV) {
3487         /* Assigning to a subroutine sets the prototype.  */
3488         if (SvOK(sstr)) {
3489             STRLEN len;
3490             const char *const ptr = SvPV_const(sstr, len);
3491
3492             SvGROW(dstr, len + 1);
3493             Copy(ptr, SvPVX(dstr), len + 1, char);
3494             SvCUR_set(dstr, len);
3495             SvPOK_only(dstr);
3496         } else {
3497             SvOK_off(dstr);
3498         }
3499     } else if (sflags & SVf_ROK) {
3500         if (isGV_with_GP(dstr) && dtype == SVt_PVGV
3501             && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3502             sstr = SvRV(sstr);
3503             if (sstr == dstr) {
3504                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3505                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3506                 {
3507                     GvIMPORTED_on(dstr);
3508                 }
3509                 GvMULTI_on(dstr);
3510                 return;
3511             }
3512             glob_assign_glob(dstr, sstr, dtype);
3513             return;
3514         }
3515
3516         if (dtype >= SVt_PV) {
3517             if (dtype == SVt_PVGV) {
3518                 glob_assign_ref(dstr, sstr);
3519                 return;
3520             }
3521             if (SvPVX_const(dstr)) {
3522                 SvPV_free(dstr);
3523                 SvLEN_set(dstr, 0);
3524                 SvCUR_set(dstr, 0);
3525             }
3526         }
3527         (void)SvOK_off(dstr);
3528         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3529         SvFLAGS(dstr) |= sflags & SVf_ROK;
3530         assert(!(sflags & SVp_NOK));
3531         assert(!(sflags & SVp_IOK));
3532         assert(!(sflags & SVf_NOK));
3533         assert(!(sflags & SVf_IOK));
3534     }
3535     else if (dtype == SVt_PVGV && isGV_with_GP(dstr)) {
3536         if (!(sflags & SVf_OK)) {
3537             if (ckWARN(WARN_MISC))
3538                 Perl_warner(aTHX_ packWARN(WARN_MISC),
3539                             "Undefined value assigned to typeglob");
3540         }
3541         else {
3542             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
3543             if (dstr != (SV*)gv) {
3544                 if (GvGP(dstr))
3545                     gp_free((GV*)dstr);
3546                 GvGP(dstr) = gp_ref(GvGP(gv));
3547             }
3548         }
3549     }
3550     else if (sflags & SVp_POK) {
3551         bool isSwipe = 0;
3552
3553         /*
3554          * Check to see if we can just swipe the string.  If so, it's a
3555          * possible small lose on short strings, but a big win on long ones.
3556          * It might even be a win on short strings if SvPVX_const(dstr)
3557          * has to be allocated and SvPVX_const(sstr) has to be freed.
3558          * Likewise if we can set up COW rather than doing an actual copy, we
3559          * drop to the else clause, as the swipe code and the COW setup code
3560          * have much in common.
3561          */
3562
3563         /* Whichever path we take through the next code, we want this true,
3564            and doing it now facilitates the COW check.  */
3565         (void)SvPOK_only(dstr);
3566
3567         if (
3568             /* If we're already COW then this clause is not true, and if COW
3569                is allowed then we drop down to the else and make dest COW 
3570                with us.  If caller hasn't said that we're allowed to COW
3571                shared hash keys then we don't do the COW setup, even if the
3572                source scalar is a shared hash key scalar.  */
3573             (((flags & SV_COW_SHARED_HASH_KEYS)
3574                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
3575                : 1 /* If making a COW copy is forbidden then the behaviour we
3576                        desire is as if the source SV isn't actually already
3577                        COW, even if it is.  So we act as if the source flags
3578                        are not COW, rather than actually testing them.  */
3579               )
3580 #ifndef PERL_OLD_COPY_ON_WRITE
3581              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
3582                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
3583                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
3584                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
3585                 but in turn, it's somewhat dead code, never expected to go
3586                 live, but more kept as a placeholder on how to do it better
3587                 in a newer implementation.  */
3588              /* If we are COW and dstr is a suitable target then we drop down
3589                 into the else and make dest a COW of us.  */
3590              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3591 #endif
3592              )
3593             &&
3594             !(isSwipe =
3595                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3596                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3597                  (!(flags & SV_NOSTEAL)) &&
3598                                         /* and we're allowed to steal temps */
3599                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3600                  SvLEN(sstr)    &&        /* and really is a string */
3601                                 /* and won't be needed again, potentially */
3602               !(PL_op && PL_op->op_type == OP_AASSIGN))
3603 #ifdef PERL_OLD_COPY_ON_WRITE
3604             && !((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3605                  && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3606                  && SvTYPE(sstr) >= SVt_PVIV)
3607 #endif
3608             ) {
3609             /* Failed the swipe test, and it's not a shared hash key either.
3610                Have to copy the string.  */
3611             STRLEN len = SvCUR(sstr);
3612             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3613             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3614             SvCUR_set(dstr, len);
3615             *SvEND(dstr) = '\0';
3616         } else {
3617             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3618                be true in here.  */
3619             /* Either it's a shared hash key, or it's suitable for
3620                copy-on-write or we can swipe the string.  */
3621             if (DEBUG_C_TEST) {
3622                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3623                 sv_dump(sstr);
3624                 sv_dump(dstr);
3625             }
3626 #ifdef PERL_OLD_COPY_ON_WRITE
3627             if (!isSwipe) {
3628                 /* I believe I should acquire a global SV mutex if
3629                    it's a COW sv (not a shared hash key) to stop
3630                    it going un copy-on-write.
3631                    If the source SV has gone un copy on write between up there
3632                    and down here, then (assert() that) it is of the correct
3633                    form to make it copy on write again */
3634                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3635                     != (SVf_FAKE | SVf_READONLY)) {
3636                     SvREADONLY_on(sstr);
3637                     SvFAKE_on(sstr);
3638                     /* Make the source SV into a loop of 1.
3639                        (about to become 2) */
3640                     SV_COW_NEXT_SV_SET(sstr, sstr);
3641                 }
3642             }
3643 #endif
3644             /* Initial code is common.  */
3645             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3646                 SvPV_free(dstr);
3647             }
3648
3649             if (!isSwipe) {
3650                 /* making another shared SV.  */
3651                 STRLEN cur = SvCUR(sstr);
3652                 STRLEN len = SvLEN(sstr);
3653 #ifdef PERL_OLD_COPY_ON_WRITE
3654                 if (len) {
3655                     assert (SvTYPE(dstr) >= SVt_PVIV);
3656                     /* SvIsCOW_normal */
3657                     /* splice us in between source and next-after-source.  */
3658                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3659                     SV_COW_NEXT_SV_SET(sstr, dstr);
3660                     SvPV_set(dstr, SvPVX_mutable(sstr));
3661                 } else
3662 #endif
3663                 {
3664                     /* SvIsCOW_shared_hash */
3665                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3666                                           "Copy on write: Sharing hash\n"));
3667
3668                     assert (SvTYPE(dstr) >= SVt_PV);
3669                     SvPV_set(dstr,
3670                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3671                 }
3672                 SvLEN_set(dstr, len);
3673                 SvCUR_set(dstr, cur);
3674                 SvREADONLY_on(dstr);
3675                 SvFAKE_on(dstr);
3676                 /* Relesase a global SV mutex.  */
3677             }
3678             else
3679                 {       /* Passes the swipe test.  */
3680                 SvPV_set(dstr, SvPVX_mutable(sstr));
3681                 SvLEN_set(dstr, SvLEN(sstr));
3682                 SvCUR_set(dstr, SvCUR(sstr));
3683
3684                 SvTEMP_off(dstr);
3685                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3686                 SvPV_set(sstr, NULL);
3687                 SvLEN_set(sstr, 0);
3688                 SvCUR_set(sstr, 0);
3689                 SvTEMP_off(sstr);
3690             }
3691         }
3692         if (sflags & SVp_NOK) {
3693             SvNV_set(dstr, SvNVX(sstr));
3694         }
3695         if (sflags & SVp_IOK) {
3696             SvRELEASE_IVX(dstr);
3697             SvIV_set(dstr, SvIVX(sstr));
3698             /* Must do this otherwise some other overloaded use of 0x80000000
3699                gets confused. I guess SVpbm_VALID */
3700             if (sflags & SVf_IVisUV)
3701                 SvIsUV_on(dstr);
3702         }
3703         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
3704         {
3705             const MAGIC * const smg = SvVSTRING_mg(sstr);
3706             if (smg) {
3707                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3708                          smg->mg_ptr, smg->mg_len);
3709                 SvRMAGICAL_on(dstr);
3710             }
3711         }
3712     }
3713     else if (sflags & (SVp_IOK|SVp_NOK)) {
3714         (void)SvOK_off(dstr);
3715         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3716         if (sflags & SVp_IOK) {
3717             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3718             SvIV_set(dstr, SvIVX(sstr));
3719         }
3720         if (sflags & SVp_NOK) {
3721             SvNV_set(dstr, SvNVX(sstr));
3722         }
3723     }
3724     else {
3725         if (isGV_with_GP(sstr)) {
3726             /* This stringification rule for globs is spread in 3 places.
3727                This feels bad. FIXME.  */
3728             const U32 wasfake = sflags & SVf_FAKE;
3729
3730             /* FAKE globs can get coerced, so need to turn this off
3731                temporarily if it is on.  */
3732             SvFAKE_off(sstr);
3733             gv_efullname3(dstr, (GV *)sstr, "*");
3734             SvFLAGS(sstr) |= wasfake;
3735         }
3736         else
3737             (void)SvOK_off(dstr);
3738     }
3739     if (SvTAINTED(sstr))
3740         SvTAINT(dstr);
3741 }
3742
3743 /*
3744 =for apidoc sv_setsv_mg
3745
3746 Like C<sv_setsv>, but also handles 'set' magic.
3747
3748 =cut
3749 */
3750
3751 void
3752 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3753 {
3754     sv_setsv(dstr,sstr);
3755     SvSETMAGIC(dstr);
3756 }
3757
3758 #ifdef PERL_OLD_COPY_ON_WRITE
3759 SV *
3760 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3761 {
3762     STRLEN cur = SvCUR(sstr);
3763     STRLEN len = SvLEN(sstr);
3764     register char *new_pv;
3765
3766     if (DEBUG_C_TEST) {
3767         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3768                       sstr, dstr);
3769         sv_dump(sstr);
3770         if (dstr)
3771                     sv_dump(dstr);
3772     }
3773
3774     if (dstr) {
3775         if (SvTHINKFIRST(dstr))
3776             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3777         else if (SvPVX_const(dstr))
3778             Safefree(SvPVX_const(dstr));
3779     }
3780     else
3781         new_SV(dstr);
3782     SvUPGRADE(dstr, SVt_PVIV);
3783
3784     assert (SvPOK(sstr));
3785     assert (SvPOKp(sstr));
3786     assert (!SvIOK(sstr));
3787     assert (!SvIOKp(sstr));
3788     assert (!SvNOK(sstr));
3789     assert (!SvNOKp(sstr));
3790
3791     if (SvIsCOW(sstr)) {
3792
3793         if (SvLEN(sstr) == 0) {
3794             /* source is a COW shared hash key.  */
3795             DEBUG_C(PerlIO_printf(Perl_debug_log,
3796                                   "Fast copy on write: Sharing hash\n"));
3797             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3798             goto common_exit;
3799         }
3800         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3801     } else {
3802         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3803         SvUPGRADE(sstr, SVt_PVIV);
3804         SvREADONLY_on(sstr);
3805         SvFAKE_on(sstr);
3806         DEBUG_C(PerlIO_printf(Perl_debug_log,
3807                               "Fast copy on write: Converting sstr to COW\n"));
3808         SV_COW_NEXT_SV_SET(dstr, sstr);
3809     }
3810     SV_COW_NEXT_SV_SET(sstr, dstr);
3811     new_pv = SvPVX_mutable(sstr);
3812
3813   common_exit:
3814     SvPV_set(dstr, new_pv);
3815     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3816     if (SvUTF8(sstr))
3817         SvUTF8_on(dstr);
3818     SvLEN_set(dstr, len);
3819     SvCUR_set(dstr, cur);
3820     if (DEBUG_C_TEST) {
3821         sv_dump(dstr);
3822     }
3823     return dstr;
3824 }
3825 #endif
3826
3827 /*
3828 =for apidoc sv_setpvn
3829
3830 Copies a string into an SV.  The C<len> parameter indicates the number of
3831 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3832 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3833
3834 =cut
3835 */
3836
3837 void
3838 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3839 {
3840     dVAR;
3841     register char *dptr;
3842
3843     SV_CHECK_THINKFIRST_COW_DROP(sv);
3844     if (!ptr) {
3845         (void)SvOK_off(sv);
3846         return;
3847     }
3848     else {
3849         /* len is STRLEN which is unsigned, need to copy to signed */
3850         const IV iv = len;
3851         if (iv < 0)
3852             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3853     }
3854     SvUPGRADE(sv, SVt_PV);
3855
3856     dptr = SvGROW(sv, len + 1);
3857     Move(ptr,dptr,len,char);
3858     dptr[len] = '\0';
3859     SvCUR_set(sv, len);
3860     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3861     SvTAINT(sv);
3862 }
3863
3864 /*
3865 =for apidoc sv_setpvn_mg
3866
3867 Like C<sv_setpvn>, but also handles 'set' magic.
3868
3869 =cut
3870 */
3871
3872 void
3873 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3874 {
3875     sv_setpvn(sv,ptr,len);
3876     SvSETMAGIC(sv);
3877 }
3878
3879 /*
3880 =for apidoc sv_setpv
3881
3882 Copies a string into an SV.  The string must be null-terminated.  Does not
3883 handle 'set' magic.  See C<sv_setpv_mg>.
3884
3885 =cut
3886 */
3887
3888 void
3889 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3890 {
3891     dVAR;
3892     register STRLEN len;
3893
3894     SV_CHECK_THINKFIRST_COW_DROP(sv);
3895     if (!ptr) {
3896         (void)SvOK_off(sv);
3897         return;
3898     }
3899     len = strlen(ptr);
3900     SvUPGRADE(sv, SVt_PV);
3901
3902     SvGROW(sv, len + 1);
3903     Move(ptr,SvPVX(sv),len+1,char);
3904     SvCUR_set(sv, len);
3905     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3906     SvTAINT(sv);
3907 }
3908
3909 /*
3910 =for apidoc sv_setpv_mg
3911
3912 Like C<sv_setpv>, but also handles 'set' magic.
3913
3914 =cut
3915 */
3916
3917 void
3918 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3919 {
3920     sv_setpv(sv,ptr);
3921     SvSETMAGIC(sv);
3922 }
3923
3924 /*
3925 =for apidoc sv_usepvn_flags
3926
3927 Tells an SV to use C<ptr> to find its string value.  Normally the
3928 string is stored inside the SV but sv_usepvn allows the SV to use an
3929 outside string.  The C<ptr> should point to memory that was allocated
3930 by C<malloc>.  The string length, C<len>, must be supplied.  By default
3931 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
3932 so that pointer should not be freed or used by the programmer after
3933 giving it to sv_usepvn, and neither should any pointers from "behind"
3934 that pointer (e.g. ptr + 1) be used.
3935
3936 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
3937 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
3938 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
3939 C<len>, and already meets the requirements for storing in C<SvPVX>)
3940
3941 =cut
3942 */
3943
3944 void
3945 Perl_sv_usepvn_flags(pTHX_ SV *sv, char *ptr, STRLEN len, U32 flags)
3946 {
3947     dVAR;
3948     STRLEN allocate;
3949     SV_CHECK_THINKFIRST_COW_DROP(sv);
3950     SvUPGRADE(sv, SVt_PV);
3951     if (!ptr) {
3952         (void)SvOK_off(sv);
3953         if (flags & SV_SMAGIC)
3954             SvSETMAGIC(sv);
3955         return;
3956     }
3957     if (SvPVX_const(sv))
3958         SvPV_free(sv);
3959
3960 #ifdef DEBUGGING
3961     if (flags & SV_HAS_TRAILING_NUL)
3962         assert(ptr[len] == '\0');
3963 #endif
3964
3965     allocate = (flags & SV_HAS_TRAILING_NUL)
3966         ? len + 1: PERL_STRLEN_ROUNDUP(len + 1);
3967     if (flags & SV_HAS_TRAILING_NUL) {
3968         /* It's long enough - do nothing.
3969            Specfically Perl_newCONSTSUB is relying on this.  */
3970     } else {
3971 #ifdef DEBUGGING
3972         /* Force a move to shake out bugs in callers.  */
3973         char *new_ptr = (char*)safemalloc(allocate);
3974         Copy(ptr, new_ptr, len, char);
3975         PoisonFree(ptr,len,char);
3976         Safefree(ptr);
3977         ptr = new_ptr;
3978 #else
3979         ptr = (char*) saferealloc (ptr, allocate);
3980 #endif
3981     }
3982     SvPV_set(sv, ptr);
3983     SvCUR_set(sv, len);
3984     SvLEN_set(sv, allocate);
3985     if (!(flags & SV_HAS_TRAILING_NUL)) {
3986         *SvEND(sv) = '\0';
3987     }
3988     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3989     SvTAINT(sv);
3990     if (flags & SV_SMAGIC)
3991         SvSETMAGIC(sv);
3992 }
3993
3994 #ifdef PERL_OLD_COPY_ON_WRITE
3995 /* Need to do this *after* making the SV normal, as we need the buffer
3996    pointer to remain valid until after we've copied it.  If we let go too early,
3997    another thread could invalidate it by unsharing last of the same hash key
3998    (which it can do by means other than releasing copy-on-write Svs)
3999    or by changing the other copy-on-write SVs in the loop.  */
4000 STATIC void
4001 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, STRLEN len, SV *after)
4002 {
4003     if (len) { /* this SV was SvIsCOW_normal(sv) */
4004          /* we need to find the SV pointing to us.  */
4005         SV *current = SV_COW_NEXT_SV(after);
4006
4007         if (current == sv) {
4008             /* The SV we point to points back to us (there were only two of us
4009                in the loop.)
4010                Hence other SV is no longer copy on write either.  */
4011             SvFAKE_off(after);
4012             SvREADONLY_off(after);
4013         } else {
4014             /* We need to follow the pointers around the loop.  */
4015             SV *next;
4016             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4017                 assert (next);
4018                 current = next;
4019                  /* don't loop forever if the structure is bust, and we have
4020                     a pointer into a closed loop.  */
4021                 assert (current != after);
4022                 assert (SvPVX_const(current) == pvx);
4023             }
4024             /* Make the SV before us point to the SV after us.  */
4025             SV_COW_NEXT_SV_SET(current, after);
4026         }
4027     } else {
4028         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4029     }
4030 }
4031
4032 int
4033 Perl_sv_release_IVX(pTHX_ register SV *sv)
4034 {
4035     if (SvIsCOW(sv))
4036         sv_force_normal_flags(sv, 0);
4037     SvOOK_off(sv);
4038     return 0;
4039 }
4040 #endif
4041 /*
4042 =for apidoc sv_force_normal_flags
4043
4044 Undo various types of fakery on an SV: if the PV is a shared string, make
4045 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4046 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4047 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4048 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4049 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4050 set to some other value.) In addition, the C<flags> parameter gets passed to
4051 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
4052 with flags set to 0.
4053
4054 =cut
4055 */
4056
4057 void
4058 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
4059 {
4060     dVAR;
4061 #ifdef PERL_OLD_COPY_ON_WRITE
4062     if (SvREADONLY(sv)) {
4063         /* At this point I believe I should acquire a global SV mutex.  */
4064         if (SvFAKE(sv)) {
4065             const char * const pvx = SvPVX_const(sv);
4066             const STRLEN len = SvLEN(sv);
4067             const STRLEN cur = SvCUR(sv);
4068             SV * const next = SV_COW_NEXT_SV(sv);   /* next COW sv in the loop. */
4069             if (DEBUG_C_TEST) {
4070                 PerlIO_printf(Perl_debug_log,
4071                               "Copy on write: Force normal %ld\n",
4072                               (long) flags);
4073                 sv_dump(sv);
4074             }
4075             SvFAKE_off(sv);
4076             SvREADONLY_off(sv);
4077             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4078             SvPV_set(sv, NULL);
4079             SvLEN_set(sv, 0);
4080             if (flags & SV_COW_DROP_PV) {
4081                 /* OK, so we don't need to copy our buffer.  */
4082                 SvPOK_off(sv);
4083             } else {
4084                 SvGROW(sv, cur + 1);
4085                 Move(pvx,SvPVX(sv),cur,char);
4086                 SvCUR_set(sv, cur);
4087                 *SvEND(sv) = '\0';
4088             }
4089             sv_release_COW(sv, pvx, len, next);
4090             if (DEBUG_C_TEST) {
4091                 sv_dump(sv);
4092             }
4093         }
4094         else if (IN_PERL_RUNTIME)
4095             Perl_croak(aTHX_ PL_no_modify);
4096         /* At this point I believe that I can drop the global SV mutex.  */
4097     }
4098 #else
4099     if (SvREADONLY(sv)) {
4100         if (SvFAKE(sv)) {
4101             const char * const pvx = SvPVX_const(sv);
4102             const STRLEN len = SvCUR(sv);
4103             SvFAKE_off(sv);
4104             SvREADONLY_off(sv);
4105             SvPV_set(sv, NULL);
4106             SvLEN_set(sv, 0);
4107             SvGROW(sv, len + 1);
4108             Move(pvx,SvPVX(sv),len,char);
4109             *SvEND(sv) = '\0';
4110             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4111         }
4112         else if (IN_PERL_RUNTIME)
4113             Perl_croak(aTHX_ PL_no_modify);
4114     }
4115 #endif
4116     if (SvROK(sv))
4117         sv_unref_flags(sv, flags);
4118     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4119         sv_unglob(sv);
4120 }
4121
4122 /*
4123 =for apidoc sv_chop
4124
4125 Efficient removal of characters from the beginning of the string buffer.
4126 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4127 the string buffer.  The C<ptr> becomes the first character of the adjusted
4128 string. Uses the "OOK hack".
4129 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4130 refer to the same chunk of data.
4131
4132 =cut
4133 */
4134
4135 void
4136 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
4137 {
4138     register STRLEN delta;
4139     if (!ptr || !SvPOKp(sv))
4140         return;
4141     delta = ptr - SvPVX_const(sv);
4142     SV_CHECK_THINKFIRST(sv);
4143     if (SvTYPE(sv) < SVt_PVIV)
4144         sv_upgrade(sv,SVt_PVIV);
4145
4146     if (!SvOOK(sv)) {
4147         if (!SvLEN(sv)) { /* make copy of shared string */
4148             const char *pvx = SvPVX_const(sv);
4149             const STRLEN len = SvCUR(sv);
4150             SvGROW(sv, len + 1);
4151             Move(pvx,SvPVX(sv),len,char);
4152             *SvEND(sv) = '\0';
4153         }
4154         SvIV_set(sv, 0);
4155         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
4156            and we do that anyway inside the SvNIOK_off
4157         */
4158         SvFLAGS(sv) |= SVf_OOK;
4159     }
4160     SvNIOK_off(sv);
4161     SvLEN_set(sv, SvLEN(sv) - delta);
4162     SvCUR_set(sv, SvCUR(sv) - delta);
4163     SvPV_set(sv, SvPVX(sv) + delta);
4164     SvIV_set(sv, SvIVX(sv) + delta);
4165 }
4166
4167 /*
4168 =for apidoc sv_catpvn
4169
4170 Concatenates the string onto the end of the string which is in the SV.  The
4171 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4172 status set, then the bytes appended should be valid UTF-8.
4173 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4174
4175 =for apidoc sv_catpvn_flags
4176
4177 Concatenates the string onto the end of the string which is in the SV.  The
4178 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4179 status set, then the bytes appended should be valid UTF-8.
4180 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4181 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4182 in terms of this function.
4183
4184 =cut
4185 */
4186
4187 void
4188 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
4189 {
4190     dVAR;
4191     STRLEN dlen;
4192     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4193
4194     SvGROW(dsv, dlen + slen + 1);
4195     if (sstr == dstr)
4196         sstr = SvPVX_const(dsv);
4197     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4198     SvCUR_set(dsv, SvCUR(dsv) + slen);
4199     *SvEND(dsv) = '\0';
4200     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4201     SvTAINT(dsv);
4202     if (flags & SV_SMAGIC)
4203         SvSETMAGIC(dsv);
4204 }
4205
4206 /*
4207 =for apidoc sv_catsv
4208
4209 Concatenates the string from SV C<ssv> onto the end of the string in
4210 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4211 not 'set' magic.  See C<sv_catsv_mg>.
4212
4213 =for apidoc sv_catsv_flags
4214
4215 Concatenates the string from SV C<ssv> onto the end of the string in
4216 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4217 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4218 and C<sv_catsv_nomg> are implemented in terms of this function.
4219
4220 =cut */
4221
4222 void
4223 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
4224 {
4225     dVAR;
4226     if (ssv) {
4227         STRLEN slen;
4228         const char *spv = SvPV_const(ssv, slen);
4229         if (spv) {
4230             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4231                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4232                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4233                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4234                 dsv->sv_flags doesn't have that bit set.
4235                 Andy Dougherty  12 Oct 2001
4236             */
4237             const I32 sutf8 = DO_UTF8(ssv);
4238             I32 dutf8;
4239
4240             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4241                 mg_get(dsv);
4242             dutf8 = DO_UTF8(dsv);
4243
4244             if (dutf8 != sutf8) {
4245                 if (dutf8) {
4246                     /* Not modifying source SV, so taking a temporary copy. */
4247                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
4248
4249                     sv_utf8_upgrade(csv);
4250                     spv = SvPV_const(csv, slen);
4251                 }
4252                 else
4253                     sv_utf8_upgrade_nomg(dsv);
4254             }
4255             sv_catpvn_nomg(dsv, spv, slen);
4256         }
4257     }
4258     if (flags & SV_SMAGIC)
4259         SvSETMAGIC(dsv);
4260 }
4261
4262 /*
4263 =for apidoc sv_catpv
4264
4265 Concatenates the string onto the end of the string which is in the SV.
4266 If the SV has the UTF-8 status set, then the bytes appended should be
4267 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4268
4269 =cut */
4270
4271 void
4272 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
4273 {
4274     dVAR;
4275     register STRLEN len;
4276     STRLEN tlen;
4277     char *junk;
4278
4279     if (!ptr)
4280         return;
4281     junk = SvPV_force(sv, tlen);
4282     len = strlen(ptr);
4283     SvGROW(sv, tlen + len + 1);
4284     if (ptr == junk)
4285         ptr = SvPVX_const(sv);
4286     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4287     SvCUR_set(sv, SvCUR(sv) + len);
4288     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4289     SvTAINT(sv);
4290 }
4291
4292 /*
4293 =for apidoc sv_catpv_mg
4294
4295 Like C<sv_catpv>, but also handles 'set' magic.
4296
4297 =cut
4298 */
4299
4300 void
4301 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4302 {
4303     sv_catpv(sv,ptr);
4304     SvSETMAGIC(sv);
4305 }
4306
4307 /*
4308 =for apidoc newSV
4309
4310 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4311 bytes of preallocated string space the SV should have.  An extra byte for a
4312 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4313 space is allocated.)  The reference count for the new SV is set to 1.
4314
4315 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4316 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4317 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4318 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4319 modules supporting older perls.
4320
4321 =cut
4322 */
4323
4324 SV *
4325 Perl_newSV(pTHX_ STRLEN len)
4326 {
4327     dVAR;
4328     register SV *sv;
4329
4330     new_SV(sv);
4331     if (len) {
4332         sv_upgrade(sv, SVt_PV);
4333         SvGROW(sv, len + 1);
4334     }
4335     return sv;
4336 }
4337 /*
4338 =for apidoc sv_magicext
4339
4340 Adds magic to an SV, upgrading it if necessary. Applies the
4341 supplied vtable and returns a pointer to the magic added.
4342
4343 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4344 In particular, you can add magic to SvREADONLY SVs, and add more than
4345 one instance of the same 'how'.
4346
4347 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4348 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4349 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4350 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4351
4352 (This is now used as a subroutine by C<sv_magic>.)
4353
4354 =cut
4355 */
4356 MAGIC * 
4357 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, MGVTBL *vtable,
4358                  const char* name, I32 namlen)
4359 {
4360     dVAR;
4361     MAGIC* mg;
4362
4363     if (SvTYPE(sv) < SVt_PVMG) {
4364         SvUPGRADE(sv, SVt_PVMG);
4365     }
4366     Newxz(mg, 1, MAGIC);
4367     mg->mg_moremagic = SvMAGIC(sv);
4368     SvMAGIC_set(sv, mg);
4369
4370     /* Sometimes a magic contains a reference loop, where the sv and
4371        object refer to each other.  To prevent a reference loop that
4372        would prevent such objects being freed, we look for such loops
4373        and if we find one we avoid incrementing the object refcount.
4374
4375        Note we cannot do this to avoid self-tie loops as intervening RV must
4376        have its REFCNT incremented to keep it in existence.
4377
4378     */
4379     if (!obj || obj == sv ||
4380         how == PERL_MAGIC_arylen ||
4381         how == PERL_MAGIC_qr ||
4382         how == PERL_MAGIC_symtab ||
4383         (SvTYPE(obj) == SVt_PVGV &&
4384             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4385             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4386             GvFORM(obj) == (CV*)sv)))
4387     {
4388         mg->mg_obj = obj;
4389     }
4390     else {
4391         mg->mg_obj = SvREFCNT_inc_simple(obj);
4392         mg->mg_flags |= MGf_REFCOUNTED;
4393     }
4394
4395     /* Normal self-ties simply pass a null object, and instead of
4396        using mg_obj directly, use the SvTIED_obj macro to produce a
4397        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4398        with an RV obj pointing to the glob containing the PVIO.  In
4399        this case, to avoid a reference loop, we need to weaken the
4400        reference.
4401     */
4402
4403     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4404         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4405     {
4406       sv_rvweaken(obj);
4407     }
4408
4409     mg->mg_type = how;
4410     mg->mg_len = namlen;
4411     if (name) {
4412         if (namlen > 0)
4413             mg->mg_ptr = savepvn(name, namlen);
4414         else if (namlen == HEf_SVKEY)
4415             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV*)name);
4416         else
4417             mg->mg_ptr = (char *) name;
4418     }
4419     mg->mg_virtual = vtable;
4420
4421     mg_magical(sv);
4422     if (SvGMAGICAL(sv))
4423         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4424     return mg;
4425 }
4426
4427 /*
4428 =for apidoc sv_magic
4429
4430 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4431 then adds a new magic item of type C<how> to the head of the magic list.
4432
4433 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4434 handling of the C<name> and C<namlen> arguments.
4435
4436 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4437 to add more than one instance of the same 'how'.
4438
4439 =cut
4440 */
4441
4442 void
4443 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4444 {
4445     dVAR;
4446     MGVTBL *vtable;
4447     MAGIC* mg;
4448
4449 #ifdef PERL_OLD_COPY_ON_WRITE
4450     if (SvIsCOW(sv))
4451         sv_force_normal_flags(sv, 0);
4452 #endif
4453     if (SvREADONLY(sv)) {
4454         if (
4455             /* its okay to attach magic to shared strings; the subsequent
4456              * upgrade to PVMG will unshare the string */
4457             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4458
4459             && IN_PERL_RUNTIME
4460             && how != PERL_MAGIC_regex_global
4461             && how != PERL_MAGIC_bm
4462             && how != PERL_MAGIC_fm
4463             && how != PERL_MAGIC_sv
4464             && how != PERL_MAGIC_backref
4465            )
4466         {
4467             Perl_croak(aTHX_ PL_no_modify);
4468         }
4469     }
4470     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4471         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4472             /* sv_magic() refuses to add a magic of the same 'how' as an
4473                existing one
4474              */
4475             if (how == PERL_MAGIC_taint) {
4476                 mg->mg_len |= 1;
4477                 /* Any scalar which already had taint magic on which someone
4478                    (erroneously?) did SvIOK_on() or similar will now be
4479                    incorrectly sporting public "OK" flags.  */
4480                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4481             }
4482             return;
4483         }
4484     }
4485
4486     switch (how) {
4487     case PERL_MAGIC_sv:
4488         vtable = &PL_vtbl_sv;
4489         break;
4490     case PERL_MAGIC_overload:
4491         vtable = &PL_vtbl_amagic;
4492         break;
4493     case PERL_MAGIC_overload_elem:
4494         vtable = &PL_vtbl_amagicelem;
4495         break;
4496     case PERL_MAGIC_overload_table:
4497         vtable = &PL_vtbl_ovrld;
4498         break;
4499     case PERL_MAGIC_bm:
4500         vtable = &PL_vtbl_bm;
4501         break;
4502     case PERL_MAGIC_regdata:
4503         vtable = &PL_vtbl_regdata;
4504         break;
4505     case PERL_MAGIC_regdata_names:
4506         vtable = &PL_vtbl_regdata_names;
4507         break;
4508     case PERL_MAGIC_regdatum:
4509         vtable = &PL_vtbl_regdatum;
4510         break;
4511     case PERL_MAGIC_env:
4512         vtable = &PL_vtbl_env;
4513         break;
4514     case PERL_MAGIC_fm:
4515         vtable = &PL_vtbl_fm;
4516         break;
4517     case PERL_MAGIC_envelem:
4518         vtable = &PL_vtbl_envelem;
4519         break;
4520     case PERL_MAGIC_regex_global:
4521         vtable = &PL_vtbl_mglob;
4522         break;
4523     case PERL_MAGIC_isa:
4524         vtable = &PL_vtbl_isa;
4525         break;
4526     case PERL_MAGIC_isaelem:
4527         vtable = &PL_vtbl_isaelem;
4528         break;
4529     case PERL_MAGIC_nkeys:
4530         vtable = &PL_vtbl_nkeys;
4531         break;
4532     case PERL_MAGIC_dbfile:
4533         vtable = NULL;
4534         break;
4535     case PERL_MAGIC_dbline:
4536         vtable = &PL_vtbl_dbline;
4537         break;
4538 #ifdef USE_LOCALE_COLLATE
4539     case PERL_MAGIC_collxfrm:
4540         vtable = &PL_vtbl_collxfrm;
4541         break;
4542 #endif /* USE_LOCALE_COLLATE */
4543     case PERL_MAGIC_tied:
4544         vtable = &PL_vtbl_pack;
4545         break;
4546     case PERL_MAGIC_tiedelem:
4547     case PERL_MAGIC_tiedscalar:
4548         vtable = &PL_vtbl_packelem;
4549         break;
4550     case PERL_MAGIC_qr:
4551         vtable = &PL_vtbl_regexp;
4552         break;
4553     case PERL_MAGIC_hints:
4554         /* As this vtable is all NULL, we can reuse it.  */
4555     case PERL_MAGIC_sig:
4556         vtable = &PL_vtbl_sig;
4557         break;
4558     case PERL_MAGIC_sigelem:
4559         vtable = &PL_vtbl_sigelem;
4560         break;
4561     case PERL_MAGIC_taint:
4562         vtable = &PL_vtbl_taint;
4563         break;
4564     case PERL_MAGIC_uvar:
4565         vtable = &PL_vtbl_uvar;
4566         break;
4567     case PERL_MAGIC_vec:
4568         vtable = &PL_vtbl_vec;
4569         break;
4570     case PERL_MAGIC_arylen_p:
4571     case PERL_MAGIC_rhash:
4572     case PERL_MAGIC_symtab:
4573     case PERL_MAGIC_vstring:
4574         vtable = NULL;
4575         break;
4576     case PERL_MAGIC_utf8:
4577         vtable = &PL_vtbl_utf8;
4578         break;
4579     case PERL_MAGIC_substr:
4580         vtable = &PL_vtbl_substr;
4581         break;
4582     case PERL_MAGIC_defelem:
4583         vtable = &PL_vtbl_defelem;
4584         break;
4585     case PERL_MAGIC_arylen:
4586         vtable = &PL_vtbl_arylen;
4587         break;
4588     case PERL_MAGIC_pos:
4589         vtable = &PL_vtbl_pos;
4590         break;
4591     case PERL_MAGIC_backref:
4592         vtable = &PL_vtbl_backref;
4593         break;
4594     case PERL_MAGIC_hintselem:
4595         vtable = &PL_vtbl_hintselem;
4596         break;
4597     case PERL_MAGIC_ext:
4598         /* Reserved for use by extensions not perl internals.           */
4599         /* Useful for attaching extension internal data to perl vars.   */
4600         /* Note that multiple extensions may clash if magical scalars   */
4601         /* etc holding private data from one are passed to another.     */
4602         vtable = NULL;
4603         break;
4604     default:
4605         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4606     }
4607
4608     /* Rest of work is done else where */
4609     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4610
4611     switch (how) {
4612     case PERL_MAGIC_taint:
4613         mg->mg_len = 1;
4614         break;
4615     case PERL_MAGIC_ext:
4616     case PERL_MAGIC_dbfile:
4617         SvRMAGICAL_on(sv);
4618         break;
4619     }
4620 }
4621
4622 /*
4623 =for apidoc sv_unmagic
4624
4625 Removes all magic of type C<type> from an SV.
4626
4627 =cut
4628 */
4629
4630 int
4631 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4632 {
4633     MAGIC* mg;
4634     MAGIC** mgp;
4635     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4636         return 0;
4637     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
4638     for (mg = *mgp; mg; mg = *mgp) {
4639         if (mg->mg_type == type) {
4640             const MGVTBL* const vtbl = mg->mg_virtual;
4641             *mgp = mg->mg_moremagic;
4642             if (vtbl && vtbl->svt_free)
4643                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4644             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4645                 if (mg->mg_len > 0)
4646                     Safefree(mg->mg_ptr);
4647                 else if (mg->mg_len == HEf_SVKEY)
4648                     SvREFCNT_dec((SV*)mg->mg_ptr);
4649                 else if (mg->mg_type == PERL_MAGIC_utf8)
4650                     Safefree(mg->mg_ptr);
4651             }
4652             if (mg->mg_flags & MGf_REFCOUNTED)
4653                 SvREFCNT_dec(mg->mg_obj);
4654             Safefree(mg);
4655         }
4656         else
4657             mgp = &mg->mg_moremagic;
4658     }
4659     if (!SvMAGIC(sv)) {
4660         SvMAGICAL_off(sv);
4661         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4662         SvMAGIC_set(sv, NULL);
4663     }
4664
4665     return 0;
4666 }
4667
4668 /*
4669 =for apidoc sv_rvweaken
4670
4671 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4672 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4673 push a back-reference to this RV onto the array of backreferences
4674 associated with that magic. If the RV is magical, set magic will be
4675 called after the RV is cleared.
4676
4677 =cut
4678 */
4679
4680 SV *
4681 Perl_sv_rvweaken(pTHX_ SV *sv)
4682 {
4683     SV *tsv;
4684     if (!SvOK(sv))  /* let undefs pass */
4685         return sv;
4686     if (!SvROK(sv))
4687         Perl_croak(aTHX_ "Can't weaken a nonreference");
4688     else if (SvWEAKREF(sv)) {
4689         if (ckWARN(WARN_MISC))
4690             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4691         return sv;
4692     }
4693     tsv = SvRV(sv);
4694     Perl_sv_add_backref(aTHX_ tsv, sv);
4695     SvWEAKREF_on(sv);
4696     SvREFCNT_dec(tsv);
4697     return sv;
4698 }
4699
4700 /* Give tsv backref magic if it hasn't already got it, then push a
4701  * back-reference to sv onto the array associated with the backref magic.
4702  */
4703
4704 void
4705 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4706 {
4707     dVAR;
4708     AV *av;
4709
4710     if (SvTYPE(tsv) == SVt_PVHV) {
4711         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4712
4713         av = *avp;
4714         if (!av) {
4715             /* There is no AV in the offical place - try a fixup.  */
4716             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4717
4718             if (mg) {
4719                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4720                 av = (AV*)mg->mg_obj;
4721                 /* Stop mg_free decreasing the refernce count.  */
4722                 mg->mg_obj = NULL;
4723                 /* Stop mg_free even calling the destructor, given that
4724                    there's no AV to free up.  */
4725                 mg->mg_virtual = 0;
4726                 sv_unmagic(tsv, PERL_MAGIC_backref);
4727             } else {
4728                 av = newAV();
4729                 AvREAL_off(av);
4730                 SvREFCNT_inc_simple_void(av);
4731             }
4732             *avp = av;
4733         }
4734     } else {
4735         const MAGIC *const mg
4736             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4737         if (mg)
4738             av = (AV*)mg->mg_obj;
4739         else {
4740             av = newAV();
4741             AvREAL_off(av);
4742             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4743             /* av now has a refcnt of 2, which avoids it getting freed
4744              * before us during global cleanup. The extra ref is removed
4745              * by magic_killbackrefs() when tsv is being freed */
4746         }
4747     }
4748     if (AvFILLp(av) >= AvMAX(av)) {
4749         av_extend(av, AvFILLp(av)+1);
4750     }
4751     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4752 }
4753
4754 /* delete a back-reference to ourselves from the backref magic associated
4755  * with the SV we point to.
4756  */
4757
4758 STATIC void
4759 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4760 {
4761     dVAR;
4762     AV *av = NULL;
4763     SV **svp;
4764     I32 i;
4765
4766     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4767         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4768         /* We mustn't attempt to "fix up" the hash here by moving the
4769            backreference array back to the hv_aux structure, as that is stored
4770            in the main HvARRAY(), and hfreentries assumes that no-one
4771            reallocates HvARRAY() while it is running.  */
4772     }
4773     if (!av) {
4774         const MAGIC *const mg
4775             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4776         if (mg)
4777             av = (AV *)mg->mg_obj;
4778     }
4779     if (!av) {
4780         if (PL_in_clean_all)
4781             return;
4782         Perl_croak(aTHX_ "panic: del_backref");
4783     }
4784
4785     if (SvIS_FREED(av))
4786         return;
4787
4788     svp = AvARRAY(av);
4789     /* We shouldn't be in here more than once, but for paranoia reasons lets
4790        not assume this.  */
4791     for (i = AvFILLp(av); i >= 0; i--) {
4792         if (svp[i] == sv) {
4793             const SSize_t fill = AvFILLp(av);
4794             if (i != fill) {
4795                 /* We weren't the last entry.
4796                    An unordered list has this property that you can take the
4797                    last element off the end to fill the hole, and it's still
4798                    an unordered list :-)
4799                 */
4800                 svp[i] = svp[fill];
4801             }
4802             svp[fill] = NULL;
4803             AvFILLp(av) = fill - 1;
4804         }
4805     }
4806 }
4807
4808 int
4809 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4810 {
4811     SV **svp = AvARRAY(av);
4812
4813     PERL_UNUSED_ARG(sv);
4814
4815     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4816        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4817     if (svp && !SvIS_FREED(av)) {
4818         SV *const *const last = svp + AvFILLp(av);
4819
4820         while (svp <= last) {
4821             if (*svp) {
4822                 SV *const referrer = *svp;
4823                 if (SvWEAKREF(referrer)) {
4824                     /* XXX Should we check that it hasn't changed? */
4825                     SvRV_set(referrer, 0);
4826                     SvOK_off(referrer);
4827                     SvWEAKREF_off(referrer);
4828                     SvSETMAGIC(referrer);
4829                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4830                            SvTYPE(referrer) == SVt_PVLV) {
4831                     /* You lookin' at me?  */
4832                     assert(GvSTASH(referrer));
4833                     assert(GvSTASH(referrer) == (HV*)sv);
4834                     GvSTASH(referrer) = 0;
4835                 } else {
4836                     Perl_croak(aTHX_
4837                                "panic: magic_killbackrefs (flags=%"UVxf")",
4838                                (UV)SvFLAGS(referrer));
4839                 }
4840
4841                 *svp = NULL;
4842             }
4843             svp++;
4844         }
4845     }
4846     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4847     return 0;
4848 }
4849
4850 /*
4851 =for apidoc sv_insert
4852
4853 Inserts a string at the specified offset/length within the SV. Similar to
4854 the Perl substr() function.
4855
4856 =cut
4857 */
4858
4859 void
4860 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4861 {
4862     dVAR;
4863     register char *big;
4864     register char *mid;
4865     register char *midend;
4866     register char *bigend;
4867     register I32 i;
4868     STRLEN curlen;
4869
4870
4871     if (!bigstr)
4872         Perl_croak(aTHX_ "Can't modify non-existent substring");
4873     SvPV_force(bigstr, curlen);
4874     (void)SvPOK_only_UTF8(bigstr);
4875     if (offset + len > curlen) {
4876         SvGROW(bigstr, offset+len+1);
4877         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4878         SvCUR_set(bigstr, offset+len);
4879     }
4880
4881     SvTAINT(bigstr);
4882     i = littlelen - len;
4883     if (i > 0) {                        /* string might grow */
4884         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4885         mid = big + offset + len;
4886         midend = bigend = big + SvCUR(bigstr);
4887         bigend += i;
4888         *bigend = '\0';
4889         while (midend > mid)            /* shove everything down */
4890             *--bigend = *--midend;
4891         Move(little,big+offset,littlelen,char);
4892         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4893         SvSETMAGIC(bigstr);
4894         return;
4895     }
4896     else if (i == 0) {
4897         Move(little,SvPVX(bigstr)+offset,len,char);
4898         SvSETMAGIC(bigstr);
4899         return;
4900     }
4901
4902     big = SvPVX(bigstr);
4903     mid = big + offset;
4904     midend = mid + len;
4905     bigend = big + SvCUR(bigstr);
4906
4907     if (midend > bigend)
4908         Perl_croak(aTHX_ "panic: sv_insert");
4909
4910     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4911         if (littlelen) {
4912             Move(little, mid, littlelen,char);
4913             mid += littlelen;
4914         }
4915         i = bigend - midend;
4916         if (i > 0) {
4917             Move(midend, mid, i,char);
4918             mid += i;
4919         }
4920         *mid = '\0';
4921         SvCUR_set(bigstr, mid - big);
4922     }
4923     else if ((i = mid - big)) { /* faster from front */
4924         midend -= littlelen;
4925         mid = midend;
4926         sv_chop(bigstr,midend-i);
4927         big += i;
4928         while (i--)
4929             *--midend = *--big;
4930         if (littlelen)
4931             Move(little, mid, littlelen,char);
4932     }
4933     else if (littlelen) {
4934         midend -= littlelen;
4935         sv_chop(bigstr,midend);
4936         Move(little,midend,littlelen,char);
4937     }
4938     else {
4939         sv_chop(bigstr,midend);
4940     }
4941     SvSETMAGIC(bigstr);
4942 }
4943
4944 /*
4945 =for apidoc sv_replace
4946
4947 Make the first argument a copy of the second, then delete the original.
4948 The target SV physically takes over ownership of the body of the source SV
4949 and inherits its flags; however, the target keeps any magic it owns,
4950 and any magic in the source is discarded.
4951 Note that this is a rather specialist SV copying operation; most of the
4952 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4953
4954 =cut
4955 */
4956
4957 void
4958 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4959 {
4960     dVAR;
4961     const U32 refcnt = SvREFCNT(sv);
4962     SV_CHECK_THINKFIRST_COW_DROP(sv);
4963     if (SvREFCNT(nsv) != 1) {
4964         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4965                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4966     }
4967     if (SvMAGICAL(sv)) {
4968         if (SvMAGICAL(nsv))
4969             mg_free(nsv);
4970         else
4971             sv_upgrade(nsv, SVt_PVMG);
4972         SvMAGIC_set(nsv, SvMAGIC(sv));
4973         SvFLAGS(nsv) |= SvMAGICAL(sv);
4974         SvMAGICAL_off(sv);
4975         SvMAGIC_set(sv, NULL);
4976     }
4977     SvREFCNT(sv) = 0;
4978     sv_clear(sv);
4979     assert(!SvREFCNT(sv));
4980 #ifdef DEBUG_LEAKING_SCALARS
4981     sv->sv_flags  = nsv->sv_flags;
4982     sv->sv_any    = nsv->sv_any;
4983     sv->sv_refcnt = nsv->sv_refcnt;
4984     sv->sv_u      = nsv->sv_u;
4985 #else
4986     StructCopy(nsv,sv,SV);
4987 #endif
4988     /* Currently could join these into one piece of pointer arithmetic, but
4989        it would be unclear.  */
4990     if(SvTYPE(sv) == SVt_IV)
4991         SvANY(sv)
4992             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
4993     else if (SvTYPE(sv) == SVt_RV) {
4994         SvANY(sv) = &sv->sv_u.svu_rv;
4995     }
4996         
4997
4998 #ifdef PERL_OLD_COPY_ON_WRITE
4999     if (SvIsCOW_normal(nsv)) {
5000         /* We need to follow the pointers around the loop to make the
5001            previous SV point to sv, rather than nsv.  */
5002         SV *next;
5003         SV *current = nsv;
5004         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5005             assert(next);
5006             current = next;
5007             assert(SvPVX_const(current) == SvPVX_const(nsv));
5008         }
5009         /* Make the SV before us point to the SV after us.  */
5010         if (DEBUG_C_TEST) {
5011             PerlIO_printf(Perl_debug_log, "previous is\n");
5012             sv_dump(current);
5013             PerlIO_printf(Perl_debug_log,
5014                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5015                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5016         }
5017         SV_COW_NEXT_SV_SET(current, sv);
5018     }
5019 #endif
5020     SvREFCNT(sv) = refcnt;
5021     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5022     SvREFCNT(nsv) = 0;
5023     del_SV(nsv);
5024 }
5025
5026 /*
5027 =for apidoc sv_clear
5028
5029 Clear an SV: call any destructors, free up any memory used by the body,
5030 and free the body itself. The SV's head is I<not> freed, although
5031 its type is set to all 1's so that it won't inadvertently be assumed
5032 to be live during global destruction etc.
5033 This function should only be called when REFCNT is zero. Most of the time
5034 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5035 instead.
5036
5037 =cut
5038 */
5039
5040 void
5041 Perl_sv_clear(pTHX_ register SV *sv)
5042 {
5043     dVAR;
5044     const U32 type = SvTYPE(sv);
5045     const struct body_details *const sv_type_details
5046         = bodies_by_type + type;
5047
5048     assert(sv);
5049     assert(SvREFCNT(sv) == 0);
5050
5051     if (type <= SVt_IV) {
5052         /* See the comment in sv.h about the collusion between this early
5053            return and the overloading of the NULL and IV slots in the size
5054            table.  */
5055         return;
5056     }
5057
5058     if (SvOBJECT(sv)) {
5059         if (PL_defstash) {              /* Still have a symbol table? */
5060             dSP;
5061             HV* stash;
5062             do {        
5063                 CV* destructor;
5064                 stash = SvSTASH(sv);
5065                 destructor = StashHANDLER(stash,DESTROY);
5066                 if (destructor) {
5067                     SV* const tmpref = newRV(sv);
5068                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
5069                     ENTER;
5070                     PUSHSTACKi(PERLSI_DESTROY);
5071                     EXTEND(SP, 2);
5072                     PUSHMARK(SP);
5073                     PUSHs(tmpref);
5074                     PUTBACK;
5075                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
5076                 
5077                 
5078                     POPSTACK;
5079                     SPAGAIN;
5080                     LEAVE;
5081                     if(SvREFCNT(tmpref) < 2) {
5082                         /* tmpref is not kept alive! */
5083                         SvREFCNT(sv)--;
5084                         SvRV_set(tmpref, NULL);
5085                         SvROK_off(tmpref);
5086                     }
5087                     SvREFCNT_dec(tmpref);
5088                 }
5089             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
5090
5091
5092             if (SvREFCNT(sv)) {
5093                 if (PL_in_clean_objs)
5094                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
5095                           HvNAME_get(stash));
5096                 /* DESTROY gave object new lease on life */
5097                 return;
5098             }
5099         }
5100
5101         if (SvOBJECT(sv)) {
5102             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
5103             SvOBJECT_off(sv);   /* Curse the object. */
5104             if (type != SVt_PVIO)
5105                 --PL_sv_objcount;       /* XXX Might want something more general */
5106         }
5107     }
5108     if (type >= SVt_PVMG) {
5109         if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5110             SvREFCNT_dec(OURSTASH(sv));
5111         } else if (SvMAGIC(sv))
5112             mg_free(sv);
5113         if (type == SVt_PVMG && SvPAD_TYPED(sv))
5114             SvREFCNT_dec(SvSTASH(sv));
5115     }
5116     switch (type) {
5117         /* case SVt_BIND: */
5118     case SVt_PVIO:
5119         if (IoIFP(sv) &&
5120             IoIFP(sv) != PerlIO_stdin() &&
5121             IoIFP(sv) != PerlIO_stdout() &&
5122             IoIFP(sv) != PerlIO_stderr())
5123         {
5124             io_close((IO*)sv, FALSE);
5125         }
5126         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5127             PerlDir_close(IoDIRP(sv));
5128         IoDIRP(sv) = (DIR*)NULL;
5129         Safefree(IoTOP_NAME(sv));
5130         Safefree(IoFMT_NAME(sv));
5131         Safefree(IoBOTTOM_NAME(sv));
5132         goto freescalar;
5133     case SVt_PVCV:
5134     case SVt_PVFM:
5135         cv_undef((CV*)sv);
5136         goto freescalar;
5137     case SVt_PVHV:
5138         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
5139         hv_undef((HV*)sv);
5140         break;
5141     case SVt_PVAV:
5142         av_undef((AV*)sv);
5143         break;
5144     case SVt_PVLV:
5145         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
5146             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
5147             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
5148             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
5149         }
5150         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
5151             SvREFCNT_dec(LvTARG(sv));
5152         goto freescalar;
5153     case SVt_PVGV:
5154         if (isGV_with_GP(sv)) {
5155             gp_free((GV*)sv);
5156             if (GvNAME_HEK(sv))
5157                 unshare_hek(GvNAME_HEK(sv));
5158         /* If we're in a stash, we don't own a reference to it. However it does
5159            have a back reference to us, which needs to be cleared.  */
5160         if (!SvVALID(sv) && GvSTASH(sv))
5161                 sv_del_backref((SV*)GvSTASH(sv), sv);
5162         }
5163     case SVt_PVMG:
5164     case SVt_PVNV:
5165     case SVt_PVIV:
5166       freescalar:
5167         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
5168         if (SvOOK(sv)) {
5169             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
5170             /* Don't even bother with turning off the OOK flag.  */
5171         }
5172     case SVt_PV:
5173     case SVt_RV:
5174         if (SvROK(sv)) {
5175             SV * const target = SvRV(sv);
5176             if (SvWEAKREF(sv))
5177                 sv_del_backref(target, sv);
5178             else
5179                 SvREFCNT_dec(target);
5180         }
5181 #ifdef PERL_OLD_COPY_ON_WRITE
5182         else if (SvPVX_const(sv)) {
5183             if (SvIsCOW(sv)) {
5184                 /* I believe I need to grab the global SV mutex here and
5185                    then recheck the COW status.  */
5186                 if (DEBUG_C_TEST) {
5187                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
5188                     sv_dump(sv);
5189                 }
5190                 sv_release_COW(sv, SvPVX_const(sv), SvLEN(sv),
5191                                SV_COW_NEXT_SV(sv));
5192                 /* And drop it here.  */
5193                 SvFAKE_off(sv);
5194             } else if (SvLEN(sv)) {
5195                 Safefree(SvPVX_const(sv));
5196             }
5197         }
5198 #else
5199         else if (SvPVX_const(sv) && SvLEN(sv))
5200             Safefree(SvPVX_mutable(sv));
5201         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
5202             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
5203             SvFAKE_off(sv);
5204         }
5205 #endif
5206         break;
5207     case SVt_NV:
5208         break;
5209     }
5210
5211     SvFLAGS(sv) &= SVf_BREAK;
5212     SvFLAGS(sv) |= SVTYPEMASK;
5213
5214     if (sv_type_details->arena) {
5215         del_body(((char *)SvANY(sv) + sv_type_details->offset),
5216                  &PL_body_roots[type]);
5217     }
5218     else if (sv_type_details->body_size) {
5219         my_safefree(SvANY(sv));
5220     }
5221 }
5222
5223 /*
5224 =for apidoc sv_newref
5225
5226 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5227 instead.
5228
5229 =cut
5230 */
5231
5232 SV *
5233 Perl_sv_newref(pTHX_ SV *sv)
5234 {
5235     PERL_UNUSED_CONTEXT;
5236     if (sv)
5237         (SvREFCNT(sv))++;
5238     return sv;
5239 }
5240
5241 /*
5242 =for apidoc sv_free
5243
5244 Decrement an SV's reference count, and if it drops to zero, call
5245 C<sv_clear> to invoke destructors and free up any memory used by
5246 the body; finally, deallocate the SV's head itself.
5247 Normally called via a wrapper macro C<SvREFCNT_dec>.
5248
5249 =cut
5250 */
5251
5252 void
5253 Perl_sv_free(pTHX_ SV *sv)
5254 {
5255     dVAR;
5256     if (!sv)
5257         return;
5258     if (SvREFCNT(sv) == 0) {
5259         if (SvFLAGS(sv) & SVf_BREAK)
5260             /* this SV's refcnt has been artificially decremented to
5261              * trigger cleanup */
5262             return;
5263         if (PL_in_clean_all) /* All is fair */
5264             return;
5265         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5266             /* make sure SvREFCNT(sv)==0 happens very seldom */
5267             SvREFCNT(sv) = (~(U32)0)/2;
5268             return;
5269         }
5270         if (ckWARN_d(WARN_INTERNAL)) {
5271             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5272                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5273                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5274 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5275             Perl_dump_sv_child(aTHX_ sv);
5276 #endif
5277         }
5278         return;
5279     }
5280     if (--(SvREFCNT(sv)) > 0)
5281         return;
5282     Perl_sv_free2(aTHX_ sv);
5283 }
5284
5285 void
5286 Perl_sv_free2(pTHX_ SV *sv)
5287 {
5288     dVAR;
5289 #ifdef DEBUGGING
5290     if (SvTEMP(sv)) {
5291         if (ckWARN_d(WARN_DEBUGGING))
5292             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5293                         "Attempt to free temp prematurely: SV 0x%"UVxf
5294                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5295         return;
5296     }
5297 #endif
5298     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5299         /* make sure SvREFCNT(sv)==0 happens very seldom */
5300         SvREFCNT(sv) = (~(U32)0)/2;
5301         return;
5302     }
5303     sv_clear(sv);
5304     if (! SvREFCNT(sv))
5305         del_SV(sv);
5306 }
5307
5308 /*
5309 =for apidoc sv_len
5310
5311 Returns the length of the string in the SV. Handles magic and type
5312 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5313
5314 =cut
5315 */
5316
5317 STRLEN
5318 Perl_sv_len(pTHX_ register SV *sv)
5319 {
5320     STRLEN len;
5321
5322     if (!sv)
5323         return 0;
5324
5325     if (SvGMAGICAL(sv))
5326         len = mg_length(sv);
5327     else
5328         (void)SvPV_const(sv, len);
5329     return len;
5330 }
5331
5332 /*
5333 =for apidoc sv_len_utf8
5334
5335 Returns the number of characters in the string in an SV, counting wide
5336 UTF-8 bytes as a single character. Handles magic and type coercion.
5337
5338 =cut
5339 */
5340
5341 /*
5342  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5343  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
5344  * (Note that the mg_len is not the length of the mg_ptr field.
5345  * This allows the cache to store the character length of the string without
5346  * needing to malloc() extra storage to attach to the mg_ptr.)
5347  *
5348  */
5349
5350 STRLEN
5351 Perl_sv_len_utf8(pTHX_ register SV *sv)
5352 {
5353     if (!sv)
5354         return 0;
5355
5356     if (SvGMAGICAL(sv))
5357         return mg_length(sv);
5358     else
5359     {
5360         STRLEN len;
5361         const U8 *s = (U8*)SvPV_const(sv, len);
5362
5363         if (PL_utf8cache) {
5364             STRLEN ulen;
5365             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : 0;
5366
5367             if (mg && mg->mg_len != -1) {
5368                 ulen = mg->mg_len;
5369                 if (PL_utf8cache < 0) {
5370                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
5371                     if (real != ulen) {
5372                         /* Need to turn the assertions off otherwise we may
5373                            recurse infinitely while printing error messages.
5374                         */
5375                         SAVEI8(PL_utf8cache);
5376                         PL_utf8cache = 0;
5377                         Perl_croak(aTHX_ "panic: sv_len_utf8 cache %"UVuf
5378                                    " real %"UVuf" for %"SVf,
5379                                    (UV) ulen, (UV) real, (void*)sv);
5380                     }
5381                 }
5382             }
5383             else {
5384                 ulen = Perl_utf8_length(aTHX_ s, s + len);
5385                 if (!SvREADONLY(sv)) {
5386                     if (!mg) {
5387                         mg = sv_magicext(sv, 0, PERL_MAGIC_utf8,
5388                                          &PL_vtbl_utf8, 0, 0);
5389                     }
5390                     assert(mg);
5391                     mg->mg_len = ulen;
5392                 }
5393             }
5394             return ulen;
5395         }
5396         return Perl_utf8_length(aTHX_ s, s + len);
5397     }
5398 }
5399
5400 /* Walk forwards to find the byte corresponding to the passed in UTF-8
5401    offset.  */
5402 static STRLEN
5403 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
5404                       STRLEN uoffset)
5405 {
5406     const U8 *s = start;
5407
5408     while (s < send && uoffset--)
5409         s += UTF8SKIP(s);
5410     if (s > send) {
5411         /* This is the existing behaviour. Possibly it should be a croak, as
5412            it's actually a bounds error  */
5413         s = send;
5414     }
5415     return s - start;
5416 }
5417
5418 /* Given the length of the string in both bytes and UTF-8 characters, decide
5419    whether to walk forwards or backwards to find the byte corresponding to
5420    the passed in UTF-8 offset.  */
5421 static STRLEN
5422 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
5423                       STRLEN uoffset, STRLEN uend)
5424 {
5425     STRLEN backw = uend - uoffset;
5426     if (uoffset < 2 * backw) {
5427         /* The assumption is that going forwards is twice the speed of going
5428            forward (that's where the 2 * backw comes from).
5429            (The real figure of course depends on the UTF-8 data.)  */
5430         return sv_pos_u2b_forwards(start, send, uoffset);
5431     }
5432
5433     while (backw--) {
5434         send--;
5435         while (UTF8_IS_CONTINUATION(*send))
5436             send--;
5437     }
5438     return send - start;
5439 }
5440
5441 /* For the string representation of the given scalar, find the byte
5442    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
5443    give another position in the string, *before* the sought offset, which
5444    (which is always true, as 0, 0 is a valid pair of positions), which should
5445    help reduce the amount of linear searching.
5446    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
5447    will be used to reduce the amount of linear searching. The cache will be
5448    created if necessary, and the found value offered to it for update.  */
5449 static STRLEN
5450 S_sv_pos_u2b_cached(pTHX_ SV *sv, MAGIC **mgp, const U8 *const start,
5451                     const U8 *const send, STRLEN uoffset,
5452                     STRLEN uoffset0, STRLEN boffset0) {
5453     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
5454     bool found = FALSE;
5455
5456     assert (uoffset >= uoffset0);
5457
5458     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5459         && (*mgp || (*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
5460         if ((*mgp)->mg_ptr) {
5461             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
5462             if (cache[0] == uoffset) {
5463                 /* An exact match. */
5464                 return cache[1];
5465             }
5466             if (cache[2] == uoffset) {
5467                 /* An exact match. */
5468                 return cache[3];
5469             }
5470
5471             if (cache[0] < uoffset) {
5472                 /* The cache already knows part of the way.   */
5473                 if (cache[0] > uoffset0) {
5474                     /* The cache knows more than the passed in pair  */
5475                     uoffset0 = cache[0];
5476                     boffset0 = cache[1];
5477                 }
5478                 if ((*mgp)->mg_len != -1) {
5479                     /* And we know the end too.  */
5480                     boffset = boffset0
5481                         + sv_pos_u2b_midway(start + boffset0, send,
5482                                               uoffset - uoffset0,
5483                                               (*mgp)->mg_len - uoffset0);
5484                 } else {
5485                     boffset = boffset0
5486                         + sv_pos_u2b_forwards(start + boffset0,
5487                                                 send, uoffset - uoffset0);
5488                 }
5489             }
5490             else if (cache[2] < uoffset) {
5491                 /* We're between the two cache entries.  */
5492                 if (cache[2] > uoffset0) {
5493                     /* and the cache knows more than the passed in pair  */
5494                     uoffset0 = cache[2];
5495                     boffset0 = cache[3];
5496                 }
5497
5498                 boffset = boffset0
5499                     + sv_pos_u2b_midway(start + boffset0,
5500                                           start + cache[1],
5501                                           uoffset - uoffset0,
5502                                           cache[0] - uoffset0);
5503             } else {
5504                 boffset = boffset0
5505                     + sv_pos_u2b_midway(start + boffset0,
5506                                           start + cache[3],
5507                                           uoffset - uoffset0,
5508                                           cache[2] - uoffset0);
5509             }
5510             found = TRUE;
5511         }
5512         else if ((*mgp)->mg_len != -1) {
5513             /* If we can take advantage of a passed in offset, do so.  */
5514             /* In fact, offset0 is either 0, or less than offset, so don't
5515                need to worry about the other possibility.  */
5516             boffset = boffset0
5517                 + sv_pos_u2b_midway(start + boffset0, send,
5518                                       uoffset - uoffset0,
5519                                       (*mgp)->mg_len - uoffset0);
5520             found = TRUE;
5521         }
5522     }
5523
5524     if (!found || PL_utf8cache < 0) {
5525         const STRLEN real_boffset
5526             = boffset0 + sv_pos_u2b_forwards(start + boffset0,
5527                                                send, uoffset - uoffset0);
5528
5529         if (found && PL_utf8cache < 0) {
5530             if (real_boffset != boffset) {
5531                 /* Need to turn the assertions off otherwise we may recurse
5532                    infinitely while printing error messages.  */
5533                 SAVEI8(PL_utf8cache);
5534                 PL_utf8cache = 0;
5535                 Perl_croak(aTHX_ "panic: sv_pos_u2b_cache cache %"UVuf
5536                            " real %"UVuf" for %"SVf,
5537                            (UV) boffset, (UV) real_boffset, (void*)sv);
5538             }
5539         }
5540         boffset = real_boffset;
5541     }
5542
5543     S_utf8_mg_pos_cache_update(aTHX_ sv, mgp, boffset, uoffset, send - start);
5544     return boffset;
5545 }
5546
5547
5548 /*
5549 =for apidoc sv_pos_u2b
5550
5551 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5552 the start of the string, to a count of the equivalent number of bytes; if
5553 lenp is non-zero, it does the same to lenp, but this time starting from
5554 the offset, rather than from the start of the string. Handles magic and
5555 type coercion.
5556
5557 =cut
5558 */
5559
5560 /*
5561  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5562  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5563  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
5564  *
5565  */
5566
5567 void
5568 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5569 {
5570     const U8 *start;
5571     STRLEN len;
5572
5573     if (!sv)
5574         return;
5575
5576     start = (U8*)SvPV_const(sv, len);
5577     if (len) {
5578         STRLEN uoffset = (STRLEN) *offsetp;
5579         const U8 * const send = start + len;
5580         MAGIC *mg = NULL;
5581         const STRLEN boffset = sv_pos_u2b_cached(sv, &mg, start, send,
5582                                              uoffset, 0, 0);
5583
5584         *offsetp = (I32) boffset;
5585
5586         if (lenp) {
5587             /* Convert the relative offset to absolute.  */
5588             const STRLEN uoffset2 = uoffset + (STRLEN) *lenp;
5589             const STRLEN boffset2
5590                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
5591                                       uoffset, boffset) - boffset;
5592
5593             *lenp = boffset2;
5594         }
5595     }
5596     else {
5597          *offsetp = 0;
5598          if (lenp)
5599               *lenp = 0;
5600     }
5601
5602     return;
5603 }
5604
5605 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
5606    byte length pairing. The (byte) length of the total SV is passed in too,
5607    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
5608    may not have updated SvCUR, so we can't rely on reading it directly.
5609
5610    The proffered utf8/byte length pairing isn't used if the cache already has
5611    two pairs, and swapping either for the proffered pair would increase the
5612    RMS of the intervals between known byte offsets.
5613
5614    The cache itself consists of 4 STRLEN values
5615    0: larger UTF-8 offset
5616    1: corresponding byte offset
5617    2: smaller UTF-8 offset
5618    3: corresponding byte offset
5619
5620    Unused cache pairs have the value 0, 0.
5621    Keeping the cache "backwards" means that the invariant of
5622    cache[0] >= cache[2] is maintained even with empty slots, which means that
5623    the code that uses it doesn't need to worry if only 1 entry has actually
5624    been set to non-zero.  It also makes the "position beyond the end of the
5625    cache" logic much simpler, as the first slot is always the one to start
5626    from.   
5627 */
5628 static void
5629 S_utf8_mg_pos_cache_update(pTHX_ SV *sv, MAGIC **mgp, STRLEN byte, STRLEN utf8,
5630                            STRLEN blen)
5631 {
5632     STRLEN *cache;
5633     if (SvREADONLY(sv))
5634         return;
5635
5636     if (!*mgp) {
5637         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
5638                            0);
5639         (*mgp)->mg_len = -1;
5640     }
5641     assert(*mgp);
5642
5643     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
5644         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5645         (*mgp)->mg_ptr = (char *) cache;
5646     }
5647     assert(cache);
5648
5649     if (PL_utf8cache < 0) {
5650         const U8 *start = (const U8 *) SvPVX_const(sv);
5651         const STRLEN realutf8 = utf8_length(start, start + byte);
5652
5653         if (realutf8 != utf8) {
5654             /* Need to turn the assertions off otherwise we may recurse
5655                infinitely while printing error messages.  */
5656             SAVEI8(PL_utf8cache);
5657             PL_utf8cache = 0;
5658             Perl_croak(aTHX_ "panic: utf8_mg_pos_cache_update cache %"UVuf
5659                        " real %"UVuf" for %"SVf, (UV) utf8, (UV) realutf8, (void*)sv);
5660         }
5661     }
5662
5663     /* Cache is held with the later position first, to simplify the code
5664        that deals with unbounded ends.  */
5665        
5666     ASSERT_UTF8_CACHE(cache);
5667     if (cache[1] == 0) {
5668         /* Cache is totally empty  */
5669         cache[0] = utf8;
5670         cache[1] = byte;
5671     } else if (cache[3] == 0) {
5672         if (byte > cache[1]) {
5673             /* New one is larger, so goes first.  */
5674             cache[2] = cache[0];
5675             cache[3] = cache[1];
5676             cache[0] = utf8;
5677             cache[1] = byte;
5678         } else {
5679             cache[2] = utf8;
5680             cache[3] = byte;
5681         }
5682     } else {
5683 #define THREEWAY_SQUARE(a,b,c,d) \
5684             ((float)((d) - (c))) * ((float)((d) - (c))) \
5685             + ((float)((c) - (b))) * ((float)((c) - (b))) \
5686                + ((float)((b) - (a))) * ((float)((b) - (a)))
5687
5688         /* Cache has 2 slots in use, and we know three potential pairs.
5689            Keep the two that give the lowest RMS distance. Do the
5690            calcualation in bytes simply because we always know the byte
5691            length.  squareroot has the same ordering as the positive value,
5692            so don't bother with the actual square root.  */
5693         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
5694         if (byte > cache[1]) {
5695             /* New position is after the existing pair of pairs.  */
5696             const float keep_earlier
5697                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5698             const float keep_later
5699                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
5700
5701             if (keep_later < keep_earlier) {
5702                 if (keep_later < existing) {
5703                     cache[2] = cache[0];
5704                     cache[3] = cache[1];
5705                     cache[0] = utf8;
5706                     cache[1] = byte;
5707                 }
5708             }
5709             else {
5710                 if (keep_earlier < existing) {
5711                     cache[0] = utf8;
5712                     cache[1] = byte;
5713                 }
5714             }
5715         }
5716         else if (byte > cache[3]) {
5717             /* New position is between the existing pair of pairs.  */
5718             const float keep_earlier
5719                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
5720             const float keep_later
5721                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5722
5723             if (keep_later < keep_earlier) {
5724                 if (keep_later < existing) {
5725                     cache[2] = utf8;
5726                     cache[3] = byte;
5727                 }
5728             }
5729             else {
5730                 if (keep_earlier < existing) {
5731                     cache[0] = utf8;
5732                     cache[1] = byte;
5733                 }
5734             }
5735         }
5736         else {
5737             /* New position is before the existing pair of pairs.  */
5738             const float keep_earlier
5739                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
5740             const float keep_later
5741                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
5742
5743             if (keep_later < keep_earlier) {
5744                 if (keep_later < existing) {
5745                     cache[2] = utf8;
5746                     cache[3] = byte;
5747                 }
5748             }
5749             else {
5750                 if (keep_earlier < existing) {
5751                     cache[0] = cache[2];
5752                     cache[1] = cache[3];
5753                     cache[2] = utf8;
5754                     cache[3] = byte;
5755                 }
5756             }
5757         }
5758     }
5759     ASSERT_UTF8_CACHE(cache);
5760 }
5761
5762 /* We already know all of the way, now we may be able to walk back.  The same
5763    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
5764    backward is half the speed of walking forward. */
5765 static STRLEN
5766 S_sv_pos_b2u_midway(pTHX_ const U8 *s, const U8 *const target, const U8 *end,
5767                     STRLEN endu)
5768 {
5769     const STRLEN forw = target - s;
5770     STRLEN backw = end - target;
5771
5772     if (forw < 2 * backw) {
5773         return utf8_length(s, target);
5774     }
5775
5776     while (end > target) {
5777         end--;
5778         while (UTF8_IS_CONTINUATION(*end)) {
5779             end--;
5780         }
5781         endu--;
5782     }
5783     return endu;
5784 }
5785
5786 /*
5787 =for apidoc sv_pos_b2u
5788
5789 Converts the value pointed to by offsetp from a count of bytes from the
5790 start of the string, to a count of the equivalent number of UTF-8 chars.
5791 Handles magic and type coercion.
5792
5793 =cut
5794 */
5795
5796 /*
5797  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5798  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5799  * byte offsets.
5800  *
5801  */
5802 void
5803 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5804 {
5805     const U8* s;
5806     const STRLEN byte = *offsetp;
5807     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
5808     STRLEN blen;
5809     MAGIC* mg = NULL;
5810     const U8* send;
5811     bool found = FALSE;
5812
5813     if (!sv)
5814         return;
5815
5816     s = (const U8*)SvPV_const(sv, blen);
5817
5818     if (blen < byte)
5819         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5820
5821     send = s + byte;
5822
5823     if (SvMAGICAL(sv) && !SvREADONLY(sv) && PL_utf8cache
5824         && (mg = mg_find(sv, PERL_MAGIC_utf8))) {
5825         if (mg->mg_ptr) {
5826             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
5827             if (cache[1] == byte) {
5828                 /* An exact match. */
5829                 *offsetp = cache[0];
5830                 return;
5831             }
5832             if (cache[3] == byte) {
5833                 /* An exact match. */
5834                 *offsetp = cache[2];
5835                 return;
5836             }
5837
5838             if (cache[1] < byte) {
5839                 /* We already know part of the way. */
5840                 if (mg->mg_len != -1) {
5841                     /* Actually, we know the end too.  */
5842                     len = cache[0]
5843                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
5844                                               s + blen, mg->mg_len - cache[0]);
5845                 } else {
5846                     len = cache[0] + utf8_length(s + cache[1], send);
5847                 }
5848             }
5849             else if (cache[3] < byte) {
5850                 /* We're between the two cached pairs, so we do the calculation
5851                    offset by the byte/utf-8 positions for the earlier pair,
5852                    then add the utf-8 characters from the string start to
5853                    there.  */
5854                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
5855                                           s + cache[1], cache[0] - cache[2])
5856                     + cache[2];
5857
5858             }
5859             else { /* cache[3] > byte */
5860                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
5861                                           cache[2]);
5862
5863             }
5864             ASSERT_UTF8_CACHE(cache);
5865             found = TRUE;
5866         } else if (mg->mg_len != -1) {
5867             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
5868             found = TRUE;
5869         }
5870     }
5871     if (!found || PL_utf8cache < 0) {
5872         const STRLEN real_len = utf8_length(s, send);
5873
5874         if (found && PL_utf8cache < 0) {
5875             if (len != real_len) {
5876                 /* Need to turn the assertions off otherwise we may recurse
5877                    infinitely while printing error messages.  */
5878                 SAVEI8(PL_utf8cache);
5879                 PL_utf8cache = 0;
5880                 Perl_croak(aTHX_ "panic: sv_pos_b2u cache %"UVuf
5881                            " real %"UVuf" for %"SVf,
5882                            (UV) len, (UV) real_len, (void*)sv);
5883             }
5884         }
5885         len = real_len;
5886     }
5887     *offsetp = len;
5888
5889     S_utf8_mg_pos_cache_update(aTHX_ sv, &mg, byte, len, blen);
5890 }
5891
5892 /*
5893 =for apidoc sv_eq
5894
5895 Returns a boolean indicating whether the strings in the two SVs are
5896 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5897 coerce its args to strings if necessary.
5898
5899 =cut
5900 */
5901
5902 I32
5903 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5904 {
5905     dVAR;
5906     const char *pv1;
5907     STRLEN cur1;
5908     const char *pv2;
5909     STRLEN cur2;
5910     I32  eq     = 0;
5911     char *tpv   = NULL;
5912     SV* svrecode = NULL;
5913
5914     if (!sv1) {
5915         pv1 = "";
5916         cur1 = 0;
5917     }
5918     else {
5919         /* if pv1 and pv2 are the same, second SvPV_const call may
5920          * invalidate pv1, so we may need to make a copy */
5921         if (sv1 == sv2 && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
5922             pv1 = SvPV_const(sv1, cur1);
5923             sv1 = sv_2mortal(newSVpvn(pv1, cur1));
5924             if (SvUTF8(sv2)) SvUTF8_on(sv1);
5925         }
5926         pv1 = SvPV_const(sv1, cur1);
5927     }
5928
5929     if (!sv2){
5930         pv2 = "";
5931         cur2 = 0;
5932     }
5933     else
5934         pv2 = SvPV_const(sv2, cur2);
5935
5936     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5937         /* Differing utf8ness.
5938          * Do not UTF8size the comparands as a side-effect. */
5939          if (PL_encoding) {
5940               if (SvUTF8(sv1)) {
5941                    svrecode = newSVpvn(pv2, cur2);
5942                    sv_recode_to_utf8(svrecode, PL_encoding);
5943                    pv2 = SvPV_const(svrecode, cur2);
5944               }
5945               else {
5946                    svrecode = newSVpvn(pv1, cur1);
5947                    sv_recode_to_utf8(svrecode, PL_encoding);
5948                    pv1 = SvPV_const(svrecode, cur1);
5949               }
5950               /* Now both are in UTF-8. */
5951               if (cur1 != cur2) {
5952                    SvREFCNT_dec(svrecode);
5953                    return FALSE;
5954               }
5955          }
5956          else {
5957               bool is_utf8 = TRUE;
5958
5959               if (SvUTF8(sv1)) {
5960                    /* sv1 is the UTF-8 one,
5961                     * if is equal it must be downgrade-able */
5962                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
5963                                                      &cur1, &is_utf8);
5964                    if (pv != pv1)
5965                         pv1 = tpv = pv;
5966               }
5967               else {
5968                    /* sv2 is the UTF-8 one,
5969                     * if is equal it must be downgrade-able */
5970                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
5971                                                       &cur2, &is_utf8);
5972                    if (pv != pv2)
5973                         pv2 = tpv = pv;
5974               }
5975               if (is_utf8) {
5976                    /* Downgrade not possible - cannot be eq */
5977                    assert (tpv == 0);
5978                    return FALSE;
5979               }
5980          }
5981     }
5982
5983     if (cur1 == cur2)
5984         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
5985         
5986     SvREFCNT_dec(svrecode);
5987     if (tpv)
5988         Safefree(tpv);
5989
5990     return eq;
5991 }
5992
5993 /*
5994 =for apidoc sv_cmp
5995
5996 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
5997 string in C<sv1> is less than, equal to, or greater than the string in
5998 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5999 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
6000
6001 =cut
6002 */
6003
6004 I32
6005 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
6006 {
6007     dVAR;
6008     STRLEN cur1, cur2;
6009     const char *pv1, *pv2;
6010     char *tpv = NULL;
6011     I32  cmp;
6012     SV *svrecode = NULL;
6013
6014     if (!sv1) {
6015         pv1 = "";
6016         cur1 = 0;
6017     }
6018     else
6019         pv1 = SvPV_const(sv1, cur1);
6020
6021     if (!sv2) {
6022         pv2 = "";
6023         cur2 = 0;
6024     }
6025     else
6026         pv2 = SvPV_const(sv2, cur2);
6027
6028     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
6029         /* Differing utf8ness.
6030          * Do not UTF8size the comparands as a side-effect. */
6031         if (SvUTF8(sv1)) {
6032             if (PL_encoding) {
6033                  svrecode = newSVpvn(pv2, cur2);
6034                  sv_recode_to_utf8(svrecode, PL_encoding);
6035                  pv2 = SvPV_const(svrecode, cur2);
6036             }
6037             else {
6038                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
6039             }
6040         }
6041         else {
6042             if (PL_encoding) {
6043                  svrecode = newSVpvn(pv1, cur1);
6044                  sv_recode_to_utf8(svrecode, PL_encoding);
6045                  pv1 = SvPV_const(svrecode, cur1);
6046             }
6047             else {
6048                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
6049             }
6050         }
6051     }
6052
6053     if (!cur1) {
6054         cmp = cur2 ? -1 : 0;
6055     } else if (!cur2) {
6056         cmp = 1;
6057     } else {
6058         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
6059
6060         if (retval) {
6061             cmp = retval < 0 ? -1 : 1;
6062         } else if (cur1 == cur2) {
6063             cmp = 0;
6064         } else {
6065             cmp = cur1 < cur2 ? -1 : 1;
6066         }
6067     }
6068
6069     SvREFCNT_dec(svrecode);
6070     if (tpv)
6071         Safefree(tpv);
6072
6073     return cmp;
6074 }
6075
6076 /*
6077 =for apidoc sv_cmp_locale
6078
6079 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
6080 'use bytes' aware, handles get magic, and will coerce its args to strings
6081 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
6082
6083 =cut
6084 */
6085
6086 I32
6087 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
6088 {
6089     dVAR;
6090 #ifdef USE_LOCALE_COLLATE
6091
6092     char *pv1, *pv2;
6093     STRLEN len1, len2;
6094     I32 retval;
6095
6096     if (PL_collation_standard)
6097         goto raw_compare;
6098
6099     len1 = 0;
6100     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
6101     len2 = 0;
6102     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
6103
6104     if (!pv1 || !len1) {
6105         if (pv2 && len2)
6106             return -1;
6107         else
6108             goto raw_compare;
6109     }
6110     else {
6111         if (!pv2 || !len2)
6112             return 1;
6113     }
6114
6115     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
6116
6117     if (retval)
6118         return retval < 0 ? -1 : 1;
6119
6120     /*
6121      * When the result of collation is equality, that doesn't mean
6122      * that there are no differences -- some locales exclude some
6123      * characters from consideration.  So to avoid false equalities,
6124      * we use the raw string as a tiebreaker.
6125      */
6126
6127   raw_compare:
6128     /*FALLTHROUGH*/
6129
6130 #endif /* USE_LOCALE_COLLATE */
6131
6132     return sv_cmp(sv1, sv2);
6133 }
6134
6135
6136 #ifdef USE_LOCALE_COLLATE
6137
6138 /*
6139 =for apidoc sv_collxfrm
6140
6141 Add Collate Transform magic to an SV if it doesn't already have it.
6142
6143 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
6144 scalar data of the variable, but transformed to such a format that a normal
6145 memory comparison can be used to compare the data according to the locale
6146 settings.
6147
6148 =cut
6149 */
6150
6151 char *
6152 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
6153 {
6154     dVAR;
6155     MAGIC *mg;
6156
6157     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
6158     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
6159         const char *s;
6160         char *xf;
6161         STRLEN len, xlen;
6162
6163         if (mg)
6164             Safefree(mg->mg_ptr);
6165         s = SvPV_const(sv, len);
6166         if ((xf = mem_collxfrm(s, len, &xlen))) {
6167             if (SvREADONLY(sv)) {
6168                 SAVEFREEPV(xf);
6169                 *nxp = xlen;
6170                 return xf + sizeof(PL_collation_ix);
6171             }
6172             if (! mg) {
6173 #ifdef PERL_OLD_COPY_ON_WRITE
6174                 if (SvIsCOW(sv))
6175                     sv_force_normal_flags(sv, 0);
6176 #endif
6177                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
6178                                  0, 0);
6179                 assert(mg);
6180             }
6181             mg->mg_ptr = xf;
6182             mg->mg_len = xlen;
6183         }
6184         else {
6185             if (mg) {
6186                 mg->mg_ptr = NULL;
6187                 mg->mg_len = -1;
6188             }
6189         }
6190     }
6191     if (mg && mg->mg_ptr) {
6192         *nxp = mg->mg_len;
6193         return mg->mg_ptr + sizeof(PL_collation_ix);
6194     }
6195     else {
6196         *nxp = 0;
6197         return NULL;
6198     }
6199 }
6200
6201 #endif /* USE_LOCALE_COLLATE */
6202
6203 /*
6204 =for apidoc sv_gets
6205
6206 Get a line from the filehandle and store it into the SV, optionally
6207 appending to the currently-stored string.
6208
6209 =cut
6210 */
6211
6212 char *
6213 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
6214 {
6215     dVAR;
6216     const char *rsptr;
6217     STRLEN rslen;
6218     register STDCHAR rslast;
6219     register STDCHAR *bp;
6220     register I32 cnt;
6221     I32 i = 0;
6222     I32 rspara = 0;
6223
6224     if (SvTHINKFIRST(sv))
6225         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
6226     /* XXX. If you make this PVIV, then copy on write can copy scalars read
6227        from <>.
6228        However, perlbench says it's slower, because the existing swipe code
6229        is faster than copy on write.
6230        Swings and roundabouts.  */
6231     SvUPGRADE(sv, SVt_PV);
6232
6233     SvSCREAM_off(sv);
6234
6235     if (append) {
6236         if (PerlIO_isutf8(fp)) {
6237             if (!SvUTF8(sv)) {
6238                 sv_utf8_upgrade_nomg(sv);
6239                 sv_pos_u2b(sv,&append,0);
6240             }
6241         } else if (SvUTF8(sv)) {
6242             SV * const tsv = newSV(0);
6243             sv_gets(tsv, fp, 0);
6244             sv_utf8_upgrade_nomg(tsv);
6245             SvCUR_set(sv,append);
6246             sv_catsv(sv,tsv);
6247             sv_free(tsv);
6248             goto return_string_or_null;
6249         }
6250     }
6251
6252     SvPOK_only(sv);
6253     if (PerlIO_isutf8(fp))
6254         SvUTF8_on(sv);
6255
6256     if (IN_PERL_COMPILETIME) {
6257         /* we always read code in line mode */
6258         rsptr = "\n";
6259         rslen = 1;
6260     }
6261     else if (RsSNARF(PL_rs)) {
6262         /* If it is a regular disk file use size from stat() as estimate
6263            of amount we are going to read -- may result in mallocing
6264            more memory than we really need if the layers below reduce
6265            the size we read (e.g. CRLF or a gzip layer).
6266          */
6267         Stat_t st;
6268         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
6269             const Off_t offset = PerlIO_tell(fp);
6270             if (offset != (Off_t) -1 && st.st_size + append > offset) {
6271                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
6272             }
6273         }
6274         rsptr = NULL;
6275         rslen = 0;
6276     }
6277     else if (RsRECORD(PL_rs)) {
6278       I32 bytesread;
6279       char *buffer;
6280       U32 recsize;
6281
6282       /* Grab the size of the record we're getting */
6283       recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
6284       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
6285       /* Go yank in */
6286 #ifdef VMS
6287       /* VMS wants read instead of fread, because fread doesn't respect */
6288       /* RMS record boundaries. This is not necessarily a good thing to be */
6289       /* doing, but we've got no other real choice - except avoid stdio
6290          as implementation - perhaps write a :vms layer ?
6291        */
6292       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
6293 #else
6294       bytesread = PerlIO_read(fp, buffer, recsize);
6295 #endif
6296       if (bytesread < 0)
6297           bytesread = 0;
6298       SvCUR_set(sv, bytesread += append);
6299       buffer[bytesread] = '\0';
6300       goto return_string_or_null;
6301     }
6302     else if (RsPARA(PL_rs)) {
6303         rsptr = "\n\n";
6304         rslen = 2;
6305         rspara = 1;
6306     }
6307     else {
6308         /* Get $/ i.e. PL_rs into same encoding as stream wants */
6309         if (PerlIO_isutf8(fp)) {
6310             rsptr = SvPVutf8(PL_rs, rslen);
6311         }
6312         else {
6313             if (SvUTF8(PL_rs)) {
6314                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
6315                     Perl_croak(aTHX_ "Wide character in $/");
6316                 }
6317             }
6318             rsptr = SvPV_const(PL_rs, rslen);
6319         }
6320     }
6321
6322     rslast = rslen ? rsptr[rslen - 1] : '\0';
6323
6324     if (rspara) {               /* have to do this both before and after */
6325         do {                    /* to make sure file boundaries work right */
6326             if (PerlIO_eof(fp))
6327                 return 0;
6328             i = PerlIO_getc(fp);
6329             if (i != '\n') {
6330                 if (i == -1)
6331                     return 0;
6332                 PerlIO_ungetc(fp,i);
6333                 break;
6334             }
6335         } while (i != EOF);
6336     }
6337
6338     /* See if we know enough about I/O mechanism to cheat it ! */
6339
6340     /* This used to be #ifdef test - it is made run-time test for ease
6341        of abstracting out stdio interface. One call should be cheap
6342        enough here - and may even be a macro allowing compile
6343        time optimization.
6344      */
6345
6346     if (PerlIO_fast_gets(fp)) {
6347
6348     /*
6349      * We're going to steal some values from the stdio struct
6350      * and put EVERYTHING in the innermost loop into registers.
6351      */
6352     register STDCHAR *ptr;
6353     STRLEN bpx;
6354     I32 shortbuffered;
6355
6356 #if defined(VMS) && defined(PERLIO_IS_STDIO)
6357     /* An ungetc()d char is handled separately from the regular
6358      * buffer, so we getc() it back out and stuff it in the buffer.
6359      */
6360     i = PerlIO_getc(fp);
6361     if (i == EOF) return 0;
6362     *(--((*fp)->_ptr)) = (unsigned char) i;
6363     (*fp)->_cnt++;
6364 #endif
6365
6366     /* Here is some breathtakingly efficient cheating */
6367
6368     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
6369     /* make sure we have the room */
6370     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
6371         /* Not room for all of it
6372            if we are looking for a separator and room for some
6373          */
6374         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
6375             /* just process what we have room for */
6376             shortbuffered = cnt - SvLEN(sv) + append + 1;
6377             cnt -= shortbuffered;
6378         }
6379         else {
6380             shortbuffered = 0;
6381             /* remember that cnt can be negative */
6382             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6383         }
6384     }
6385     else
6386         shortbuffered = 0;
6387     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6388     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6389     DEBUG_P(PerlIO_printf(Perl_debug_log,
6390         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6391     DEBUG_P(PerlIO_printf(Perl_debug_log,
6392         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6393                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6394                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6395     for (;;) {
6396       screamer:
6397         if (cnt > 0) {
6398             if (rslen) {
6399                 while (cnt > 0) {                    /* this     |  eat */
6400                     cnt--;
6401                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6402                         goto thats_all_folks;        /* screams  |  sed :-) */
6403                 }
6404             }
6405             else {
6406                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6407                 bp += cnt;                           /* screams  |  dust */
6408                 ptr += cnt;                          /* louder   |  sed :-) */
6409                 cnt = 0;
6410             }
6411         }
6412         
6413         if (shortbuffered) {            /* oh well, must extend */
6414             cnt = shortbuffered;
6415             shortbuffered = 0;
6416             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6417             SvCUR_set(sv, bpx);
6418             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6419             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6420             continue;
6421         }
6422
6423         DEBUG_P(PerlIO_printf(Perl_debug_log,
6424                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6425                               PTR2UV(ptr),(long)cnt));
6426         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6427 #if 0
6428         DEBUG_P(PerlIO_printf(Perl_debug_log,
6429             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6430             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6431             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6432 #endif
6433         /* This used to call 'filbuf' in stdio form, but as that behaves like
6434            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6435            another abstraction.  */
6436         i   = PerlIO_getc(fp);          /* get more characters */
6437 #if 0
6438         DEBUG_P(PerlIO_printf(Perl_debug_log,
6439             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6440             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6441             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6442 #endif
6443         cnt = PerlIO_get_cnt(fp);
6444         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6445         DEBUG_P(PerlIO_printf(Perl_debug_log,
6446             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6447
6448         if (i == EOF)                   /* all done for ever? */
6449             goto thats_really_all_folks;
6450
6451         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6452         SvCUR_set(sv, bpx);
6453         SvGROW(sv, bpx + cnt + 2);
6454         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6455
6456         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6457
6458         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6459             goto thats_all_folks;
6460     }
6461
6462 thats_all_folks:
6463     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6464           memNE((char*)bp - rslen, rsptr, rslen))
6465         goto screamer;                          /* go back to the fray */
6466 thats_really_all_folks:
6467     if (shortbuffered)
6468         cnt += shortbuffered;
6469         DEBUG_P(PerlIO_printf(Perl_debug_log,
6470             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6471     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6472     DEBUG_P(PerlIO_printf(Perl_debug_log,
6473         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6474         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6475         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6476     *bp = '\0';
6477     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6478     DEBUG_P(PerlIO_printf(Perl_debug_log,
6479         "Screamer: done, len=%ld, string=|%.*s|\n",
6480         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6481     }
6482    else
6483     {
6484        /*The big, slow, and stupid way. */
6485 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6486         STDCHAR *buf = NULL;
6487         Newx(buf, 8192, STDCHAR);
6488         assert(buf);
6489 #else
6490         STDCHAR buf[8192];
6491 #endif
6492
6493 screamer2:
6494         if (rslen) {
6495             register const STDCHAR * const bpe = buf + sizeof(buf);
6496             bp = buf;
6497             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6498                 ; /* keep reading */
6499             cnt = bp - buf;
6500         }
6501         else {
6502             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6503             /* Accomodate broken VAXC compiler, which applies U8 cast to
6504              * both args of ?: operator, causing EOF to change into 255
6505              */
6506             if (cnt > 0)
6507                  i = (U8)buf[cnt - 1];
6508             else
6509                  i = EOF;
6510         }
6511
6512         if (cnt < 0)
6513             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6514         if (append)
6515              sv_catpvn(sv, (char *) buf, cnt);
6516         else
6517              sv_setpvn(sv, (char *) buf, cnt);
6518
6519         if (i != EOF &&                 /* joy */
6520             (!rslen ||
6521              SvCUR(sv) < rslen ||
6522              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6523         {
6524             append = -1;
6525             /*
6526              * If we're reading from a TTY and we get a short read,
6527              * indicating that the user hit his EOF character, we need
6528              * to notice it now, because if we try to read from the TTY
6529              * again, the EOF condition will disappear.
6530              *
6531              * The comparison of cnt to sizeof(buf) is an optimization
6532              * that prevents unnecessary calls to feof().
6533              *
6534              * - jik 9/25/96
6535              */
6536             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
6537                 goto screamer2;
6538         }
6539
6540 #ifdef USE_HEAP_INSTEAD_OF_STACK
6541         Safefree(buf);
6542 #endif
6543     }
6544
6545     if (rspara) {               /* have to do this both before and after */
6546         while (i != EOF) {      /* to make sure file boundaries work right */
6547             i = PerlIO_getc(fp);
6548             if (i != '\n') {
6549                 PerlIO_ungetc(fp,i);
6550                 break;
6551             }
6552         }
6553     }
6554
6555 return_string_or_null:
6556     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
6557 }
6558
6559 /*
6560 =for apidoc sv_inc
6561
6562 Auto-increment of the value in the SV, doing string to numeric conversion
6563 if necessary. Handles 'get' magic.
6564
6565 =cut
6566 */
6567
6568 void
6569 Perl_sv_inc(pTHX_ register SV *sv)
6570 {
6571     dVAR;
6572     register char *d;
6573     int flags;
6574
6575     if (!sv)
6576         return;
6577     SvGETMAGIC(sv);
6578     if (SvTHINKFIRST(sv)) {
6579         if (SvIsCOW(sv))
6580             sv_force_normal_flags(sv, 0);
6581         if (SvREADONLY(sv)) {
6582             if (IN_PERL_RUNTIME)
6583                 Perl_croak(aTHX_ PL_no_modify);
6584         }
6585         if (SvROK(sv)) {
6586             IV i;
6587             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6588                 return;
6589             i = PTR2IV(SvRV(sv));
6590             sv_unref(sv);
6591             sv_setiv(sv, i);
6592         }
6593     }
6594     flags = SvFLAGS(sv);
6595     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6596         /* It's (privately or publicly) a float, but not tested as an
6597            integer, so test it to see. */
6598         (void) SvIV(sv);
6599         flags = SvFLAGS(sv);
6600     }
6601     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6602         /* It's publicly an integer, or privately an integer-not-float */
6603 #ifdef PERL_PRESERVE_IVUV
6604       oops_its_int:
6605 #endif
6606         if (SvIsUV(sv)) {
6607             if (SvUVX(sv) == UV_MAX)
6608                 sv_setnv(sv, UV_MAX_P1);
6609             else
6610                 (void)SvIOK_only_UV(sv);
6611                 SvUV_set(sv, SvUVX(sv) + 1);
6612         } else {
6613             if (SvIVX(sv) == IV_MAX)
6614                 sv_setuv(sv, (UV)IV_MAX + 1);
6615             else {
6616                 (void)SvIOK_only(sv);
6617                 SvIV_set(sv, SvIVX(sv) + 1);
6618             }   
6619         }
6620         return;
6621     }
6622     if (flags & SVp_NOK) {
6623         (void)SvNOK_only(sv);
6624         SvNV_set(sv, SvNVX(sv) + 1.0);
6625         return;
6626     }
6627
6628     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6629         if ((flags & SVTYPEMASK) < SVt_PVIV)
6630             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6631         (void)SvIOK_only(sv);
6632         SvIV_set(sv, 1);
6633         return;
6634     }
6635     d = SvPVX(sv);
6636     while (isALPHA(*d)) d++;
6637     while (isDIGIT(*d)) d++;
6638     if (*d) {
6639 #ifdef PERL_PRESERVE_IVUV
6640         /* Got to punt this as an integer if needs be, but we don't issue
6641            warnings. Probably ought to make the sv_iv_please() that does
6642            the conversion if possible, and silently.  */
6643         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6644         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6645             /* Need to try really hard to see if it's an integer.
6646                9.22337203685478e+18 is an integer.
6647                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6648                so $a="9.22337203685478e+18"; $a+0; $a++
6649                needs to be the same as $a="9.22337203685478e+18"; $a++
6650                or we go insane. */
6651         
6652             (void) sv_2iv(sv);
6653             if (SvIOK(sv))
6654                 goto oops_its_int;
6655
6656             /* sv_2iv *should* have made this an NV */
6657             if (flags & SVp_NOK) {
6658                 (void)SvNOK_only(sv);
6659                 SvNV_set(sv, SvNVX(sv) + 1.0);
6660                 return;
6661             }
6662             /* I don't think we can get here. Maybe I should assert this
6663                And if we do get here I suspect that sv_setnv will croak. NWC
6664                Fall through. */
6665 #if defined(USE_LONG_DOUBLE)
6666             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6667                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6668 #else
6669             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6670                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6671 #endif
6672         }
6673 #endif /* PERL_PRESERVE_IVUV */
6674         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6675         return;
6676     }
6677     d--;
6678     while (d >= SvPVX_const(sv)) {
6679         if (isDIGIT(*d)) {
6680             if (++*d <= '9')
6681                 return;
6682             *(d--) = '0';
6683         }
6684         else {
6685 #ifdef EBCDIC
6686             /* MKS: The original code here died if letters weren't consecutive.
6687              * at least it didn't have to worry about non-C locales.  The
6688              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6689              * arranged in order (although not consecutively) and that only
6690              * [A-Za-z] are accepted by isALPHA in the C locale.
6691              */
6692             if (*d != 'z' && *d != 'Z') {
6693                 do { ++*d; } while (!isALPHA(*d));
6694                 return;
6695             }
6696             *(d--) -= 'z' - 'a';
6697 #else
6698             ++*d;
6699             if (isALPHA(*d))
6700                 return;
6701             *(d--) -= 'z' - 'a' + 1;
6702 #endif
6703         }
6704     }
6705     /* oh,oh, the number grew */
6706     SvGROW(sv, SvCUR(sv) + 2);
6707     SvCUR_set(sv, SvCUR(sv) + 1);
6708     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6709         *d = d[-1];
6710     if (isDIGIT(d[1]))
6711         *d = '1';
6712     else
6713         *d = d[1];
6714 }
6715
6716 /*
6717 =for apidoc sv_dec
6718
6719 Auto-decrement of the value in the SV, doing string to numeric conversion
6720 if necessary. Handles 'get' magic.
6721
6722 =cut
6723 */
6724
6725 void
6726 Perl_sv_dec(pTHX_ register SV *sv)
6727 {
6728     dVAR;
6729     int flags;
6730
6731     if (!sv)
6732         return;
6733     SvGETMAGIC(sv);
6734     if (SvTHINKFIRST(sv)) {
6735         if (SvIsCOW(sv))
6736             sv_force_normal_flags(sv, 0);
6737         if (SvREADONLY(sv)) {
6738             if (IN_PERL_RUNTIME)
6739                 Perl_croak(aTHX_ PL_no_modify);
6740         }
6741         if (SvROK(sv)) {
6742             IV i;
6743             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6744                 return;
6745             i = PTR2IV(SvRV(sv));
6746             sv_unref(sv);
6747             sv_setiv(sv, i);
6748         }
6749     }
6750     /* Unlike sv_inc we don't have to worry about string-never-numbers
6751        and keeping them magic. But we mustn't warn on punting */
6752     flags = SvFLAGS(sv);
6753     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6754         /* It's publicly an integer, or privately an integer-not-float */
6755 #ifdef PERL_PRESERVE_IVUV
6756       oops_its_int:
6757 #endif
6758         if (SvIsUV(sv)) {
6759             if (SvUVX(sv) == 0) {
6760                 (void)SvIOK_only(sv);
6761                 SvIV_set(sv, -1);
6762             }
6763             else {
6764                 (void)SvIOK_only_UV(sv);
6765                 SvUV_set(sv, SvUVX(sv) - 1);
6766             }   
6767         } else {
6768             if (SvIVX(sv) == IV_MIN)
6769                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6770             else {
6771                 (void)SvIOK_only(sv);
6772                 SvIV_set(sv, SvIVX(sv) - 1);
6773             }   
6774         }
6775         return;
6776     }
6777     if (flags & SVp_NOK) {
6778         SvNV_set(sv, SvNVX(sv) - 1.0);
6779         (void)SvNOK_only(sv);
6780         return;
6781     }
6782     if (!(flags & SVp_POK)) {
6783         if ((flags & SVTYPEMASK) < SVt_PVIV)
6784             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6785         SvIV_set(sv, -1);
6786         (void)SvIOK_only(sv);
6787         return;
6788     }
6789 #ifdef PERL_PRESERVE_IVUV
6790     {
6791         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6792         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6793             /* Need to try really hard to see if it's an integer.
6794                9.22337203685478e+18 is an integer.
6795                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6796                so $a="9.22337203685478e+18"; $a+0; $a--
6797                needs to be the same as $a="9.22337203685478e+18"; $a--
6798                or we go insane. */
6799         
6800             (void) sv_2iv(sv);
6801             if (SvIOK(sv))
6802                 goto oops_its_int;
6803
6804             /* sv_2iv *should* have made this an NV */
6805             if (flags & SVp_NOK) {
6806                 (void)SvNOK_only(sv);
6807                 SvNV_set(sv, SvNVX(sv) - 1.0);
6808                 return;
6809             }
6810             /* I don't think we can get here. Maybe I should assert this
6811                And if we do get here I suspect that sv_setnv will croak. NWC
6812                Fall through. */
6813 #if defined(USE_LONG_DOUBLE)
6814             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6815                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6816 #else
6817             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6818                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6819 #endif
6820         }
6821     }
6822 #endif /* PERL_PRESERVE_IVUV */
6823     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6824 }
6825
6826 /*
6827 =for apidoc sv_mortalcopy
6828
6829 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6830 The new SV is marked as mortal. It will be destroyed "soon", either by an
6831 explicit call to FREETMPS, or by an implicit call at places such as
6832 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6833
6834 =cut
6835 */
6836
6837 /* Make a string that will exist for the duration of the expression
6838  * evaluation.  Actually, it may have to last longer than that, but
6839  * hopefully we won't free it until it has been assigned to a
6840  * permanent location. */
6841
6842 SV *
6843 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6844 {
6845     dVAR;
6846     register SV *sv;
6847
6848     new_SV(sv);
6849     sv_setsv(sv,oldstr);
6850     EXTEND_MORTAL(1);
6851     PL_tmps_stack[++PL_tmps_ix] = sv;
6852     SvTEMP_on(sv);
6853     return sv;
6854 }
6855
6856 /*
6857 =for apidoc sv_newmortal
6858
6859 Creates a new null SV which is mortal.  The reference count of the SV is
6860 set to 1. It will be destroyed "soon", either by an explicit call to
6861 FREETMPS, or by an implicit call at places such as statement boundaries.
6862 See also C<sv_mortalcopy> and C<sv_2mortal>.
6863
6864 =cut
6865 */
6866
6867 SV *
6868 Perl_sv_newmortal(pTHX)
6869 {
6870     dVAR;
6871     register SV *sv;
6872
6873     new_SV(sv);
6874     SvFLAGS(sv) = SVs_TEMP;
6875     EXTEND_MORTAL(1);
6876     PL_tmps_stack[++PL_tmps_ix] = sv;
6877     return sv;
6878 }
6879
6880 /*
6881 =for apidoc sv_2mortal
6882
6883 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6884 by an explicit call to FREETMPS, or by an implicit call at places such as
6885 statement boundaries.  SvTEMP() is turned on which means that the SV's
6886 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6887 and C<sv_mortalcopy>.
6888
6889 =cut
6890 */
6891
6892 SV *
6893 Perl_sv_2mortal(pTHX_ register SV *sv)
6894 {
6895     dVAR;
6896     if (!sv)
6897         return NULL;
6898     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6899         return sv;
6900     EXTEND_MORTAL(1);
6901     PL_tmps_stack[++PL_tmps_ix] = sv;
6902     SvTEMP_on(sv);
6903     return sv;
6904 }
6905
6906 /*
6907 =for apidoc newSVpv
6908
6909 Creates a new SV and copies a string into it.  The reference count for the
6910 SV is set to 1.  If C<len> is zero, Perl will compute the length using
6911 strlen().  For efficiency, consider using C<newSVpvn> instead.
6912
6913 =cut
6914 */
6915
6916 SV *
6917 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
6918 {
6919     dVAR;
6920     register SV *sv;
6921
6922     new_SV(sv);
6923     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
6924     return sv;
6925 }
6926
6927 /*
6928 =for apidoc newSVpvn
6929
6930 Creates a new SV and copies a string into it.  The reference count for the
6931 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
6932 string.  You are responsible for ensuring that the source string is at least
6933 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
6934
6935 =cut
6936 */
6937
6938 SV *
6939 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
6940 {
6941     dVAR;
6942     register SV *sv;
6943
6944     new_SV(sv);
6945     sv_setpvn(sv,s,len);
6946     return sv;
6947 }
6948
6949
6950 /*
6951 =for apidoc newSVhek
6952
6953 Creates a new SV from the hash key structure.  It will generate scalars that
6954 point to the shared string table where possible. Returns a new (undefined)
6955 SV if the hek is NULL.
6956
6957 =cut
6958 */
6959
6960 SV *
6961 Perl_newSVhek(pTHX_ const HEK *hek)
6962 {
6963     dVAR;
6964     if (!hek) {
6965         SV *sv;
6966
6967         new_SV(sv);
6968         return sv;
6969     }
6970
6971     if (HEK_LEN(hek) == HEf_SVKEY) {
6972         return newSVsv(*(SV**)HEK_KEY(hek));
6973     } else {
6974         const int flags = HEK_FLAGS(hek);
6975         if (flags & HVhek_WASUTF8) {
6976             /* Trouble :-)
6977                Andreas would like keys he put in as utf8 to come back as utf8
6978             */
6979             STRLEN utf8_len = HEK_LEN(hek);
6980             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
6981             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
6982
6983             SvUTF8_on (sv);
6984             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
6985             return sv;
6986         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
6987             /* We don't have a pointer to the hv, so we have to replicate the
6988                flag into every HEK. This hv is using custom a hasing
6989                algorithm. Hence we can't return a shared string scalar, as
6990                that would contain the (wrong) hash value, and might get passed
6991                into an hv routine with a regular hash.
6992                Similarly, a hash that isn't using shared hash keys has to have
6993                the flag in every key so that we know not to try to call
6994                share_hek_kek on it.  */
6995
6996             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
6997             if (HEK_UTF8(hek))
6998                 SvUTF8_on (sv);
6999             return sv;
7000         }
7001         /* This will be overwhelminly the most common case.  */
7002         {
7003             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
7004                more efficient than sharepvn().  */
7005             SV *sv;
7006
7007             new_SV(sv);
7008             sv_upgrade(sv, SVt_PV);
7009             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
7010             SvCUR_set(sv, HEK_LEN(hek));
7011             SvLEN_set(sv, 0);
7012             SvREADONLY_on(sv);
7013             SvFAKE_on(sv);
7014             SvPOK_on(sv);
7015             if (HEK_UTF8(hek))
7016                 SvUTF8_on(sv);
7017             return sv;
7018         }
7019     }
7020 }
7021
7022 /*
7023 =for apidoc newSVpvn_share
7024
7025 Creates a new SV with its SvPVX_const pointing to a shared string in the string
7026 table. If the string does not already exist in the table, it is created
7027 first.  Turns on READONLY and FAKE.  The string's hash is stored in the UV
7028 slot of the SV; if the C<hash> parameter is non-zero, that value is used;
7029 otherwise the hash is computed.  The idea here is that as the string table
7030 is used for shared hash keys these strings will have SvPVX_const == HeKEY and
7031 hash lookup will avoid string compare.
7032
7033 =cut
7034 */
7035
7036 SV *
7037 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
7038 {
7039     dVAR;
7040     register SV *sv;
7041     bool is_utf8 = FALSE;
7042     const char *const orig_src = src;
7043
7044     if (len < 0) {
7045         STRLEN tmplen = -len;
7046         is_utf8 = TRUE;
7047         /* See the note in hv.c:hv_fetch() --jhi */
7048         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
7049         len = tmplen;
7050     }
7051     if (!hash)
7052         PERL_HASH(hash, src, len);
7053     new_SV(sv);
7054     sv_upgrade(sv, SVt_PV);
7055     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
7056     SvCUR_set(sv, len);
7057     SvLEN_set(sv, 0);
7058     SvREADONLY_on(sv);
7059     SvFAKE_on(sv);
7060     SvPOK_on(sv);
7061     if (is_utf8)
7062         SvUTF8_on(sv);
7063     if (src != orig_src)
7064         Safefree(src);
7065     return sv;
7066 }
7067
7068
7069 #if defined(PERL_IMPLICIT_CONTEXT)
7070
7071 /* pTHX_ magic can't cope with varargs, so this is a no-context
7072  * version of the main function, (which may itself be aliased to us).
7073  * Don't access this version directly.
7074  */
7075
7076 SV *
7077 Perl_newSVpvf_nocontext(const char* pat, ...)
7078 {
7079     dTHX;
7080     register SV *sv;
7081     va_list args;
7082     va_start(args, pat);
7083     sv = vnewSVpvf(pat, &args);
7084     va_end(args);
7085     return sv;
7086 }
7087 #endif
7088
7089 /*
7090 =for apidoc newSVpvf
7091
7092 Creates a new SV and initializes it with the string formatted like
7093 C<sprintf>.
7094
7095 =cut
7096 */
7097
7098 SV *
7099 Perl_newSVpvf(pTHX_ const char* pat, ...)
7100 {
7101     register SV *sv;
7102     va_list args;
7103     va_start(args, pat);
7104     sv = vnewSVpvf(pat, &args);
7105     va_end(args);
7106     return sv;
7107 }
7108
7109 /* backend for newSVpvf() and newSVpvf_nocontext() */
7110
7111 SV *
7112 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
7113 {
7114     dVAR;
7115     register SV *sv;
7116     new_SV(sv);
7117     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
7118     return sv;
7119 }
7120
7121 /*
7122 =for apidoc newSVnv
7123
7124 Creates a new SV and copies a floating point value into it.
7125 The reference count for the SV is set to 1.
7126
7127 =cut
7128 */
7129
7130 SV *
7131 Perl_newSVnv(pTHX_ NV n)
7132 {
7133     dVAR;
7134     register SV *sv;
7135
7136     new_SV(sv);
7137     sv_setnv(sv,n);
7138     return sv;
7139 }
7140
7141 /*
7142 =for apidoc newSViv
7143
7144 Creates a new SV and copies an integer into it.  The reference count for the
7145 SV is set to 1.
7146
7147 =cut
7148 */
7149
7150 SV *
7151 Perl_newSViv(pTHX_ IV i)
7152 {
7153     dVAR;
7154     register SV *sv;
7155
7156     new_SV(sv);
7157     sv_setiv(sv,i);
7158     return sv;
7159 }
7160
7161 /*
7162 =for apidoc newSVuv
7163
7164 Creates a new SV and copies an unsigned integer into it.
7165 The reference count for the SV is set to 1.
7166
7167 =cut
7168 */
7169
7170 SV *
7171 Perl_newSVuv(pTHX_ UV u)
7172 {
7173     dVAR;
7174     register SV *sv;
7175
7176     new_SV(sv);
7177     sv_setuv(sv,u);
7178     return sv;
7179 }
7180
7181 /*
7182 =for apidoc newRV_noinc
7183
7184 Creates an RV wrapper for an SV.  The reference count for the original
7185 SV is B<not> incremented.
7186
7187 =cut
7188 */
7189
7190 SV *
7191 Perl_newRV_noinc(pTHX_ SV *tmpRef)
7192 {
7193     dVAR;
7194     register SV *sv;
7195
7196     new_SV(sv);
7197     sv_upgrade(sv, SVt_RV);
7198     SvTEMP_off(tmpRef);
7199     SvRV_set(sv, tmpRef);
7200     SvROK_on(sv);
7201     return sv;
7202 }
7203
7204 /* newRV_inc is the official function name to use now.
7205  * newRV_inc is in fact #defined to newRV in sv.h
7206  */
7207
7208 SV *
7209 Perl_newRV(pTHX_ SV *sv)
7210 {
7211     dVAR;
7212     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
7213 }
7214
7215 /*
7216 =for apidoc newSVsv
7217
7218 Creates a new SV which is an exact duplicate of the original SV.
7219 (Uses C<sv_setsv>).
7220
7221 =cut
7222 */
7223
7224 SV *
7225 Perl_newSVsv(pTHX_ register SV *old)
7226 {
7227     dVAR;
7228     register SV *sv;
7229
7230     if (!old)
7231         return NULL;
7232     if (SvTYPE(old) == SVTYPEMASK) {
7233         if (ckWARN_d(WARN_INTERNAL))
7234             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
7235         return NULL;
7236     }
7237     new_SV(sv);
7238     /* SV_GMAGIC is the default for sv_setv()
7239        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
7240        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
7241     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
7242     return sv;
7243 }
7244
7245 /*
7246 =for apidoc sv_reset
7247
7248 Underlying implementation for the C<reset> Perl function.
7249 Note that the perl-level function is vaguely deprecated.
7250
7251 =cut
7252 */
7253
7254 void
7255 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
7256 {
7257     dVAR;
7258     char todo[PERL_UCHAR_MAX+1];
7259
7260     if (!stash)
7261         return;
7262
7263     if (!*s) {          /* reset ?? searches */
7264         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
7265         if (mg) {
7266             PMOP *pm = (PMOP *) mg->mg_obj;
7267             while (pm) {
7268                 pm->op_pmdynflags &= ~PMdf_USED;
7269                 pm = pm->op_pmnext;
7270             }
7271         }
7272         return;
7273     }
7274
7275     /* reset variables */
7276
7277     if (!HvARRAY(stash))
7278         return;
7279
7280     Zero(todo, 256, char);
7281     while (*s) {
7282         I32 max;
7283         I32 i = (unsigned char)*s;
7284         if (s[1] == '-') {
7285             s += 2;
7286         }
7287         max = (unsigned char)*s++;
7288         for ( ; i <= max; i++) {
7289             todo[i] = 1;
7290         }
7291         for (i = 0; i <= (I32) HvMAX(stash); i++) {
7292             HE *entry;
7293             for (entry = HvARRAY(stash)[i];
7294                  entry;
7295                  entry = HeNEXT(entry))
7296             {
7297                 register GV *gv;
7298                 register SV *sv;
7299
7300                 if (!todo[(U8)*HeKEY(entry)])
7301                     continue;
7302                 gv = (GV*)HeVAL(entry);
7303                 sv = GvSV(gv);
7304                 if (sv) {
7305                     if (SvTHINKFIRST(sv)) {
7306                         if (!SvREADONLY(sv) && SvROK(sv))
7307                             sv_unref(sv);
7308                         /* XXX Is this continue a bug? Why should THINKFIRST
7309                            exempt us from resetting arrays and hashes?  */
7310                         continue;
7311                     }
7312                     SvOK_off(sv);
7313                     if (SvTYPE(sv) >= SVt_PV) {
7314                         SvCUR_set(sv, 0);
7315                         if (SvPVX_const(sv) != NULL)
7316                             *SvPVX(sv) = '\0';
7317                         SvTAINT(sv);
7318                     }
7319                 }
7320                 if (GvAV(gv)) {
7321                     av_clear(GvAV(gv));
7322                 }
7323                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
7324 #if defined(VMS)
7325                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
7326 #else /* ! VMS */
7327                     hv_clear(GvHV(gv));
7328 #  if defined(USE_ENVIRON_ARRAY)
7329                     if (gv == PL_envgv)
7330                         my_clearenv();
7331 #  endif /* USE_ENVIRON_ARRAY */
7332 #endif /* VMS */
7333                 }
7334             }
7335         }
7336     }
7337 }
7338
7339 /*
7340 =for apidoc sv_2io
7341
7342 Using various gambits, try to get an IO from an SV: the IO slot if its a
7343 GV; or the recursive result if we're an RV; or the IO slot of the symbol
7344 named after the PV if we're a string.
7345
7346 =cut
7347 */
7348
7349 IO*
7350 Perl_sv_2io(pTHX_ SV *sv)
7351 {
7352     IO* io;
7353     GV* gv;
7354
7355     switch (SvTYPE(sv)) {
7356     case SVt_PVIO:
7357         io = (IO*)sv;
7358         break;
7359     case SVt_PVGV:
7360         gv = (GV*)sv;
7361         io = GvIO(gv);
7362         if (!io)
7363             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
7364         break;
7365     default:
7366         if (!SvOK(sv))
7367             Perl_croak(aTHX_ PL_no_usym, "filehandle");
7368         if (SvROK(sv))
7369             return sv_2io(SvRV(sv));
7370         gv = gv_fetchsv(sv, 0, SVt_PVIO);
7371         if (gv)
7372             io = GvIO(gv);
7373         else
7374             io = 0;
7375         if (!io)
7376             Perl_croak(aTHX_ "Bad filehandle: %"SVf, (void*)sv);
7377         break;
7378     }
7379     return io;
7380 }
7381
7382 /*
7383 =for apidoc sv_2cv
7384
7385 Using various gambits, try to get a CV from an SV; in addition, try if
7386 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
7387 The flags in C<lref> are passed to sv_fetchsv.
7388
7389 =cut
7390 */
7391
7392 CV *
7393 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
7394 {
7395     dVAR;
7396     GV *gv = NULL;
7397     CV *cv = NULL;
7398
7399     if (!sv) {
7400         *st = NULL;
7401         *gvp = NULL;
7402         return NULL;
7403     }
7404     switch (SvTYPE(sv)) {
7405     case SVt_PVCV:
7406         *st = CvSTASH(sv);
7407         *gvp = NULL;
7408         return (CV*)sv;
7409     case SVt_PVHV:
7410     case SVt_PVAV:
7411         *st = NULL;
7412         *gvp = NULL;
7413         return NULL;
7414     case SVt_PVGV:
7415         gv = (GV*)sv;
7416         *gvp = gv;
7417         *st = GvESTASH(gv);
7418         goto fix_gv;
7419
7420     default:
7421         SvGETMAGIC(sv);
7422         if (SvROK(sv)) {
7423             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7424             tryAMAGICunDEREF(to_cv);
7425
7426             sv = SvRV(sv);
7427             if (SvTYPE(sv) == SVt_PVCV) {
7428                 cv = (CV*)sv;
7429                 *gvp = NULL;
7430                 *st = CvSTASH(cv);
7431                 return cv;
7432             }
7433             else if(isGV(sv))
7434                 gv = (GV*)sv;
7435             else
7436                 Perl_croak(aTHX_ "Not a subroutine reference");
7437         }
7438         else if (isGV(sv))
7439             gv = (GV*)sv;
7440         else
7441             gv = gv_fetchsv(sv, lref, SVt_PVCV);
7442         *gvp = gv;
7443         if (!gv) {
7444             *st = NULL;
7445             return NULL;
7446         }
7447         /* Some flags to gv_fetchsv mean don't really create the GV  */
7448         if (SvTYPE(gv) != SVt_PVGV) {
7449             *st = NULL;
7450             return NULL;
7451         }
7452         *st = GvESTASH(gv);
7453     fix_gv:
7454         if (lref && !GvCVu(gv)) {
7455             SV *tmpsv;
7456             ENTER;
7457             tmpsv = newSV(0);
7458             gv_efullname3(tmpsv, gv, NULL);
7459             /* XXX this is probably not what they think they're getting.
7460              * It has the same effect as "sub name;", i.e. just a forward
7461              * declaration! */
7462             newSUB(start_subparse(FALSE, 0),
7463                    newSVOP(OP_CONST, 0, tmpsv),
7464                    NULL, NULL);
7465             LEAVE;
7466             if (!GvCVu(gv))
7467                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
7468                            (void*)sv);
7469         }
7470         return GvCVu(gv);
7471     }
7472 }
7473
7474 /*
7475 =for apidoc sv_true
7476
7477 Returns true if the SV has a true value by Perl's rules.
7478 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
7479 instead use an in-line version.
7480
7481 =cut
7482 */
7483
7484 I32
7485 Perl_sv_true(pTHX_ register SV *sv)
7486 {
7487     if (!sv)
7488         return 0;
7489     if (SvPOK(sv)) {
7490         register const XPV* const tXpv = (XPV*)SvANY(sv);
7491         if (tXpv &&
7492                 (tXpv->xpv_cur > 1 ||
7493                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7494             return 1;
7495         else
7496             return 0;
7497     }
7498     else {
7499         if (SvIOK(sv))
7500             return SvIVX(sv) != 0;
7501         else {
7502             if (SvNOK(sv))
7503                 return SvNVX(sv) != 0.0;
7504             else
7505                 return sv_2bool(sv);
7506         }
7507     }
7508 }
7509
7510 /*
7511 =for apidoc sv_pvn_force
7512
7513 Get a sensible string out of the SV somehow.
7514 A private implementation of the C<SvPV_force> macro for compilers which
7515 can't cope with complex macro expressions. Always use the macro instead.
7516
7517 =for apidoc sv_pvn_force_flags
7518
7519 Get a sensible string out of the SV somehow.
7520 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7521 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7522 implemented in terms of this function.
7523 You normally want to use the various wrapper macros instead: see
7524 C<SvPV_force> and C<SvPV_force_nomg>
7525
7526 =cut
7527 */
7528
7529 char *
7530 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7531 {
7532     dVAR;
7533     if (SvTHINKFIRST(sv) && !SvROK(sv))
7534         sv_force_normal_flags(sv, 0);
7535
7536     if (SvPOK(sv)) {
7537         if (lp)
7538             *lp = SvCUR(sv);
7539     }
7540     else {
7541         char *s;
7542         STRLEN len;
7543  
7544         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7545             const char * const ref = sv_reftype(sv,0);
7546             if (PL_op)
7547                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7548                            ref, OP_NAME(PL_op));
7549             else
7550                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7551         }
7552         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7553             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7554                 OP_NAME(PL_op));
7555         s = sv_2pv_flags(sv, &len, flags);
7556         if (lp)
7557             *lp = len;
7558
7559         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7560             if (SvROK(sv))
7561                 sv_unref(sv);
7562             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7563             SvGROW(sv, len + 1);
7564             Move(s,SvPVX(sv),len,char);
7565             SvCUR_set(sv, len);
7566             *SvEND(sv) = '\0';
7567         }
7568         if (!SvPOK(sv)) {
7569             SvPOK_on(sv);               /* validate pointer */
7570             SvTAINT(sv);
7571             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7572                                   PTR2UV(sv),SvPVX_const(sv)));
7573         }
7574     }
7575     return SvPVX_mutable(sv);
7576 }
7577
7578 /*
7579 =for apidoc sv_pvbyten_force
7580
7581 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7582
7583 =cut
7584 */
7585
7586 char *
7587 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7588 {
7589     sv_pvn_force(sv,lp);
7590     sv_utf8_downgrade(sv,0);
7591     *lp = SvCUR(sv);
7592     return SvPVX(sv);
7593 }
7594
7595 /*
7596 =for apidoc sv_pvutf8n_force
7597
7598 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7599
7600 =cut
7601 */
7602
7603 char *
7604 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7605 {
7606     sv_pvn_force(sv,lp);
7607     sv_utf8_upgrade(sv);
7608     *lp = SvCUR(sv);
7609     return SvPVX(sv);
7610 }
7611
7612 /*
7613 =for apidoc sv_reftype
7614
7615 Returns a string describing what the SV is a reference to.
7616
7617 =cut
7618 */
7619
7620 const char *
7621 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7622 {
7623     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7624        inside return suggests a const propagation bug in g++.  */
7625     if (ob && SvOBJECT(sv)) {
7626         char * const name = HvNAME_get(SvSTASH(sv));
7627         return name ? name : (char *) "__ANON__";
7628     }
7629     else {
7630         switch (SvTYPE(sv)) {
7631         case SVt_NULL:
7632         case SVt_IV:
7633         case SVt_NV:
7634         case SVt_RV:
7635         case SVt_PV:
7636         case SVt_PVIV:
7637         case SVt_PVNV:
7638         case SVt_PVMG:
7639                                 if (SvVOK(sv))
7640                                     return "VSTRING";
7641                                 if (SvROK(sv))
7642                                     return "REF";
7643                                 else
7644                                     return "SCALAR";
7645
7646         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7647                                 /* tied lvalues should appear to be
7648                                  * scalars for backwards compatitbility */
7649                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7650                                     ? "SCALAR" : "LVALUE");
7651         case SVt_PVAV:          return "ARRAY";
7652         case SVt_PVHV:          return "HASH";
7653         case SVt_PVCV:          return "CODE";
7654         case SVt_PVGV:          return "GLOB";
7655         case SVt_PVFM:          return "FORMAT";
7656         case SVt_PVIO:          return "IO";
7657         case SVt_BIND:          return "BIND";
7658         default:                return "UNKNOWN";
7659         }
7660     }
7661 }
7662
7663 /*
7664 =for apidoc sv_isobject
7665
7666 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7667 object.  If the SV is not an RV, or if the object is not blessed, then this
7668 will return false.
7669
7670 =cut
7671 */
7672
7673 int
7674 Perl_sv_isobject(pTHX_ SV *sv)
7675 {
7676     if (!sv)
7677         return 0;
7678     SvGETMAGIC(sv);
7679     if (!SvROK(sv))
7680         return 0;
7681     sv = (SV*)SvRV(sv);
7682     if (!SvOBJECT(sv))
7683         return 0;
7684     return 1;
7685 }
7686
7687 /*
7688 =for apidoc sv_isa
7689
7690 Returns a boolean indicating whether the SV is blessed into the specified
7691 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7692 an inheritance relationship.
7693
7694 =cut
7695 */
7696
7697 int
7698 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7699 {
7700     const char *hvname;
7701     if (!sv)
7702         return 0;
7703     SvGETMAGIC(sv);
7704     if (!SvROK(sv))
7705         return 0;
7706     sv = (SV*)SvRV(sv);
7707     if (!SvOBJECT(sv))
7708         return 0;
7709     hvname = HvNAME_get(SvSTASH(sv));
7710     if (!hvname)
7711         return 0;
7712
7713     return strEQ(hvname, name);
7714 }
7715
7716 /*
7717 =for apidoc newSVrv
7718
7719 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7720 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7721 be blessed in the specified package.  The new SV is returned and its
7722 reference count is 1.
7723
7724 =cut
7725 */
7726
7727 SV*
7728 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7729 {
7730     dVAR;
7731     SV *sv;
7732
7733     new_SV(sv);
7734
7735     SV_CHECK_THINKFIRST_COW_DROP(rv);
7736     SvAMAGIC_off(rv);
7737
7738     if (SvTYPE(rv) >= SVt_PVMG) {
7739         const U32 refcnt = SvREFCNT(rv);
7740         SvREFCNT(rv) = 0;
7741         sv_clear(rv);
7742         SvFLAGS(rv) = 0;
7743         SvREFCNT(rv) = refcnt;
7744
7745         sv_upgrade(rv, SVt_RV);
7746     } else if (SvROK(rv)) {
7747         SvREFCNT_dec(SvRV(rv));
7748     } else if (SvTYPE(rv) < SVt_RV)
7749         sv_upgrade(rv, SVt_RV);
7750     else if (SvTYPE(rv) > SVt_RV) {
7751         SvPV_free(rv);
7752         SvCUR_set(rv, 0);
7753         SvLEN_set(rv, 0);
7754     }
7755
7756     SvOK_off(rv);
7757     SvRV_set(rv, sv);
7758     SvROK_on(rv);
7759
7760     if (classname) {
7761         HV* const stash = gv_stashpv(classname, TRUE);
7762         (void)sv_bless(rv, stash);
7763     }
7764     return sv;
7765 }
7766
7767 /*
7768 =for apidoc sv_setref_pv
7769
7770 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7771 argument will be upgraded to an RV.  That RV will be modified to point to
7772 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7773 into the SV.  The C<classname> argument indicates the package for the
7774 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7775 will have a reference count of 1, and the RV will be returned.
7776
7777 Do not use with other Perl types such as HV, AV, SV, CV, because those
7778 objects will become corrupted by the pointer copy process.
7779
7780 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7781
7782 =cut
7783 */
7784
7785 SV*
7786 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7787 {
7788     dVAR;
7789     if (!pv) {
7790         sv_setsv(rv, &PL_sv_undef);
7791         SvSETMAGIC(rv);
7792     }
7793     else
7794         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7795     return rv;
7796 }
7797
7798 /*
7799 =for apidoc sv_setref_iv
7800
7801 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7802 argument will be upgraded to an RV.  That RV will be modified to point to
7803 the new SV.  The C<classname> argument indicates the package for the
7804 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7805 will have a reference count of 1, and the RV will be returned.
7806
7807 =cut
7808 */
7809
7810 SV*
7811 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7812 {
7813     sv_setiv(newSVrv(rv,classname), iv);
7814     return rv;
7815 }
7816
7817 /*
7818 =for apidoc sv_setref_uv
7819
7820 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7821 argument will be upgraded to an RV.  That RV will be modified to point to
7822 the new SV.  The C<classname> argument indicates the package for the
7823 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7824 will have a reference count of 1, and the RV will be returned.
7825
7826 =cut
7827 */
7828
7829 SV*
7830 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7831 {
7832     sv_setuv(newSVrv(rv,classname), uv);
7833     return rv;
7834 }
7835
7836 /*
7837 =for apidoc sv_setref_nv
7838
7839 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7840 argument will be upgraded to an RV.  That RV will be modified to point to
7841 the new SV.  The C<classname> argument indicates the package for the
7842 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
7843 will have a reference count of 1, and the RV will be returned.
7844
7845 =cut
7846 */
7847
7848 SV*
7849 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7850 {
7851     sv_setnv(newSVrv(rv,classname), nv);
7852     return rv;
7853 }
7854
7855 /*
7856 =for apidoc sv_setref_pvn
7857
7858 Copies a string into a new SV, optionally blessing the SV.  The length of the
7859 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7860 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7861 argument indicates the package for the blessing.  Set C<classname> to
7862 C<NULL> to avoid the blessing.  The new SV will have a reference count
7863 of 1, and the RV will be returned.
7864
7865 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7866
7867 =cut
7868 */
7869
7870 SV*
7871 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7872 {
7873     sv_setpvn(newSVrv(rv,classname), pv, n);
7874     return rv;
7875 }
7876
7877 /*
7878 =for apidoc sv_bless
7879
7880 Blesses an SV into a specified package.  The SV must be an RV.  The package
7881 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7882 of the SV is unaffected.
7883
7884 =cut
7885 */
7886
7887 SV*
7888 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7889 {
7890     dVAR;
7891     SV *tmpRef;
7892     if (!SvROK(sv))
7893         Perl_croak(aTHX_ "Can't bless non-reference value");
7894     tmpRef = SvRV(sv);
7895     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
7896         if (SvREADONLY(tmpRef))
7897             Perl_croak(aTHX_ PL_no_modify);
7898         if (SvOBJECT(tmpRef)) {
7899             if (SvTYPE(tmpRef) != SVt_PVIO)
7900                 --PL_sv_objcount;
7901             SvREFCNT_dec(SvSTASH(tmpRef));
7902         }
7903     }
7904     SvOBJECT_on(tmpRef);
7905     if (SvTYPE(tmpRef) != SVt_PVIO)
7906         ++PL_sv_objcount;
7907     SvUPGRADE(tmpRef, SVt_PVMG);
7908     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc_simple(stash));
7909
7910     if (Gv_AMG(stash))
7911         SvAMAGIC_on(sv);
7912     else
7913         SvAMAGIC_off(sv);
7914
7915     if(SvSMAGICAL(tmpRef))
7916         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
7917             mg_set(tmpRef);
7918
7919
7920
7921     return sv;
7922 }
7923
7924 /* Downgrades a PVGV to a PVMG.
7925  */
7926
7927 STATIC void
7928 S_sv_unglob(pTHX_ SV *sv)
7929 {
7930     dVAR;
7931     void *xpvmg;
7932     SV * const temp = sv_newmortal();
7933
7934     assert(SvTYPE(sv) == SVt_PVGV);
7935     SvFAKE_off(sv);
7936     gv_efullname3(temp, (GV *) sv, "*");
7937
7938     if (GvGP(sv)) {
7939         gp_free((GV*)sv);
7940     }
7941     if (GvSTASH(sv)) {
7942         sv_del_backref((SV*)GvSTASH(sv), sv);
7943         GvSTASH(sv) = NULL;
7944     }
7945     GvMULTI_off(sv);
7946     if (GvNAME_HEK(sv)) {
7947         unshare_hek(GvNAME_HEK(sv));
7948     }
7949     SvSCREAM_off(sv);
7950
7951     /* need to keep SvANY(sv) in the right arena */
7952     xpvmg = new_XPVMG();
7953     StructCopy(SvANY(sv), xpvmg, XPVMG);
7954     del_XPVGV(SvANY(sv));
7955     SvANY(sv) = xpvmg;
7956
7957     SvFLAGS(sv) &= ~SVTYPEMASK;
7958     SvFLAGS(sv) |= SVt_PVMG;
7959
7960     /* Intentionally not calling any local SET magic, as this isn't so much a
7961        set operation as merely an internal storage change.  */
7962     sv_setsv_flags(sv, temp, 0);
7963 }
7964
7965 /*
7966 =for apidoc sv_unref_flags
7967
7968 Unsets the RV status of the SV, and decrements the reference count of
7969 whatever was being referenced by the RV.  This can almost be thought of
7970 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
7971 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
7972 (otherwise the decrementing is conditional on the reference count being
7973 different from one or the reference being a readonly SV).
7974 See C<SvROK_off>.
7975
7976 =cut
7977 */
7978
7979 void
7980 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
7981 {
7982     SV* const target = SvRV(ref);
7983
7984     if (SvWEAKREF(ref)) {
7985         sv_del_backref(target, ref);
7986         SvWEAKREF_off(ref);
7987         SvRV_set(ref, NULL);
7988         return;
7989     }
7990     SvRV_set(ref, NULL);
7991     SvROK_off(ref);
7992     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
7993        assigned to as BEGIN {$a = \"Foo"} will fail.  */
7994     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
7995         SvREFCNT_dec(target);
7996     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
7997         sv_2mortal(target);     /* Schedule for freeing later */
7998 }
7999
8000 /*
8001 =for apidoc sv_untaint
8002
8003 Untaint an SV. Use C<SvTAINTED_off> instead.
8004 =cut
8005 */
8006
8007 void
8008 Perl_sv_untaint(pTHX_ SV *sv)
8009 {
8010     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8011         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8012         if (mg)
8013             mg->mg_len &= ~1;
8014     }
8015 }
8016
8017 /*
8018 =for apidoc sv_tainted
8019
8020 Test an SV for taintedness. Use C<SvTAINTED> instead.
8021 =cut
8022 */
8023
8024 bool
8025 Perl_sv_tainted(pTHX_ SV *sv)
8026 {
8027     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
8028         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
8029         if (mg && (mg->mg_len & 1) )
8030             return TRUE;
8031     }
8032     return FALSE;
8033 }
8034
8035 /*
8036 =for apidoc sv_setpviv
8037
8038 Copies an integer into the given SV, also updating its string value.
8039 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
8040
8041 =cut
8042 */
8043
8044 void
8045 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
8046 {
8047     char buf[TYPE_CHARS(UV)];
8048     char *ebuf;
8049     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
8050
8051     sv_setpvn(sv, ptr, ebuf - ptr);
8052 }
8053
8054 /*
8055 =for apidoc sv_setpviv_mg
8056
8057 Like C<sv_setpviv>, but also handles 'set' magic.
8058
8059 =cut
8060 */
8061
8062 void
8063 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
8064 {
8065     sv_setpviv(sv, iv);
8066     SvSETMAGIC(sv);
8067 }
8068
8069 #if defined(PERL_IMPLICIT_CONTEXT)
8070
8071 /* pTHX_ magic can't cope with varargs, so this is a no-context
8072  * version of the main function, (which may itself be aliased to us).
8073  * Don't access this version directly.
8074  */
8075
8076 void
8077 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
8078 {
8079     dTHX;
8080     va_list args;
8081     va_start(args, pat);
8082     sv_vsetpvf(sv, pat, &args);
8083     va_end(args);
8084 }
8085
8086 /* pTHX_ magic can't cope with varargs, so this is a no-context
8087  * version of the main function, (which may itself be aliased to us).
8088  * Don't access this version directly.
8089  */
8090
8091 void
8092 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
8093 {
8094     dTHX;
8095     va_list args;
8096     va_start(args, pat);
8097     sv_vsetpvf_mg(sv, pat, &args);
8098     va_end(args);
8099 }
8100 #endif
8101
8102 /*
8103 =for apidoc sv_setpvf
8104
8105 Works like C<sv_catpvf> but copies the text into the SV instead of
8106 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
8107
8108 =cut
8109 */
8110
8111 void
8112 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
8113 {
8114     va_list args;
8115     va_start(args, pat);
8116     sv_vsetpvf(sv, pat, &args);
8117     va_end(args);
8118 }
8119
8120 /*
8121 =for apidoc sv_vsetpvf
8122
8123 Works like C<sv_vcatpvf> but copies the text into the SV instead of
8124 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
8125
8126 Usually used via its frontend C<sv_setpvf>.
8127
8128 =cut
8129 */
8130
8131 void
8132 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8133 {
8134     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8135 }
8136
8137 /*
8138 =for apidoc sv_setpvf_mg
8139
8140 Like C<sv_setpvf>, but also handles 'set' magic.
8141
8142 =cut
8143 */
8144
8145 void
8146 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8147 {
8148     va_list args;
8149     va_start(args, pat);
8150     sv_vsetpvf_mg(sv, pat, &args);
8151     va_end(args);
8152 }
8153
8154 /*
8155 =for apidoc sv_vsetpvf_mg
8156
8157 Like C<sv_vsetpvf>, but also handles 'set' magic.
8158
8159 Usually used via its frontend C<sv_setpvf_mg>.
8160
8161 =cut
8162 */
8163
8164 void
8165 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8166 {
8167     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8168     SvSETMAGIC(sv);
8169 }
8170
8171 #if defined(PERL_IMPLICIT_CONTEXT)
8172
8173 /* pTHX_ magic can't cope with varargs, so this is a no-context
8174  * version of the main function, (which may itself be aliased to us).
8175  * Don't access this version directly.
8176  */
8177
8178 void
8179 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
8180 {
8181     dTHX;
8182     va_list args;
8183     va_start(args, pat);
8184     sv_vcatpvf(sv, pat, &args);
8185     va_end(args);
8186 }
8187
8188 /* pTHX_ magic can't cope with varargs, so this is a no-context
8189  * version of the main function, (which may itself be aliased to us).
8190  * Don't access this version directly.
8191  */
8192
8193 void
8194 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
8195 {
8196     dTHX;
8197     va_list args;
8198     va_start(args, pat);
8199     sv_vcatpvf_mg(sv, pat, &args);
8200     va_end(args);
8201 }
8202 #endif
8203
8204 /*
8205 =for apidoc sv_catpvf
8206
8207 Processes its arguments like C<sprintf> and appends the formatted
8208 output to an SV.  If the appended data contains "wide" characters
8209 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
8210 and characters >255 formatted with %c), the original SV might get
8211 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
8212 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
8213 valid UTF-8; if the original SV was bytes, the pattern should be too.
8214
8215 =cut */
8216
8217 void
8218 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
8219 {
8220     va_list args;
8221     va_start(args, pat);
8222     sv_vcatpvf(sv, pat, &args);
8223     va_end(args);
8224 }
8225
8226 /*
8227 =for apidoc sv_vcatpvf
8228
8229 Processes its arguments like C<vsprintf> and appends the formatted output
8230 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
8231
8232 Usually used via its frontend C<sv_catpvf>.
8233
8234 =cut
8235 */
8236
8237 void
8238 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
8239 {
8240     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8241 }
8242
8243 /*
8244 =for apidoc sv_catpvf_mg
8245
8246 Like C<sv_catpvf>, but also handles 'set' magic.
8247
8248 =cut
8249 */
8250
8251 void
8252 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
8253 {
8254     va_list args;
8255     va_start(args, pat);
8256     sv_vcatpvf_mg(sv, pat, &args);
8257     va_end(args);
8258 }
8259
8260 /*
8261 =for apidoc sv_vcatpvf_mg
8262
8263 Like C<sv_vcatpvf>, but also handles 'set' magic.
8264
8265 Usually used via its frontend C<sv_catpvf_mg>.
8266
8267 =cut
8268 */
8269
8270 void
8271 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
8272 {
8273     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8274     SvSETMAGIC(sv);
8275 }
8276
8277 /*
8278 =for apidoc sv_vsetpvfn
8279
8280 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
8281 appending it.
8282
8283 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
8284
8285 =cut
8286 */
8287
8288 void
8289 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8290 {
8291     sv_setpvn(sv, "", 0);
8292     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
8293 }
8294
8295 STATIC I32
8296 S_expect_number(pTHX_ char** pattern)
8297 {
8298     dVAR;
8299     I32 var = 0;
8300     switch (**pattern) {
8301     case '1': case '2': case '3':
8302     case '4': case '5': case '6':
8303     case '7': case '8': case '9':
8304         var = *(*pattern)++ - '0';
8305         while (isDIGIT(**pattern)) {
8306             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
8307             if (tmp < var)
8308                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
8309             var = tmp;
8310         }
8311     }
8312     return var;
8313 }
8314
8315 STATIC char *
8316 S_F0convert(NV nv, char *endbuf, STRLEN *len)
8317 {
8318     const int neg = nv < 0;
8319     UV uv;
8320
8321     if (neg)
8322         nv = -nv;
8323     if (nv < UV_MAX) {
8324         char *p = endbuf;
8325         nv += 0.5;
8326         uv = (UV)nv;
8327         if (uv & 1 && uv == nv)
8328             uv--;                       /* Round to even */
8329         do {
8330             const unsigned dig = uv % 10;
8331             *--p = '0' + dig;
8332         } while (uv /= 10);
8333         if (neg)
8334             *--p = '-';
8335         *len = endbuf - p;
8336         return p;
8337     }
8338     return NULL;
8339 }
8340
8341
8342 /*
8343 =for apidoc sv_vcatpvfn
8344
8345 Processes its arguments like C<vsprintf> and appends the formatted output
8346 to an SV.  Uses an array of SVs if the C style variable argument list is
8347 missing (NULL).  When running with taint checks enabled, indicates via
8348 C<maybe_tainted> if results are untrustworthy (often due to the use of
8349 locales).
8350
8351 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
8352
8353 =cut
8354 */
8355
8356
8357 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
8358                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
8359                         vec_utf8 = DO_UTF8(vecsv);
8360
8361 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
8362
8363 void
8364 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
8365 {
8366     dVAR;
8367     char *p;
8368     char *q;
8369     const char *patend;
8370     STRLEN origlen;
8371     I32 svix = 0;
8372     static const char nullstr[] = "(null)";
8373     SV *argsv = NULL;
8374     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
8375     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
8376     SV *nsv = NULL;
8377     /* Times 4: a decimal digit takes more than 3 binary digits.
8378      * NV_DIG: mantissa takes than many decimal digits.
8379      * Plus 32: Playing safe. */
8380     char ebuf[IV_DIG * 4 + NV_DIG + 32];
8381     /* large enough for "%#.#f" --chip */
8382     /* what about long double NVs? --jhi */
8383
8384     PERL_UNUSED_ARG(maybe_tainted);
8385
8386     /* no matter what, this is a string now */
8387     (void)SvPV_force(sv, origlen);
8388
8389     /* special-case "", "%s", and "%-p" (SVf - see below) */
8390     if (patlen == 0)
8391         return;
8392     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
8393         if (args) {
8394             const char * const s = va_arg(*args, char*);
8395             sv_catpv(sv, s ? s : nullstr);
8396         }
8397         else if (svix < svmax) {
8398             sv_catsv(sv, *svargs);
8399         }
8400         return;
8401     }
8402     if (args && patlen == 3 && pat[0] == '%' &&
8403                 pat[1] == '-' && pat[2] == 'p') {
8404         argsv = va_arg(*args, SV*);
8405         sv_catsv(sv, argsv);
8406         return;
8407     }
8408
8409 #ifndef USE_LONG_DOUBLE
8410     /* special-case "%.<number>[gf]" */
8411     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
8412          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
8413         unsigned digits = 0;
8414         const char *pp;
8415
8416         pp = pat + 2;
8417         while (*pp >= '0' && *pp <= '9')
8418             digits = 10 * digits + (*pp++ - '0');
8419         if (pp - pat == (int)patlen - 1) {
8420             NV nv;
8421
8422             if (svix < svmax)
8423                 nv = SvNV(*svargs);
8424             else
8425                 return;
8426             if (*pp == 'g') {
8427                 /* Add check for digits != 0 because it seems that some
8428                    gconverts are buggy in this case, and we don't yet have
8429                    a Configure test for this.  */
8430                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
8431                      /* 0, point, slack */
8432                     Gconvert(nv, (int)digits, 0, ebuf);
8433                     sv_catpv(sv, ebuf);
8434                     if (*ebuf)  /* May return an empty string for digits==0 */
8435                         return;
8436                 }
8437             } else if (!digits) {
8438                 STRLEN l;
8439
8440                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
8441                     sv_catpvn(sv, p, l);
8442                     return;
8443                 }
8444             }
8445         }
8446     }
8447 #endif /* !USE_LONG_DOUBLE */
8448
8449     if (!args && svix < svmax && DO_UTF8(*svargs))
8450         has_utf8 = TRUE;
8451
8452     patend = (char*)pat + patlen;
8453     for (p = (char*)pat; p < patend; p = q) {
8454         bool alt = FALSE;
8455         bool left = FALSE;
8456         bool vectorize = FALSE;
8457         bool vectorarg = FALSE;
8458         bool vec_utf8 = FALSE;
8459         char fill = ' ';
8460         char plus = 0;
8461         char intsize = 0;
8462         STRLEN width = 0;
8463         STRLEN zeros = 0;
8464         bool has_precis = FALSE;
8465         STRLEN precis = 0;
8466         const I32 osvix = svix;
8467         bool is_utf8 = FALSE;  /* is this item utf8?   */
8468 #ifdef HAS_LDBL_SPRINTF_BUG
8469         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8470            with sfio - Allen <allens@cpan.org> */
8471         bool fix_ldbl_sprintf_bug = FALSE;
8472 #endif
8473
8474         char esignbuf[4];
8475         U8 utf8buf[UTF8_MAXBYTES+1];
8476         STRLEN esignlen = 0;
8477
8478         const char *eptr = NULL;
8479         STRLEN elen = 0;
8480         SV *vecsv = NULL;
8481         const U8 *vecstr = NULL;
8482         STRLEN veclen = 0;
8483         char c = 0;
8484         int i;
8485         unsigned base = 0;
8486         IV iv = 0;
8487         UV uv = 0;
8488         /* we need a long double target in case HAS_LONG_DOUBLE but
8489            not USE_LONG_DOUBLE
8490         */
8491 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
8492         long double nv;
8493 #else
8494         NV nv;
8495 #endif
8496         STRLEN have;
8497         STRLEN need;
8498         STRLEN gap;
8499         const char *dotstr = ".";
8500         STRLEN dotstrlen = 1;
8501         I32 efix = 0; /* explicit format parameter index */
8502         I32 ewix = 0; /* explicit width index */
8503         I32 epix = 0; /* explicit precision index */
8504         I32 evix = 0; /* explicit vector index */
8505         bool asterisk = FALSE;
8506
8507         /* echo everything up to the next format specification */
8508         for (q = p; q < patend && *q != '%'; ++q) ;
8509         if (q > p) {
8510             if (has_utf8 && !pat_utf8)
8511                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8512             else
8513                 sv_catpvn(sv, p, q - p);
8514             p = q;
8515         }
8516         if (q++ >= patend)
8517             break;
8518
8519 /*
8520     We allow format specification elements in this order:
8521         \d+\$              explicit format parameter index
8522         [-+ 0#]+           flags
8523         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8524         0                  flag (as above): repeated to allow "v02"     
8525         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8526         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8527         [hlqLV]            size
8528     [%bcdefginopsuxDFOUX] format (mandatory)
8529 */
8530
8531         if (args) {
8532 /*  
8533         As of perl5.9.3, printf format checking is on by default.
8534         Internally, perl uses %p formats to provide an escape to
8535         some extended formatting.  This block deals with those
8536         extensions: if it does not match, (char*)q is reset and
8537         the normal format processing code is used.
8538
8539         Currently defined extensions are:
8540                 %p              include pointer address (standard)      
8541                 %-p     (SVf)   include an SV (previously %_)
8542                 %-<num>p        include an SV with precision <num>      
8543                 %1p     (VDf)   include a v-string (as %vd)
8544                 %<num>p         reserved for future extensions
8545
8546         Robin Barker 2005-07-14
8547 */
8548             char* r = q; 
8549             bool sv = FALSE;    
8550             STRLEN n = 0;
8551             if (*q == '-')
8552                 sv = *q++;
8553             n = expect_number(&q);
8554             if (*q++ == 'p') {
8555                 if (sv) {                       /* SVf */
8556                     if (n) {
8557                         precis = n;
8558                         has_precis = TRUE;
8559                     }
8560                     argsv = va_arg(*args, SV*);
8561                     eptr = SvPVx_const(argsv, elen);
8562                     if (DO_UTF8(argsv))
8563                         is_utf8 = TRUE;
8564                     goto string;
8565                 }
8566 #if vdNUMBER
8567                 else if (n == vdNUMBER) {       /* VDf */
8568                     vectorize = TRUE;
8569                     VECTORIZE_ARGS
8570                     goto format_vd;
8571                 }
8572 #endif
8573                 else if (n) {
8574                     if (ckWARN_d(WARN_INTERNAL))
8575                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8576                         "internal %%<num>p might conflict with future printf extensions");
8577                 }
8578             }
8579             q = r; 
8580         }
8581
8582         if ( (width = expect_number(&q)) ) {
8583             if (*q == '$') {
8584                 ++q;
8585                 efix = width;
8586             } else {
8587                 goto gotwidth;
8588             }
8589         }
8590
8591         /* FLAGS */
8592
8593         while (*q) {
8594             switch (*q) {
8595             case ' ':
8596             case '+':
8597                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
8598                     q++;
8599                 else
8600                     plus = *q++;
8601                 continue;
8602
8603             case '-':
8604                 left = TRUE;
8605                 q++;
8606                 continue;
8607
8608             case '0':
8609                 fill = *q++;
8610                 continue;
8611
8612             case '#':
8613                 alt = TRUE;
8614                 q++;
8615                 continue;
8616
8617             default:
8618                 break;
8619             }
8620             break;
8621         }
8622
8623       tryasterisk:
8624         if (*q == '*') {
8625             q++;
8626             if ( (ewix = expect_number(&q)) )
8627                 if (*q++ != '$')
8628                     goto unknown;
8629             asterisk = TRUE;
8630         }
8631         if (*q == 'v') {
8632             q++;
8633             if (vectorize)
8634                 goto unknown;
8635             if ((vectorarg = asterisk)) {
8636                 evix = ewix;
8637                 ewix = 0;
8638                 asterisk = FALSE;
8639             }
8640             vectorize = TRUE;
8641             goto tryasterisk;
8642         }
8643
8644         if (!asterisk)
8645         {
8646             if( *q == '0' )
8647                 fill = *q++;
8648             width = expect_number(&q);
8649         }
8650
8651         if (vectorize) {
8652             if (vectorarg) {
8653                 if (args)
8654                     vecsv = va_arg(*args, SV*);
8655                 else if (evix) {
8656                     vecsv = (evix > 0 && evix <= svmax)
8657                         ? svargs[evix-1] : &PL_sv_undef;
8658                 } else {
8659                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8660                 }
8661                 dotstr = SvPV_const(vecsv, dotstrlen);
8662                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8663                    bad with tied or overloaded values that return UTF8.  */
8664                 if (DO_UTF8(vecsv))
8665                     is_utf8 = TRUE;
8666                 else if (has_utf8) {
8667                     vecsv = sv_mortalcopy(vecsv);
8668                     sv_utf8_upgrade(vecsv);
8669                     dotstr = SvPV_const(vecsv, dotstrlen);
8670                     is_utf8 = TRUE;
8671                 }                   
8672             }
8673             if (args) {
8674                 VECTORIZE_ARGS
8675             }
8676             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8677                 vecsv = svargs[efix ? efix-1 : svix++];
8678                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8679                 vec_utf8 = DO_UTF8(vecsv);
8680
8681                 /* if this is a version object, we need to convert
8682                  * back into v-string notation and then let the
8683                  * vectorize happen normally
8684                  */
8685                 if (sv_derived_from(vecsv, "version")) {
8686                     char *version = savesvpv(vecsv);
8687                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8688                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8689                         "vector argument not supported with alpha versions");
8690                         goto unknown;
8691                     }
8692                     vecsv = sv_newmortal();
8693                     /* scan_vstring is expected to be called during
8694                      * tokenization, so we need to fake up the end
8695                      * of the buffer for it
8696                      */
8697                     PL_bufend = version + veclen;
8698                     scan_vstring(version, vecsv);
8699                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8700                     vec_utf8 = DO_UTF8(vecsv);
8701                     Safefree(version);
8702                 }
8703             }
8704             else {
8705                 vecstr = (U8*)"";
8706                 veclen = 0;
8707             }
8708         }
8709
8710         if (asterisk) {
8711             if (args)
8712                 i = va_arg(*args, int);
8713             else
8714                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8715                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8716             left |= (i < 0);
8717             width = (i < 0) ? -i : i;
8718         }
8719       gotwidth:
8720
8721         /* PRECISION */
8722
8723         if (*q == '.') {
8724             q++;
8725             if (*q == '*') {
8726                 q++;
8727                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8728                     goto unknown;
8729                 /* XXX: todo, support specified precision parameter */
8730                 if (epix)
8731                     goto unknown;
8732                 if (args)
8733                     i = va_arg(*args, int);
8734                 else
8735                     i = (ewix ? ewix <= svmax : svix < svmax)
8736                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8737                 precis = i;
8738                 has_precis = !(i < 0);
8739             }
8740             else {
8741                 precis = 0;
8742                 while (isDIGIT(*q))
8743                     precis = precis * 10 + (*q++ - '0');
8744                 has_precis = TRUE;
8745             }
8746         }
8747
8748         /* SIZE */
8749
8750         switch (*q) {
8751 #ifdef WIN32
8752         case 'I':                       /* Ix, I32x, and I64x */
8753 #  ifdef WIN64
8754             if (q[1] == '6' && q[2] == '4') {
8755                 q += 3;
8756                 intsize = 'q';
8757                 break;
8758             }
8759 #  endif
8760             if (q[1] == '3' && q[2] == '2') {
8761                 q += 3;
8762                 break;
8763             }
8764 #  ifdef WIN64
8765             intsize = 'q';
8766 #  endif
8767             q++;
8768             break;
8769 #endif
8770 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8771         case 'L':                       /* Ld */
8772             /*FALLTHROUGH*/
8773 #ifdef HAS_QUAD
8774         case 'q':                       /* qd */
8775 #endif
8776             intsize = 'q';
8777             q++;
8778             break;
8779 #endif
8780         case 'l':
8781 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8782             if (*(q + 1) == 'l') {      /* lld, llf */
8783                 intsize = 'q';
8784                 q += 2;
8785                 break;
8786              }
8787 #endif
8788             /*FALLTHROUGH*/
8789         case 'h':
8790             /*FALLTHROUGH*/
8791         case 'V':
8792             intsize = *q++;
8793             break;
8794         }
8795
8796         /* CONVERSION */
8797
8798         if (*q == '%') {
8799             eptr = q++;
8800             elen = 1;
8801             if (vectorize) {
8802                 c = '%';
8803                 goto unknown;
8804             }
8805             goto string;
8806         }
8807
8808         if (!vectorize && !args) {
8809             if (efix) {
8810                 const I32 i = efix-1;
8811                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8812             } else {
8813                 argsv = (svix >= 0 && svix < svmax)
8814                     ? svargs[svix++] : &PL_sv_undef;
8815             }
8816         }
8817
8818         switch (c = *q++) {
8819
8820             /* STRINGS */
8821
8822         case 'c':
8823             if (vectorize)
8824                 goto unknown;
8825             uv = (args) ? va_arg(*args, int) : SvIVx(argsv);
8826             if ((uv > 255 ||
8827                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8828                 && !IN_BYTES) {
8829                 eptr = (char*)utf8buf;
8830                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8831                 is_utf8 = TRUE;
8832             }
8833             else {
8834                 c = (char)uv;
8835                 eptr = &c;
8836                 elen = 1;
8837             }
8838             goto string;
8839
8840         case 's':
8841             if (vectorize)
8842                 goto unknown;
8843             if (args) {
8844                 eptr = va_arg(*args, char*);
8845                 if (eptr)
8846 #ifdef MACOS_TRADITIONAL
8847                   /* On MacOS, %#s format is used for Pascal strings */
8848                   if (alt)
8849                     elen = *eptr++;
8850                   else
8851 #endif
8852                     elen = strlen(eptr);
8853                 else {
8854                     eptr = (char *)nullstr;
8855                     elen = sizeof nullstr - 1;
8856                 }
8857             }
8858             else {
8859                 eptr = SvPVx_const(argsv, elen);
8860                 if (DO_UTF8(argsv)) {
8861                     I32 old_precis = precis;
8862                     if (has_precis && precis < elen) {
8863                         I32 p = precis;
8864                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8865                         precis = p;
8866                     }
8867                     if (width) { /* fudge width (can't fudge elen) */
8868                         if (has_precis && precis < elen)
8869                             width += precis - old_precis;
8870                         else
8871                             width += elen - sv_len_utf8(argsv);
8872                     }
8873                     is_utf8 = TRUE;
8874                 }
8875             }
8876
8877         string:
8878             if (has_precis && elen > precis)
8879                 elen = precis;
8880             break;
8881
8882             /* INTEGERS */
8883
8884         case 'p':
8885             if (alt || vectorize)
8886                 goto unknown;
8887             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8888             base = 16;
8889             goto integer;
8890
8891         case 'D':
8892 #ifdef IV_IS_QUAD
8893             intsize = 'q';
8894 #else
8895             intsize = 'l';
8896 #endif
8897             /*FALLTHROUGH*/
8898         case 'd':
8899         case 'i':
8900 #if vdNUMBER
8901         format_vd:
8902 #endif
8903             if (vectorize) {
8904                 STRLEN ulen;
8905                 if (!veclen)
8906                     continue;
8907                 if (vec_utf8)
8908                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8909                                         UTF8_ALLOW_ANYUV);
8910                 else {
8911                     uv = *vecstr;
8912                     ulen = 1;
8913                 }
8914                 vecstr += ulen;
8915                 veclen -= ulen;
8916                 if (plus)
8917                      esignbuf[esignlen++] = plus;
8918             }
8919             else if (args) {
8920                 switch (intsize) {
8921                 case 'h':       iv = (short)va_arg(*args, int); break;
8922                 case 'l':       iv = va_arg(*args, long); break;
8923                 case 'V':       iv = va_arg(*args, IV); break;
8924                 default:        iv = va_arg(*args, int); break;
8925 #ifdef HAS_QUAD
8926                 case 'q':       iv = va_arg(*args, Quad_t); break;
8927 #endif
8928                 }
8929             }
8930             else {
8931                 IV tiv = SvIVx(argsv); /* work around GCC bug #13488 */
8932                 switch (intsize) {
8933                 case 'h':       iv = (short)tiv; break;
8934                 case 'l':       iv = (long)tiv; break;
8935                 case 'V':
8936                 default:        iv = tiv; break;
8937 #ifdef HAS_QUAD
8938                 case 'q':       iv = (Quad_t)tiv; break;
8939 #endif
8940                 }
8941             }
8942             if ( !vectorize )   /* we already set uv above */
8943             {
8944                 if (iv >= 0) {
8945                     uv = iv;
8946                     if (plus)
8947                         esignbuf[esignlen++] = plus;
8948                 }
8949                 else {
8950                     uv = -iv;
8951                     esignbuf[esignlen++] = '-';
8952                 }
8953             }
8954             base = 10;
8955             goto integer;
8956
8957         case 'U':
8958 #ifdef IV_IS_QUAD
8959             intsize = 'q';
8960 #else
8961             intsize = 'l';
8962 #endif
8963             /*FALLTHROUGH*/
8964         case 'u':
8965             base = 10;
8966             goto uns_integer;
8967
8968         case 'B':
8969         case 'b':
8970             base = 2;
8971             goto uns_integer;
8972
8973         case 'O':
8974 #ifdef IV_IS_QUAD
8975             intsize = 'q';
8976 #else
8977             intsize = 'l';
8978 #endif
8979             /*FALLTHROUGH*/
8980         case 'o':
8981             base = 8;
8982             goto uns_integer;
8983
8984         case 'X':
8985         case 'x':
8986             base = 16;
8987
8988         uns_integer:
8989             if (vectorize) {
8990                 STRLEN ulen;
8991         vector:
8992                 if (!veclen)
8993                     continue;
8994                 if (vec_utf8)
8995                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8996                                         UTF8_ALLOW_ANYUV);
8997                 else {
8998                     uv = *vecstr;
8999                     ulen = 1;
9000                 }
9001                 vecstr += ulen;
9002                 veclen -= ulen;
9003             }
9004             else if (args) {
9005                 switch (intsize) {
9006                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
9007                 case 'l':  uv = va_arg(*args, unsigned long); break;
9008                 case 'V':  uv = va_arg(*args, UV); break;
9009                 default:   uv = va_arg(*args, unsigned); break;
9010 #ifdef HAS_QUAD
9011                 case 'q':  uv = va_arg(*args, Uquad_t); break;
9012 #endif
9013                 }
9014             }
9015             else {
9016                 UV tuv = SvUVx(argsv); /* work around GCC bug #13488 */
9017                 switch (intsize) {
9018                 case 'h':       uv = (unsigned short)tuv; break;
9019                 case 'l':       uv = (unsigned long)tuv; break;
9020                 case 'V':
9021                 default:        uv = tuv; break;
9022 #ifdef HAS_QUAD
9023                 case 'q':       uv = (Uquad_t)tuv; break;
9024 #endif
9025                 }
9026             }
9027
9028         integer:
9029             {
9030                 char *ptr = ebuf + sizeof ebuf;
9031                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
9032                 zeros = 0;
9033
9034                 switch (base) {
9035                     unsigned dig;
9036                 case 16:
9037                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
9038                     do {
9039                         dig = uv & 15;
9040                         *--ptr = p[dig];
9041                     } while (uv >>= 4);
9042                     if (tempalt) {
9043                         esignbuf[esignlen++] = '0';
9044                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
9045                     }
9046                     break;
9047                 case 8:
9048                     do {
9049                         dig = uv & 7;
9050                         *--ptr = '0' + dig;
9051                     } while (uv >>= 3);
9052                     if (alt && *ptr != '0')
9053                         *--ptr = '0';
9054                     break;
9055                 case 2:
9056                     do {
9057                         dig = uv & 1;
9058                         *--ptr = '0' + dig;
9059                     } while (uv >>= 1);
9060                     if (tempalt) {
9061                         esignbuf[esignlen++] = '0';
9062                         esignbuf[esignlen++] = c;
9063                     }
9064                     break;
9065                 default:                /* it had better be ten or less */
9066                     do {
9067                         dig = uv % base;
9068                         *--ptr = '0' + dig;
9069                     } while (uv /= base);
9070                     break;
9071                 }
9072                 elen = (ebuf + sizeof ebuf) - ptr;
9073                 eptr = ptr;
9074                 if (has_precis) {
9075                     if (precis > elen)
9076                         zeros = precis - elen;
9077                     else if (precis == 0 && elen == 1 && *eptr == '0'
9078                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
9079                         elen = 0;
9080
9081                 /* a precision nullifies the 0 flag. */
9082                     if (fill == '0')
9083                         fill = ' ';
9084                 }
9085             }
9086             break;
9087
9088             /* FLOATING POINT */
9089
9090         case 'F':
9091             c = 'f';            /* maybe %F isn't supported here */
9092             /*FALLTHROUGH*/
9093         case 'e': case 'E':
9094         case 'f':
9095         case 'g': case 'G':
9096             if (vectorize)
9097                 goto unknown;
9098
9099             /* This is evil, but floating point is even more evil */
9100
9101             /* for SV-style calling, we can only get NV
9102                for C-style calling, we assume %f is double;
9103                for simplicity we allow any of %Lf, %llf, %qf for long double
9104             */
9105             switch (intsize) {
9106             case 'V':
9107 #if defined(USE_LONG_DOUBLE)
9108                 intsize = 'q';
9109 #endif
9110                 break;
9111 /* [perl #20339] - we should accept and ignore %lf rather than die */
9112             case 'l':
9113                 /*FALLTHROUGH*/
9114             default:
9115 #if defined(USE_LONG_DOUBLE)
9116                 intsize = args ? 0 : 'q';
9117 #endif
9118                 break;
9119             case 'q':
9120 #if defined(HAS_LONG_DOUBLE)
9121                 break;
9122 #else
9123                 /*FALLTHROUGH*/
9124 #endif
9125             case 'h':
9126                 goto unknown;
9127             }
9128
9129             /* now we need (long double) if intsize == 'q', else (double) */
9130             nv = (args) ?
9131 #if LONG_DOUBLESIZE > DOUBLESIZE
9132                 intsize == 'q' ?
9133                     va_arg(*args, long double) :
9134                     va_arg(*args, double)
9135 #else
9136                     va_arg(*args, double)
9137 #endif
9138                 : SvNVx(argsv);
9139
9140             need = 0;
9141             if (c != 'e' && c != 'E') {
9142                 i = PERL_INT_MIN;
9143                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
9144                    will cast our (long double) to (double) */
9145                 (void)Perl_frexp(nv, &i);
9146                 if (i == PERL_INT_MIN)
9147                     Perl_die(aTHX_ "panic: frexp");
9148                 if (i > 0)
9149                     need = BIT_DIGITS(i);
9150             }
9151             need += has_precis ? precis : 6; /* known default */
9152
9153             if (need < width)
9154                 need = width;
9155
9156 #ifdef HAS_LDBL_SPRINTF_BUG
9157             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
9158                with sfio - Allen <allens@cpan.org> */
9159
9160 #  ifdef DBL_MAX
9161 #    define MY_DBL_MAX DBL_MAX
9162 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
9163 #    if DOUBLESIZE >= 8
9164 #      define MY_DBL_MAX 1.7976931348623157E+308L
9165 #    else
9166 #      define MY_DBL_MAX 3.40282347E+38L
9167 #    endif
9168 #  endif
9169
9170 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
9171 #    define MY_DBL_MAX_BUG 1L
9172 #  else
9173 #    define MY_DBL_MAX_BUG MY_DBL_MAX
9174 #  endif
9175
9176 #  ifdef DBL_MIN
9177 #    define MY_DBL_MIN DBL_MIN
9178 #  else  /* XXX guessing! -Allen */
9179 #    if DOUBLESIZE >= 8
9180 #      define MY_DBL_MIN 2.2250738585072014E-308L
9181 #    else
9182 #      define MY_DBL_MIN 1.17549435E-38L
9183 #    endif
9184 #  endif
9185
9186             if ((intsize == 'q') && (c == 'f') &&
9187                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
9188                 (need < DBL_DIG)) {
9189                 /* it's going to be short enough that
9190                  * long double precision is not needed */
9191
9192                 if ((nv <= 0L) && (nv >= -0L))
9193                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
9194                 else {
9195                     /* would use Perl_fp_class as a double-check but not
9196                      * functional on IRIX - see perl.h comments */
9197
9198                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
9199                         /* It's within the range that a double can represent */
9200 #if defined(DBL_MAX) && !defined(DBL_MIN)
9201                         if ((nv >= ((long double)1/DBL_MAX)) ||
9202                             (nv <= (-(long double)1/DBL_MAX)))
9203 #endif
9204                         fix_ldbl_sprintf_bug = TRUE;
9205                     }
9206                 }
9207                 if (fix_ldbl_sprintf_bug == TRUE) {
9208                     double temp;
9209
9210                     intsize = 0;
9211                     temp = (double)nv;
9212                     nv = (NV)temp;
9213                 }
9214             }
9215
9216 #  undef MY_DBL_MAX
9217 #  undef MY_DBL_MAX_BUG
9218 #  undef MY_DBL_MIN
9219
9220 #endif /* HAS_LDBL_SPRINTF_BUG */
9221
9222             need += 20; /* fudge factor */
9223             if (PL_efloatsize < need) {
9224                 Safefree(PL_efloatbuf);
9225                 PL_efloatsize = need + 20; /* more fudge */
9226                 Newx(PL_efloatbuf, PL_efloatsize, char);
9227                 PL_efloatbuf[0] = '\0';
9228             }
9229
9230             if ( !(width || left || plus || alt) && fill != '0'
9231                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
9232                 /* See earlier comment about buggy Gconvert when digits,
9233                    aka precis is 0  */
9234                 if ( c == 'g' && precis) {
9235                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
9236                     /* May return an empty string for digits==0 */
9237                     if (*PL_efloatbuf) {
9238                         elen = strlen(PL_efloatbuf);
9239                         goto float_converted;
9240                     }
9241                 } else if ( c == 'f' && !precis) {
9242                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
9243                         break;
9244                 }
9245             }
9246             {
9247                 char *ptr = ebuf + sizeof ebuf;
9248                 *--ptr = '\0';
9249                 *--ptr = c;
9250                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
9251 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
9252                 if (intsize == 'q') {
9253                     /* Copy the one or more characters in a long double
9254                      * format before the 'base' ([efgEFG]) character to
9255                      * the format string. */
9256                     static char const prifldbl[] = PERL_PRIfldbl;
9257                     char const *p = prifldbl + sizeof(prifldbl) - 3;
9258                     while (p >= prifldbl) { *--ptr = *p--; }
9259                 }
9260 #endif
9261                 if (has_precis) {
9262                     base = precis;
9263                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9264                     *--ptr = '.';
9265                 }
9266                 if (width) {
9267                     base = width;
9268                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
9269                 }
9270                 if (fill == '0')
9271                     *--ptr = fill;
9272                 if (left)
9273                     *--ptr = '-';
9274                 if (plus)
9275                     *--ptr = plus;
9276                 if (alt)
9277                     *--ptr = '#';
9278                 *--ptr = '%';
9279
9280                 /* No taint.  Otherwise we are in the strange situation
9281                  * where printf() taints but print($float) doesn't.
9282                  * --jhi */
9283 #if defined(HAS_LONG_DOUBLE)
9284                 elen = ((intsize == 'q')
9285                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
9286                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
9287 #else
9288                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
9289 #endif
9290             }
9291         float_converted:
9292             eptr = PL_efloatbuf;
9293             break;
9294
9295             /* SPECIAL */
9296
9297         case 'n':
9298             if (vectorize)
9299                 goto unknown;
9300             i = SvCUR(sv) - origlen;
9301             if (args) {
9302                 switch (intsize) {
9303                 case 'h':       *(va_arg(*args, short*)) = i; break;
9304                 default:        *(va_arg(*args, int*)) = i; break;
9305                 case 'l':       *(va_arg(*args, long*)) = i; break;
9306                 case 'V':       *(va_arg(*args, IV*)) = i; break;
9307 #ifdef HAS_QUAD
9308                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
9309 #endif
9310                 }
9311             }
9312             else
9313                 sv_setuv_mg(argsv, (UV)i);
9314             continue;   /* not "break" */
9315
9316             /* UNKNOWN */
9317
9318         default:
9319       unknown:
9320             if (!args
9321                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
9322                 && ckWARN(WARN_PRINTF))
9323             {
9324                 SV * const msg = sv_newmortal();
9325                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
9326                           (PL_op->op_type == OP_PRTF) ? "" : "s");
9327                 if (c) {
9328                     if (isPRINT(c))
9329                         Perl_sv_catpvf(aTHX_ msg,
9330                                        "\"%%%c\"", c & 0xFF);
9331                     else
9332                         Perl_sv_catpvf(aTHX_ msg,
9333                                        "\"%%\\%03"UVof"\"",
9334                                        (UV)c & 0xFF);
9335                 } else
9336                     sv_catpvs(msg, "end of string");
9337                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, (void*)msg); /* yes, this is reentrant */
9338             }
9339
9340             /* output mangled stuff ... */
9341             if (c == '\0')
9342                 --q;
9343             eptr = p;
9344             elen = q - p;
9345
9346             /* ... right here, because formatting flags should not apply */
9347             SvGROW(sv, SvCUR(sv) + elen + 1);
9348             p = SvEND(sv);
9349             Copy(eptr, p, elen, char);
9350             p += elen;
9351             *p = '\0';
9352             SvCUR_set(sv, p - SvPVX_const(sv));
9353             svix = osvix;
9354             continue;   /* not "break" */
9355         }
9356
9357         if (is_utf8 != has_utf8) {
9358             if (is_utf8) {
9359                 if (SvCUR(sv))
9360                     sv_utf8_upgrade(sv);
9361             }
9362             else {
9363                 const STRLEN old_elen = elen;
9364                 SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
9365                 sv_utf8_upgrade(nsv);
9366                 eptr = SvPVX_const(nsv);
9367                 elen = SvCUR(nsv);
9368
9369                 if (width) { /* fudge width (can't fudge elen) */
9370                     width += elen - old_elen;
9371                 }
9372                 is_utf8 = TRUE;
9373             }
9374         }
9375
9376         have = esignlen + zeros + elen;
9377         if (have < zeros)
9378             Perl_croak_nocontext(PL_memory_wrap);
9379
9380         need = (have > width ? have : width);
9381         gap = need - have;
9382
9383         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
9384             Perl_croak_nocontext(PL_memory_wrap);
9385         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
9386         p = SvEND(sv);
9387         if (esignlen && fill == '0') {
9388             int i;
9389             for (i = 0; i < (int)esignlen; i++)
9390                 *p++ = esignbuf[i];
9391         }
9392         if (gap && !left) {
9393             memset(p, fill, gap);
9394             p += gap;
9395         }
9396         if (esignlen && fill != '0') {
9397             int i;
9398             for (i = 0; i < (int)esignlen; i++)
9399                 *p++ = esignbuf[i];
9400         }
9401         if (zeros) {
9402             int i;
9403             for (i = zeros; i; i--)
9404                 *p++ = '0';
9405         }
9406         if (elen) {
9407             Copy(eptr, p, elen, char);
9408             p += elen;
9409         }
9410         if (gap && left) {
9411             memset(p, ' ', gap);
9412             p += gap;
9413         }
9414         if (vectorize) {
9415             if (veclen) {
9416                 Copy(dotstr, p, dotstrlen, char);
9417                 p += dotstrlen;
9418             }
9419             else
9420                 vectorize = FALSE;              /* done iterating over vecstr */
9421         }
9422         if (is_utf8)
9423             has_utf8 = TRUE;
9424         if (has_utf8)
9425             SvUTF8_on(sv);
9426         *p = '\0';
9427         SvCUR_set(sv, p - SvPVX_const(sv));
9428         if (vectorize) {
9429             esignlen = 0;
9430             goto vector;
9431         }
9432     }
9433 }
9434
9435 /* =========================================================================
9436
9437 =head1 Cloning an interpreter
9438
9439 All the macros and functions in this section are for the private use of
9440 the main function, perl_clone().
9441
9442 The foo_dup() functions make an exact copy of an existing foo thinngy.
9443 During the course of a cloning, a hash table is used to map old addresses
9444 to new addresses. The table is created and manipulated with the
9445 ptr_table_* functions.
9446
9447 =cut
9448
9449 ============================================================================*/
9450
9451
9452 #if defined(USE_ITHREADS)
9453
9454 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
9455 #ifndef GpREFCNT_inc
9456 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
9457 #endif
9458
9459
9460 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
9461    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
9462    If this changes, please unmerge ss_dup.  */
9463 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
9464 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup(s,t))
9465 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
9466 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9467 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
9468 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9469 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
9470 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9471 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
9472 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
9473 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
9474 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
9475 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
9476 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
9477
9478
9479 /* duplicate a file handle */
9480
9481 PerlIO *
9482 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9483 {
9484     PerlIO *ret;
9485
9486     PERL_UNUSED_ARG(type);
9487
9488     if (!fp)
9489         return (PerlIO*)NULL;
9490
9491     /* look for it in the table first */
9492     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9493     if (ret)
9494         return ret;
9495
9496     /* create anew and remember what it is */
9497     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9498     ptr_table_store(PL_ptr_table, fp, ret);
9499     return ret;
9500 }
9501
9502 /* duplicate a directory handle */
9503
9504 DIR *
9505 Perl_dirp_dup(pTHX_ DIR *dp)
9506 {
9507     PERL_UNUSED_CONTEXT;
9508     if (!dp)
9509         return (DIR*)NULL;
9510     /* XXX TODO */
9511     return dp;
9512 }
9513
9514 /* duplicate a typeglob */
9515
9516 GP *
9517 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9518 {
9519     GP *ret;
9520
9521     if (!gp)
9522         return (GP*)NULL;
9523     /* look for it in the table first */
9524     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9525     if (ret)
9526         return ret;
9527
9528     /* create anew and remember what it is */
9529     Newxz(ret, 1, GP);
9530     ptr_table_store(PL_ptr_table, gp, ret);
9531
9532     /* clone */
9533     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9534     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9535     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9536     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9537     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9538     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9539     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9540     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9541     ret->gp_cvgen       = gp->gp_cvgen;
9542     ret->gp_line        = gp->gp_line;
9543     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
9544     return ret;
9545 }
9546
9547 /* duplicate a chain of magic */
9548
9549 MAGIC *
9550 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9551 {
9552     MAGIC *mgprev = (MAGIC*)NULL;
9553     MAGIC *mgret;
9554     if (!mg)
9555         return (MAGIC*)NULL;
9556     /* look for it in the table first */
9557     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9558     if (mgret)
9559         return mgret;
9560
9561     for (; mg; mg = mg->mg_moremagic) {
9562         MAGIC *nmg;
9563         Newxz(nmg, 1, MAGIC);
9564         if (mgprev)
9565             mgprev->mg_moremagic = nmg;
9566         else
9567             mgret = nmg;
9568         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9569         nmg->mg_private = mg->mg_private;
9570         nmg->mg_type    = mg->mg_type;
9571         nmg->mg_flags   = mg->mg_flags;
9572         if (mg->mg_type == PERL_MAGIC_qr) {
9573             nmg->mg_obj = (SV*)CALLREGDUPE((REGEXP*)mg->mg_obj, param);
9574         }
9575         else if(mg->mg_type == PERL_MAGIC_backref) {
9576             /* The backref AV has its reference count deliberately bumped by
9577                1.  */
9578             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9579         }
9580         else if (mg->mg_type == PERL_MAGIC_symtab) {
9581             nmg->mg_obj = mg->mg_obj;
9582         }
9583         else {
9584             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9585                               ? sv_dup_inc(mg->mg_obj, param)
9586                               : sv_dup(mg->mg_obj, param);
9587         }
9588         nmg->mg_len     = mg->mg_len;
9589         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9590         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9591             if (mg->mg_len > 0) {
9592                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9593                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9594                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9595                 {
9596                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9597                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9598                     I32 i;
9599                     for (i = 1; i < NofAMmeth; i++) {
9600                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9601                     }
9602                 }
9603             }
9604             else if (mg->mg_len == HEf_SVKEY)
9605                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9606         }
9607         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9608             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9609         }
9610         mgprev = nmg;
9611     }
9612     return mgret;
9613 }
9614
9615 /* create a new pointer-mapping table */
9616
9617 PTR_TBL_t *
9618 Perl_ptr_table_new(pTHX)
9619 {
9620     PTR_TBL_t *tbl;
9621     PERL_UNUSED_CONTEXT;
9622
9623     Newxz(tbl, 1, PTR_TBL_t);
9624     tbl->tbl_max        = 511;
9625     tbl->tbl_items      = 0;
9626     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9627     return tbl;
9628 }
9629
9630 #define PTR_TABLE_HASH(ptr) \
9631   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9632
9633 /* 
9634    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9635    following define) and at call to new_body_inline made below in 
9636    Perl_ptr_table_store()
9637  */
9638
9639 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9640
9641 /* map an existing pointer using a table */
9642
9643 STATIC PTR_TBL_ENT_t *
9644 S_ptr_table_find(PTR_TBL_t *tbl, const void *sv) {
9645     PTR_TBL_ENT_t *tblent;
9646     const UV hash = PTR_TABLE_HASH(sv);
9647     assert(tbl);
9648     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9649     for (; tblent; tblent = tblent->next) {
9650         if (tblent->oldval == sv)
9651             return tblent;
9652     }
9653     return NULL;
9654 }
9655
9656 void *
9657 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9658 {
9659     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
9660     PERL_UNUSED_CONTEXT;
9661     return tblent ? tblent->newval : NULL;
9662 }
9663
9664 /* add a new entry to a pointer-mapping table */
9665
9666 void
9667 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9668 {
9669     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
9670     PERL_UNUSED_CONTEXT;
9671
9672     if (tblent) {
9673         tblent->newval = newsv;
9674     } else {
9675         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9676
9677         new_body_inline(tblent, PTE_SVSLOT);
9678
9679         tblent->oldval = oldsv;
9680         tblent->newval = newsv;
9681         tblent->next = tbl->tbl_ary[entry];
9682         tbl->tbl_ary[entry] = tblent;
9683         tbl->tbl_items++;
9684         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9685             ptr_table_split(tbl);
9686     }
9687 }
9688
9689 /* double the hash bucket size of an existing ptr table */
9690
9691 void
9692 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9693 {
9694     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9695     const UV oldsize = tbl->tbl_max + 1;
9696     UV newsize = oldsize * 2;
9697     UV i;
9698     PERL_UNUSED_CONTEXT;
9699
9700     Renew(ary, newsize, PTR_TBL_ENT_t*);
9701     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9702     tbl->tbl_max = --newsize;
9703     tbl->tbl_ary = ary;
9704     for (i=0; i < oldsize; i++, ary++) {
9705         PTR_TBL_ENT_t **curentp, **entp, *ent;
9706         if (!*ary)
9707             continue;
9708         curentp = ary + oldsize;
9709         for (entp = ary, ent = *ary; ent; ent = *entp) {
9710             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9711                 *entp = ent->next;
9712                 ent->next = *curentp;
9713                 *curentp = ent;
9714                 continue;
9715             }
9716             else
9717                 entp = &ent->next;
9718         }
9719     }
9720 }
9721
9722 /* remove all the entries from a ptr table */
9723
9724 void
9725 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9726 {
9727     if (tbl && tbl->tbl_items) {
9728         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9729         UV riter = tbl->tbl_max;
9730
9731         do {
9732             PTR_TBL_ENT_t *entry = array[riter];
9733
9734             while (entry) {
9735                 PTR_TBL_ENT_t * const oentry = entry;
9736                 entry = entry->next;
9737                 del_pte(oentry);
9738             }
9739         } while (riter--);
9740
9741         tbl->tbl_items = 0;
9742     }
9743 }
9744
9745 /* clear and free a ptr table */
9746
9747 void
9748 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9749 {
9750     if (!tbl) {
9751         return;
9752     }
9753     ptr_table_clear(tbl);
9754     Safefree(tbl->tbl_ary);
9755     Safefree(tbl);
9756 }
9757
9758
9759 void
9760 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9761 {
9762     if (SvROK(sstr)) {
9763         SvRV_set(dstr, SvWEAKREF(sstr)
9764                        ? sv_dup(SvRV(sstr), param)
9765                        : sv_dup_inc(SvRV(sstr), param));
9766
9767     }
9768     else if (SvPVX_const(sstr)) {
9769         /* Has something there */
9770         if (SvLEN(sstr)) {
9771             /* Normal PV - clone whole allocated space */
9772             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9773             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9774                 /* Not that normal - actually sstr is copy on write.
9775                    But we are a true, independant SV, so:  */
9776                 SvREADONLY_off(dstr);
9777                 SvFAKE_off(dstr);
9778             }
9779         }
9780         else {
9781             /* Special case - not normally malloced for some reason */
9782             if (isGV_with_GP(sstr)) {
9783                 /* Don't need to do anything here.  */
9784             }
9785             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
9786                 /* A "shared" PV - clone it as "shared" PV */
9787                 SvPV_set(dstr,
9788                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
9789                                          param)));
9790             }
9791             else {
9792                 /* Some other special case - random pointer */
9793                 SvPV_set(dstr, SvPVX(sstr));            
9794             }
9795         }
9796     }
9797     else {
9798         /* Copy the NULL */
9799         if (SvTYPE(dstr) == SVt_RV)
9800             SvRV_set(dstr, NULL);
9801         else
9802             SvPV_set(dstr, NULL);
9803     }
9804 }
9805
9806 /* duplicate an SV of any type (including AV, HV etc) */
9807
9808 SV *
9809 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
9810 {
9811     dVAR;
9812     SV *dstr;
9813
9814     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
9815         return NULL;
9816     /* look for it in the table first */
9817     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
9818     if (dstr)
9819         return dstr;
9820
9821     if(param->flags & CLONEf_JOIN_IN) {
9822         /** We are joining here so we don't want do clone
9823             something that is bad **/
9824         if (SvTYPE(sstr) == SVt_PVHV) {
9825             const char * const hvname = HvNAME_get(sstr);
9826             if (hvname)
9827                 /** don't clone stashes if they already exist **/
9828                 return (SV*)gv_stashpv(hvname,0);
9829         }
9830     }
9831
9832     /* create anew and remember what it is */
9833     new_SV(dstr);
9834
9835 #ifdef DEBUG_LEAKING_SCALARS
9836     dstr->sv_debug_optype = sstr->sv_debug_optype;
9837     dstr->sv_debug_line = sstr->sv_debug_line;
9838     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
9839     dstr->sv_debug_cloned = 1;
9840     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
9841 #endif
9842
9843     ptr_table_store(PL_ptr_table, sstr, dstr);
9844
9845     /* clone */
9846     SvFLAGS(dstr)       = SvFLAGS(sstr);
9847     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
9848     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
9849
9850 #ifdef DEBUGGING
9851     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
9852         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
9853                       PL_watch_pvx, SvPVX_const(sstr));
9854 #endif
9855
9856     /* don't clone objects whose class has asked us not to */
9857     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
9858         SvFLAGS(dstr) &= ~SVTYPEMASK;
9859         SvOBJECT_off(dstr);
9860         return dstr;
9861     }
9862
9863     switch (SvTYPE(sstr)) {
9864     case SVt_NULL:
9865         SvANY(dstr)     = NULL;
9866         break;
9867     case SVt_IV:
9868         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
9869         SvIV_set(dstr, SvIVX(sstr));
9870         break;
9871     case SVt_NV:
9872         SvANY(dstr)     = new_XNV();
9873         SvNV_set(dstr, SvNVX(sstr));
9874         break;
9875     case SVt_RV:
9876         SvANY(dstr)     = &(dstr->sv_u.svu_rv);
9877         Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9878         break;
9879         /* case SVt_BIND: */
9880     default:
9881         {
9882             /* These are all the types that need complex bodies allocating.  */
9883             void *new_body;
9884             const svtype sv_type = SvTYPE(sstr);
9885             const struct body_details *const sv_type_details
9886                 = bodies_by_type + sv_type;
9887
9888             switch (sv_type) {
9889             default:
9890                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
9891                 break;
9892
9893             case SVt_PVGV:
9894                 if (GvUNIQUE((GV*)sstr)) {
9895                     NOOP;   /* Do sharing here, and fall through */
9896                 }
9897             case SVt_PVIO:
9898             case SVt_PVFM:
9899             case SVt_PVHV:
9900             case SVt_PVAV:
9901             case SVt_PVCV:
9902             case SVt_PVLV:
9903             case SVt_PVMG:
9904             case SVt_PVNV:
9905             case SVt_PVIV:
9906             case SVt_PV:
9907                 assert(sv_type_details->body_size);
9908                 if (sv_type_details->arena) {
9909                     new_body_inline(new_body, sv_type);
9910                     new_body
9911                         = (void*)((char*)new_body - sv_type_details->offset);
9912                 } else {
9913                     new_body = new_NOARENA(sv_type_details);
9914                 }
9915             }
9916             assert(new_body);
9917             SvANY(dstr) = new_body;
9918
9919 #ifndef PURIFY
9920             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
9921                  ((char*)SvANY(dstr)) + sv_type_details->offset,
9922                  sv_type_details->copy, char);
9923 #else
9924             Copy(((char*)SvANY(sstr)),
9925                  ((char*)SvANY(dstr)),
9926                  sv_type_details->body_size + sv_type_details->offset, char);
9927 #endif
9928
9929             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
9930                 && !isGV_with_GP(dstr))
9931                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9932
9933             /* The Copy above means that all the source (unduplicated) pointers
9934                are now in the destination.  We can check the flags and the
9935                pointers in either, but it's possible that there's less cache
9936                missing by always going for the destination.
9937                FIXME - instrument and check that assumption  */
9938             if (sv_type >= SVt_PVMG) {
9939                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
9940                     OURSTASH_set(dstr, hv_dup_inc(OURSTASH(dstr), param));
9941                 } else if (SvMAGIC(dstr))
9942                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
9943                 if (SvSTASH(dstr))
9944                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
9945             }
9946
9947             /* The cast silences a GCC warning about unhandled types.  */
9948             switch ((int)sv_type) {
9949             case SVt_PV:
9950                 break;
9951             case SVt_PVIV:
9952                 break;
9953             case SVt_PVNV:
9954                 break;
9955             case SVt_PVMG:
9956                 break;
9957             case SVt_PVLV:
9958                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
9959                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
9960                     LvTARG(dstr) = dstr;
9961                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
9962                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
9963                 else
9964                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
9965                 break;
9966             case SVt_PVGV:
9967                 if(isGV_with_GP(sstr)) {
9968                     if (GvNAME_HEK(dstr))
9969                         GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
9970                 }
9971
9972                 /* Don't call sv_add_backref here as it's going to be created
9973                    as part of the magic cloning of the symbol table.  */
9974                 if(!SvVALID(dstr))
9975                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
9976                 if(isGV_with_GP(sstr)) {
9977                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
9978                        at the point of this comment.  */
9979                     GvGP(dstr)  = gp_dup(GvGP(sstr), param);
9980                     (void)GpREFCNT_inc(GvGP(dstr));
9981                 } else
9982                     Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9983                 break;
9984             case SVt_PVIO:
9985                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
9986                 if (IoOFP(dstr) == IoIFP(sstr))
9987                     IoOFP(dstr) = IoIFP(dstr);
9988                 else
9989                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
9990                 /* PL_rsfp_filters entries have fake IoDIRP() */
9991                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
9992                     /* I have no idea why fake dirp (rsfps)
9993                        should be treated differently but otherwise
9994                        we end up with leaks -- sky*/
9995                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
9996                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
9997                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
9998                 } else {
9999                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
10000                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
10001                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
10002                     if (IoDIRP(dstr)) {
10003                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr));
10004                     } else {
10005                         NOOP;
10006                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
10007                     }
10008                 }
10009                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
10010                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
10011                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
10012                 break;
10013             case SVt_PVAV:
10014                 if (AvARRAY((AV*)sstr)) {
10015                     SV **dst_ary, **src_ary;
10016                     SSize_t items = AvFILLp((AV*)sstr) + 1;
10017
10018                     src_ary = AvARRAY((AV*)sstr);
10019                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
10020                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
10021                     AvARRAY((AV*)dstr) = dst_ary;
10022                     AvALLOC((AV*)dstr) = dst_ary;
10023                     if (AvREAL((AV*)sstr)) {
10024                         while (items-- > 0)
10025                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
10026                     }
10027                     else {
10028                         while (items-- > 0)
10029                             *dst_ary++ = sv_dup(*src_ary++, param);
10030                     }
10031                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
10032                     while (items-- > 0) {
10033                         *dst_ary++ = &PL_sv_undef;
10034                     }
10035                 }
10036                 else {
10037                     AvARRAY((AV*)dstr)  = NULL;
10038                     AvALLOC((AV*)dstr)  = (SV**)NULL;
10039                 }
10040                 break;
10041             case SVt_PVHV:
10042                 if (HvARRAY((HV*)sstr)) {
10043                     STRLEN i = 0;
10044                     const bool sharekeys = !!HvSHAREKEYS(sstr);
10045                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
10046                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
10047                     char *darray;
10048                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
10049                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
10050                         char);
10051                     HvARRAY(dstr) = (HE**)darray;
10052                     while (i <= sxhv->xhv_max) {
10053                         const HE * const source = HvARRAY(sstr)[i];
10054                         HvARRAY(dstr)[i] = source
10055                             ? he_dup(source, sharekeys, param) : 0;
10056                         ++i;
10057                     }
10058                     if (SvOOK(sstr)) {
10059                         HEK *hvname;
10060                         const struct xpvhv_aux * const saux = HvAUX(sstr);
10061                         struct xpvhv_aux * const daux = HvAUX(dstr);
10062                         /* This flag isn't copied.  */
10063                         /* SvOOK_on(hv) attacks the IV flags.  */
10064                         SvFLAGS(dstr) |= SVf_OOK;
10065
10066                         hvname = saux->xhv_name;
10067                         daux->xhv_name = hvname ? hek_dup(hvname, param) : hvname;
10068
10069                         daux->xhv_riter = saux->xhv_riter;
10070                         daux->xhv_eiter = saux->xhv_eiter
10071                             ? he_dup(saux->xhv_eiter,
10072                                         (bool)!!HvSHAREKEYS(sstr), param) : 0;
10073                         daux->xhv_backreferences =
10074                             saux->xhv_backreferences
10075                                 ? (AV*) SvREFCNT_inc(
10076                                         sv_dup((SV*)saux->xhv_backreferences, param))
10077                                 : 0;
10078                         /* Record stashes for possible cloning in Perl_clone(). */
10079                         if (hvname)
10080                             av_push(param->stashes, dstr);
10081                     }
10082                 }
10083                 else
10084                     HvARRAY((HV*)dstr) = NULL;
10085                 break;
10086             case SVt_PVCV:
10087                 if (!(param->flags & CLONEf_COPY_STACKS)) {
10088                     CvDEPTH(dstr) = 0;
10089                 }
10090             case SVt_PVFM:
10091                 /* NOTE: not refcounted */
10092                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
10093                 OP_REFCNT_LOCK;
10094                 if (!CvISXSUB(dstr))
10095                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
10096                 OP_REFCNT_UNLOCK;
10097                 if (CvCONST(dstr) && CvISXSUB(dstr)) {
10098                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
10099                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
10100                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
10101                 }
10102                 /* don't dup if copying back - CvGV isn't refcounted, so the
10103                  * duped GV may never be freed. A bit of a hack! DAPM */
10104                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
10105                     NULL : gv_dup(CvGV(dstr), param) ;
10106                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
10107                 CvOUTSIDE(dstr) =
10108                     CvWEAKOUTSIDE(sstr)
10109                     ? cv_dup(    CvOUTSIDE(dstr), param)
10110                     : cv_dup_inc(CvOUTSIDE(dstr), param);
10111                 if (!CvISXSUB(dstr))
10112                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
10113                 break;
10114             }
10115         }
10116     }
10117
10118     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
10119         ++PL_sv_objcount;
10120
10121     return dstr;
10122  }
10123
10124 /* duplicate a context */
10125
10126 PERL_CONTEXT *
10127 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
10128 {
10129     PERL_CONTEXT *ncxs;
10130
10131     if (!cxs)
10132         return (PERL_CONTEXT*)NULL;
10133
10134     /* look for it in the table first */
10135     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
10136     if (ncxs)
10137         return ncxs;
10138
10139     /* create anew and remember what it is */
10140     Newxz(ncxs, max + 1, PERL_CONTEXT);
10141     ptr_table_store(PL_ptr_table, cxs, ncxs);
10142
10143     while (ix >= 0) {
10144         PERL_CONTEXT * const cx = &cxs[ix];
10145         PERL_CONTEXT * const ncx = &ncxs[ix];
10146         ncx->cx_type    = cx->cx_type;
10147         if (CxTYPE(cx) == CXt_SUBST) {
10148             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
10149         }
10150         else {
10151             ncx->blk_oldsp      = cx->blk_oldsp;
10152             ncx->blk_oldcop     = cx->blk_oldcop;
10153             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
10154             ncx->blk_oldscopesp = cx->blk_oldscopesp;
10155             ncx->blk_oldpm      = cx->blk_oldpm;
10156             ncx->blk_gimme      = cx->blk_gimme;
10157             switch (CxTYPE(cx)) {
10158             case CXt_SUB:
10159                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
10160                                            ? cv_dup_inc(cx->blk_sub.cv, param)
10161                                            : cv_dup(cx->blk_sub.cv,param));
10162                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
10163                                            ? av_dup_inc(cx->blk_sub.argarray, param)
10164                                            : NULL);
10165                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
10166                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
10167                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10168                 ncx->blk_sub.lval       = cx->blk_sub.lval;
10169                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10170                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
10171                                            cx->blk_sub.oldcomppad);
10172                 break;
10173             case CXt_EVAL:
10174                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
10175                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
10176                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
10177                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
10178                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
10179                 ncx->blk_eval.retop = cx->blk_eval.retop;
10180                 break;
10181             case CXt_LOOP:
10182                 ncx->blk_loop.label     = cx->blk_loop.label;
10183                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
10184                 ncx->blk_loop.my_op     = cx->blk_loop.my_op;
10185                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
10186                                            ? cx->blk_loop.iterdata
10187                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
10188                 ncx->blk_loop.oldcomppad
10189                     = (PAD*)ptr_table_fetch(PL_ptr_table,
10190                                             cx->blk_loop.oldcomppad);
10191                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
10192                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
10193                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
10194                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
10195                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
10196                 break;
10197             case CXt_FORMAT:
10198                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
10199                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
10200                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
10201                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
10202                 ncx->blk_sub.retop      = cx->blk_sub.retop;
10203                 break;
10204             case CXt_BLOCK:
10205             case CXt_NULL:
10206                 break;
10207             }
10208         }
10209         --ix;
10210     }
10211     return ncxs;
10212 }
10213
10214 /* duplicate a stack info structure */
10215
10216 PERL_SI *
10217 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
10218 {
10219     PERL_SI *nsi;
10220
10221     if (!si)
10222         return (PERL_SI*)NULL;
10223
10224     /* look for it in the table first */
10225     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
10226     if (nsi)
10227         return nsi;
10228
10229     /* create anew and remember what it is */
10230     Newxz(nsi, 1, PERL_SI);
10231     ptr_table_store(PL_ptr_table, si, nsi);
10232
10233     nsi->si_stack       = av_dup_inc(si->si_stack, param);
10234     nsi->si_cxix        = si->si_cxix;
10235     nsi->si_cxmax       = si->si_cxmax;
10236     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
10237     nsi->si_type        = si->si_type;
10238     nsi->si_prev        = si_dup(si->si_prev, param);
10239     nsi->si_next        = si_dup(si->si_next, param);
10240     nsi->si_markoff     = si->si_markoff;
10241
10242     return nsi;
10243 }
10244
10245 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
10246 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
10247 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
10248 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
10249 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
10250 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
10251 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
10252 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
10253 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
10254 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
10255 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
10256 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
10257 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
10258 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
10259
10260 /* XXXXX todo */
10261 #define pv_dup_inc(p)   SAVEPV(p)
10262 #define pv_dup(p)       SAVEPV(p)
10263 #define svp_dup_inc(p,pp)       any_dup(p,pp)
10264
10265 /* map any object to the new equivent - either something in the
10266  * ptr table, or something in the interpreter structure
10267  */
10268
10269 void *
10270 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
10271 {
10272     void *ret;
10273
10274     if (!v)
10275         return (void*)NULL;
10276
10277     /* look for it in the table first */
10278     ret = ptr_table_fetch(PL_ptr_table, v);
10279     if (ret)
10280         return ret;
10281
10282     /* see if it is part of the interpreter structure */
10283     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
10284         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
10285     else {
10286         ret = v;
10287     }
10288
10289     return ret;
10290 }
10291
10292 /* duplicate the save stack */
10293
10294 ANY *
10295 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
10296 {
10297     ANY * const ss      = proto_perl->Tsavestack;
10298     const I32 max       = proto_perl->Tsavestack_max;
10299     I32 ix              = proto_perl->Tsavestack_ix;
10300     ANY *nss;
10301     SV *sv;
10302     GV *gv;
10303     AV *av;
10304     HV *hv;
10305     void* ptr;
10306     int intval;
10307     long longval;
10308     GP *gp;
10309     IV iv;
10310     I32 i;
10311     char *c = NULL;
10312     void (*dptr) (void*);
10313     void (*dxptr) (pTHX_ void*);
10314
10315     Newxz(nss, max, ANY);
10316
10317     while (ix > 0) {
10318         const I32 type = POPINT(ss,ix);
10319         TOPINT(nss,ix) = type;
10320         switch (type) {
10321         case SAVEt_HELEM:               /* hash element */
10322             sv = (SV*)POPPTR(ss,ix);
10323             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10324             /* fall through */
10325         case SAVEt_ITEM:                        /* normal string */
10326         case SAVEt_SV:                          /* scalar reference */
10327             sv = (SV*)POPPTR(ss,ix);
10328             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10329             /* fall through */
10330         case SAVEt_FREESV:
10331         case SAVEt_MORTALIZESV:
10332             sv = (SV*)POPPTR(ss,ix);
10333             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10334             break;
10335         case SAVEt_SHARED_PVREF:                /* char* in shared space */
10336             c = (char*)POPPTR(ss,ix);
10337             TOPPTR(nss,ix) = savesharedpv(c);
10338             ptr = POPPTR(ss,ix);
10339             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10340             break;
10341         case SAVEt_GENERIC_SVREF:               /* generic sv */
10342         case SAVEt_SVREF:                       /* scalar reference */
10343             sv = (SV*)POPPTR(ss,ix);
10344             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10345             ptr = POPPTR(ss,ix);
10346             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
10347             break;
10348         case SAVEt_HV:                          /* hash reference */
10349         case SAVEt_AV:                          /* array reference */
10350             sv = (SV*) POPPTR(ss,ix);
10351             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10352             /* fall through */
10353         case SAVEt_COMPPAD:
10354         case SAVEt_NSTAB:
10355             sv = (SV*) POPPTR(ss,ix);
10356             TOPPTR(nss,ix) = sv_dup(sv, param);
10357             break;
10358         case SAVEt_INT:                         /* int reference */
10359             ptr = POPPTR(ss,ix);
10360             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10361             intval = (int)POPINT(ss,ix);
10362             TOPINT(nss,ix) = intval;
10363             break;
10364         case SAVEt_LONG:                        /* long reference */
10365             ptr = POPPTR(ss,ix);
10366             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10367             /* fall through */
10368         case SAVEt_CLEARSV:
10369             longval = (long)POPLONG(ss,ix);
10370             TOPLONG(nss,ix) = longval;
10371             break;
10372         case SAVEt_I32:                         /* I32 reference */
10373         case SAVEt_I16:                         /* I16 reference */
10374         case SAVEt_I8:                          /* I8 reference */
10375         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
10376             ptr = POPPTR(ss,ix);
10377             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10378             i = POPINT(ss,ix);
10379             TOPINT(nss,ix) = i;
10380             break;
10381         case SAVEt_IV:                          /* IV reference */
10382             ptr = POPPTR(ss,ix);
10383             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10384             iv = POPIV(ss,ix);
10385             TOPIV(nss,ix) = iv;
10386             break;
10387         case SAVEt_HPTR:                        /* HV* reference */
10388         case SAVEt_APTR:                        /* AV* reference */
10389         case SAVEt_SPTR:                        /* SV* reference */
10390             ptr = POPPTR(ss,ix);
10391             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10392             sv = (SV*)POPPTR(ss,ix);
10393             TOPPTR(nss,ix) = sv_dup(sv, param);
10394             break;
10395         case SAVEt_VPTR:                        /* random* reference */
10396             ptr = POPPTR(ss,ix);
10397             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10398             ptr = POPPTR(ss,ix);
10399             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10400             break;
10401         case SAVEt_GENERIC_PVREF:               /* generic char* */
10402         case SAVEt_PPTR:                        /* char* reference */
10403             ptr = POPPTR(ss,ix);
10404             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10405             c = (char*)POPPTR(ss,ix);
10406             TOPPTR(nss,ix) = pv_dup(c);
10407             break;
10408         case SAVEt_GP:                          /* scalar reference */
10409             gp = (GP*)POPPTR(ss,ix);
10410             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10411             (void)GpREFCNT_inc(gp);
10412             gv = (GV*)POPPTR(ss,ix);
10413             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10414             break;
10415         case SAVEt_FREEOP:
10416             ptr = POPPTR(ss,ix);
10417             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10418                 /* these are assumed to be refcounted properly */
10419                 OP *o;
10420                 switch (((OP*)ptr)->op_type) {
10421                 case OP_LEAVESUB:
10422                 case OP_LEAVESUBLV:
10423                 case OP_LEAVEEVAL:
10424                 case OP_LEAVE:
10425                 case OP_SCOPE:
10426                 case OP_LEAVEWRITE:
10427                     TOPPTR(nss,ix) = ptr;
10428                     o = (OP*)ptr;
10429                     OP_REFCNT_LOCK;
10430                     OpREFCNT_inc(o);
10431                     OP_REFCNT_UNLOCK;
10432                     break;
10433                 default:
10434                     TOPPTR(nss,ix) = NULL;
10435                     break;
10436                 }
10437             }
10438             else
10439                 TOPPTR(nss,ix) = NULL;
10440             break;
10441         case SAVEt_FREEPV:
10442             c = (char*)POPPTR(ss,ix);
10443             TOPPTR(nss,ix) = pv_dup_inc(c);
10444             break;
10445         case SAVEt_DELETE:
10446             hv = (HV*)POPPTR(ss,ix);
10447             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10448             c = (char*)POPPTR(ss,ix);
10449             TOPPTR(nss,ix) = pv_dup_inc(c);
10450             /* fall through */
10451         case SAVEt_STACK_POS:           /* Position on Perl stack */
10452             i = POPINT(ss,ix);
10453             TOPINT(nss,ix) = i;
10454             break;
10455         case SAVEt_DESTRUCTOR:
10456             ptr = POPPTR(ss,ix);
10457             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10458             dptr = POPDPTR(ss,ix);
10459             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10460                                         any_dup(FPTR2DPTR(void *, dptr),
10461                                                 proto_perl));
10462             break;
10463         case SAVEt_DESTRUCTOR_X:
10464             ptr = POPPTR(ss,ix);
10465             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10466             dxptr = POPDXPTR(ss,ix);
10467             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10468                                          any_dup(FPTR2DPTR(void *, dxptr),
10469                                                  proto_perl));
10470             break;
10471         case SAVEt_REGCONTEXT:
10472         case SAVEt_ALLOC:
10473             i = POPINT(ss,ix);
10474             TOPINT(nss,ix) = i;
10475             ix -= i;
10476             break;
10477         case SAVEt_AELEM:               /* array element */
10478             sv = (SV*)POPPTR(ss,ix);
10479             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10480             i = POPINT(ss,ix);
10481             TOPINT(nss,ix) = i;
10482             av = (AV*)POPPTR(ss,ix);
10483             TOPPTR(nss,ix) = av_dup_inc(av, param);
10484             break;
10485         case SAVEt_OP:
10486             ptr = POPPTR(ss,ix);
10487             TOPPTR(nss,ix) = ptr;
10488             break;
10489         case SAVEt_HINTS:
10490             i = POPINT(ss,ix);
10491             TOPINT(nss,ix) = i;
10492             ptr = POPPTR(ss,ix);
10493             if (ptr) {
10494                 HINTS_REFCNT_LOCK;
10495                 ((struct refcounted_he *)ptr)->refcounted_he_refcnt++;
10496                 HINTS_REFCNT_UNLOCK;
10497             }
10498             TOPPTR(nss,ix) = ptr;
10499             if (i & HINT_LOCALIZE_HH) {
10500                 hv = (HV*)POPPTR(ss,ix);
10501                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10502             }
10503             break;
10504         case SAVEt_PADSV:
10505             longval = (long)POPLONG(ss,ix);
10506             TOPLONG(nss,ix) = longval;
10507             ptr = POPPTR(ss,ix);
10508             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10509             sv = (SV*)POPPTR(ss,ix);
10510             TOPPTR(nss,ix) = sv_dup(sv, param);
10511             break;
10512         case SAVEt_BOOL:
10513             ptr = POPPTR(ss,ix);
10514             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10515             longval = (long)POPBOOL(ss,ix);
10516             TOPBOOL(nss,ix) = (bool)longval;
10517             break;
10518         case SAVEt_SET_SVFLAGS:
10519             i = POPINT(ss,ix);
10520             TOPINT(nss,ix) = i;
10521             i = POPINT(ss,ix);
10522             TOPINT(nss,ix) = i;
10523             sv = (SV*)POPPTR(ss,ix);
10524             TOPPTR(nss,ix) = sv_dup(sv, param);
10525             break;
10526         case SAVEt_RE_STATE:
10527             {
10528                 const struct re_save_state *const old_state
10529                     = (struct re_save_state *)
10530                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10531                 struct re_save_state *const new_state
10532                     = (struct re_save_state *)
10533                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
10534
10535                 Copy(old_state, new_state, 1, struct re_save_state);
10536                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
10537
10538                 new_state->re_state_bostr
10539                     = pv_dup(old_state->re_state_bostr);
10540                 new_state->re_state_reginput
10541                     = pv_dup(old_state->re_state_reginput);
10542                 new_state->re_state_regeol
10543                     = pv_dup(old_state->re_state_regeol);
10544                 new_state->re_state_regstartp
10545                     = (I32*) any_dup(old_state->re_state_regstartp, proto_perl);
10546                 new_state->re_state_regendp
10547                     = (I32*) any_dup(old_state->re_state_regendp, proto_perl);
10548                 new_state->re_state_reglastparen
10549                     = (U32*) any_dup(old_state->re_state_reglastparen, 
10550                               proto_perl);
10551                 new_state->re_state_reglastcloseparen
10552                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
10553                               proto_perl);
10554                 /* XXX This just has to be broken. The old save_re_context
10555                    code did SAVEGENERICPV(PL_reg_start_tmp);
10556                    PL_reg_start_tmp is char **.
10557                    Look above to what the dup code does for
10558                    SAVEt_GENERIC_PVREF
10559                    It can never have worked.
10560                    So this is merely a faithful copy of the exiting bug:  */
10561                 new_state->re_state_reg_start_tmp
10562                     = (char **) pv_dup((char *)
10563                                       old_state->re_state_reg_start_tmp);
10564                 /* I assume that it only ever "worked" because no-one called
10565                    (pseudo)fork while the regexp engine had re-entered itself.
10566                 */
10567 #ifdef PERL_OLD_COPY_ON_WRITE
10568                 new_state->re_state_nrs
10569                     = sv_dup(old_state->re_state_nrs, param);
10570 #endif
10571                 new_state->re_state_reg_magic
10572                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
10573                                proto_perl);
10574                 new_state->re_state_reg_oldcurpm
10575                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
10576                               proto_perl);
10577                 new_state->re_state_reg_curpm
10578                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
10579                                proto_perl);
10580                 new_state->re_state_reg_oldsaved
10581                     = pv_dup(old_state->re_state_reg_oldsaved);
10582                 new_state->re_state_reg_poscache
10583                     = pv_dup(old_state->re_state_reg_poscache);
10584                 new_state->re_state_reg_starttry
10585                     = pv_dup(old_state->re_state_reg_starttry);
10586                 break;
10587             }
10588         case SAVEt_COMPILE_WARNINGS:
10589             ptr = POPPTR(ss,ix);
10590             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
10591             break;
10592         default:
10593             Perl_croak(aTHX_
10594                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
10595         }
10596     }
10597
10598     return nss;
10599 }
10600
10601
10602 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10603  * flag to the result. This is done for each stash before cloning starts,
10604  * so we know which stashes want their objects cloned */
10605
10606 static void
10607 do_mark_cloneable_stash(pTHX_ SV *sv)
10608 {
10609     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10610     if (hvname) {
10611         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10612         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10613         if (cloner && GvCV(cloner)) {
10614             dSP;
10615             UV status;
10616
10617             ENTER;
10618             SAVETMPS;
10619             PUSHMARK(SP);
10620             XPUSHs(sv_2mortal(newSVhek(hvname)));
10621             PUTBACK;
10622             call_sv((SV*)GvCV(cloner), G_SCALAR);
10623             SPAGAIN;
10624             status = POPu;
10625             PUTBACK;
10626             FREETMPS;
10627             LEAVE;
10628             if (status)
10629                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10630         }
10631     }
10632 }
10633
10634
10635
10636 /*
10637 =for apidoc perl_clone
10638
10639 Create and return a new interpreter by cloning the current one.
10640
10641 perl_clone takes these flags as parameters:
10642
10643 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10644 without it we only clone the data and zero the stacks,
10645 with it we copy the stacks and the new perl interpreter is
10646 ready to run at the exact same point as the previous one.
10647 The pseudo-fork code uses COPY_STACKS while the
10648 threads->new doesn't.
10649
10650 CLONEf_KEEP_PTR_TABLE
10651 perl_clone keeps a ptr_table with the pointer of the old
10652 variable as a key and the new variable as a value,
10653 this allows it to check if something has been cloned and not
10654 clone it again but rather just use the value and increase the
10655 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10656 the ptr_table using the function
10657 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10658 reason to keep it around is if you want to dup some of your own
10659 variable who are outside the graph perl scans, example of this
10660 code is in threads.xs create
10661
10662 CLONEf_CLONE_HOST
10663 This is a win32 thing, it is ignored on unix, it tells perls
10664 win32host code (which is c++) to clone itself, this is needed on
10665 win32 if you want to run two threads at the same time,
10666 if you just want to do some stuff in a separate perl interpreter
10667 and then throw it away and return to the original one,
10668 you don't need to do anything.
10669
10670 =cut
10671 */
10672
10673 /* XXX the above needs expanding by someone who actually understands it ! */
10674 EXTERN_C PerlInterpreter *
10675 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10676
10677 PerlInterpreter *
10678 perl_clone(PerlInterpreter *proto_perl, UV flags)
10679 {
10680    dVAR;
10681 #ifdef PERL_IMPLICIT_SYS
10682
10683    /* perlhost.h so we need to call into it
10684    to clone the host, CPerlHost should have a c interface, sky */
10685
10686    if (flags & CLONEf_CLONE_HOST) {
10687        return perl_clone_host(proto_perl,flags);
10688    }
10689    return perl_clone_using(proto_perl, flags,
10690                             proto_perl->IMem,
10691                             proto_perl->IMemShared,
10692                             proto_perl->IMemParse,
10693                             proto_perl->IEnv,
10694                             proto_perl->IStdIO,
10695                             proto_perl->ILIO,
10696                             proto_perl->IDir,
10697                             proto_perl->ISock,
10698                             proto_perl->IProc);
10699 }
10700
10701 PerlInterpreter *
10702 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10703                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10704                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10705                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10706                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10707                  struct IPerlProc* ipP)
10708 {
10709     /* XXX many of the string copies here can be optimized if they're
10710      * constants; they need to be allocated as common memory and just
10711      * their pointers copied. */
10712
10713     IV i;
10714     CLONE_PARAMS clone_params;
10715     CLONE_PARAMS* const param = &clone_params;
10716
10717     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10718     /* for each stash, determine whether its objects should be cloned */
10719     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10720     PERL_SET_THX(my_perl);
10721
10722 #  ifdef DEBUGGING
10723     PoisonNew(my_perl, 1, PerlInterpreter);
10724     PL_op = NULL;
10725     PL_curcop = NULL;
10726     PL_markstack = 0;
10727     PL_scopestack = 0;
10728     PL_savestack = 0;
10729     PL_savestack_ix = 0;
10730     PL_savestack_max = -1;
10731     PL_sig_pending = 0;
10732     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10733 #  else /* !DEBUGGING */
10734     Zero(my_perl, 1, PerlInterpreter);
10735 #  endif        /* DEBUGGING */
10736
10737     /* host pointers */
10738     PL_Mem              = ipM;
10739     PL_MemShared        = ipMS;
10740     PL_MemParse         = ipMP;
10741     PL_Env              = ipE;
10742     PL_StdIO            = ipStd;
10743     PL_LIO              = ipLIO;
10744     PL_Dir              = ipD;
10745     PL_Sock             = ipS;
10746     PL_Proc             = ipP;
10747 #else           /* !PERL_IMPLICIT_SYS */
10748     IV i;
10749     CLONE_PARAMS clone_params;
10750     CLONE_PARAMS* param = &clone_params;
10751     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10752     /* for each stash, determine whether its objects should be cloned */
10753     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10754     PERL_SET_THX(my_perl);
10755
10756 #    ifdef DEBUGGING
10757     PoisonNew(my_perl, 1, PerlInterpreter);
10758     PL_op = NULL;
10759     PL_curcop = NULL;
10760     PL_markstack = 0;
10761     PL_scopestack = 0;
10762     PL_savestack = 0;
10763     PL_savestack_ix = 0;
10764     PL_savestack_max = -1;
10765     PL_sig_pending = 0;
10766     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10767 #    else       /* !DEBUGGING */
10768     Zero(my_perl, 1, PerlInterpreter);
10769 #    endif      /* DEBUGGING */
10770 #endif          /* PERL_IMPLICIT_SYS */
10771     param->flags = flags;
10772     param->proto_perl = proto_perl;
10773
10774     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
10775
10776     PL_body_arenas = NULL;
10777     Zero(&PL_body_roots, 1, PL_body_roots);
10778     
10779     PL_nice_chunk       = NULL;
10780     PL_nice_chunk_size  = 0;
10781     PL_sv_count         = 0;
10782     PL_sv_objcount      = 0;
10783     PL_sv_root          = NULL;
10784     PL_sv_arenaroot     = NULL;
10785
10786     PL_debug            = proto_perl->Idebug;
10787
10788     PL_hash_seed        = proto_perl->Ihash_seed;
10789     PL_rehash_seed      = proto_perl->Irehash_seed;
10790
10791 #ifdef USE_REENTRANT_API
10792     /* XXX: things like -Dm will segfault here in perlio, but doing
10793      *  PERL_SET_CONTEXT(proto_perl);
10794      * breaks too many other things
10795      */
10796     Perl_reentrant_init(aTHX);
10797 #endif
10798
10799     /* create SV map for pointer relocation */
10800     PL_ptr_table = ptr_table_new();
10801
10802     /* initialize these special pointers as early as possible */
10803     SvANY(&PL_sv_undef)         = NULL;
10804     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
10805     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
10806     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
10807
10808     SvANY(&PL_sv_no)            = new_XPVNV();
10809     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
10810     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10811                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10812     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
10813     SvCUR_set(&PL_sv_no, 0);
10814     SvLEN_set(&PL_sv_no, 1);
10815     SvIV_set(&PL_sv_no, 0);
10816     SvNV_set(&PL_sv_no, 0);
10817     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
10818
10819     SvANY(&PL_sv_yes)           = new_XPVNV();
10820     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
10821     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10822                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10823     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
10824     SvCUR_set(&PL_sv_yes, 1);
10825     SvLEN_set(&PL_sv_yes, 2);
10826     SvIV_set(&PL_sv_yes, 1);
10827     SvNV_set(&PL_sv_yes, 1);
10828     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
10829
10830     /* create (a non-shared!) shared string table */
10831     PL_strtab           = newHV();
10832     HvSHAREKEYS_off(PL_strtab);
10833     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
10834     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
10835
10836     PL_compiling = proto_perl->Icompiling;
10837
10838     /* These two PVs will be free'd special way so must set them same way op.c does */
10839     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
10840     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
10841
10842     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
10843     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
10844
10845     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
10846     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
10847     if (PL_compiling.cop_hints_hash) {
10848         HINTS_REFCNT_LOCK;
10849         PL_compiling.cop_hints_hash->refcounted_he_refcnt++;
10850         HINTS_REFCNT_UNLOCK;
10851     }
10852     PL_curcop           = (COP*)any_dup(proto_perl->Tcurcop, proto_perl);
10853
10854     /* pseudo environmental stuff */
10855     PL_origargc         = proto_perl->Iorigargc;
10856     PL_origargv         = proto_perl->Iorigargv;
10857
10858     param->stashes      = newAV();  /* Setup array of objects to call clone on */
10859
10860     /* Set tainting stuff before PerlIO_debug can possibly get called */
10861     PL_tainting         = proto_perl->Itainting;
10862     PL_taint_warn       = proto_perl->Itaint_warn;
10863
10864 #ifdef PERLIO_LAYERS
10865     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
10866     PerlIO_clone(aTHX_ proto_perl, param);
10867 #endif
10868
10869     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
10870     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
10871     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
10872     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
10873     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
10874     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
10875
10876     /* switches */
10877     PL_minus_c          = proto_perl->Iminus_c;
10878     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
10879     PL_localpatches     = proto_perl->Ilocalpatches;
10880     PL_splitstr         = proto_perl->Isplitstr;
10881     PL_preprocess       = proto_perl->Ipreprocess;
10882     PL_minus_n          = proto_perl->Iminus_n;
10883     PL_minus_p          = proto_perl->Iminus_p;
10884     PL_minus_l          = proto_perl->Iminus_l;
10885     PL_minus_a          = proto_perl->Iminus_a;
10886     PL_minus_E          = proto_perl->Iminus_E;
10887     PL_minus_F          = proto_perl->Iminus_F;
10888     PL_doswitches       = proto_perl->Idoswitches;
10889     PL_dowarn           = proto_perl->Idowarn;
10890     PL_doextract        = proto_perl->Idoextract;
10891     PL_sawampersand     = proto_perl->Isawampersand;
10892     PL_unsafe           = proto_perl->Iunsafe;
10893     PL_inplace          = SAVEPV(proto_perl->Iinplace);
10894     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
10895     PL_perldb           = proto_perl->Iperldb;
10896     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
10897     PL_exit_flags       = proto_perl->Iexit_flags;
10898
10899     /* magical thingies */
10900     /* XXX time(&PL_basetime) when asked for? */
10901     PL_basetime         = proto_perl->Ibasetime;
10902     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
10903
10904     PL_maxsysfd         = proto_perl->Imaxsysfd;
10905     PL_statusvalue      = proto_perl->Istatusvalue;
10906 #ifdef VMS
10907     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
10908 #else
10909     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
10910 #endif
10911     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
10912
10913     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
10914     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
10915     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
10916
10917    
10918     /* RE engine related */
10919     Zero(&PL_reg_state, 1, struct re_save_state);
10920     PL_reginterp_cnt    = 0;
10921     PL_regmatch_slab    = NULL;
10922     
10923     /* Clone the regex array */
10924     PL_regex_padav = newAV();
10925     {
10926         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
10927         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
10928         IV i;
10929         av_push(PL_regex_padav, sv_dup_inc_NN(regexen[0],param));
10930         for(i = 1; i <= len; i++) {
10931             const SV * const regex = regexen[i];
10932             SV * const sv =
10933                 SvREPADTMP(regex)
10934                     ? sv_dup_inc(regex, param)
10935                     : SvREFCNT_inc(
10936                         newSViv(PTR2IV(CALLREGDUPE(
10937                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
10938                 ;
10939             av_push(PL_regex_padav, sv);
10940         }
10941     }
10942     PL_regex_pad = AvARRAY(PL_regex_padav);
10943
10944     /* shortcuts to various I/O objects */
10945     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
10946     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
10947     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
10948     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
10949     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
10950     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
10951
10952     /* shortcuts to regexp stuff */
10953     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
10954
10955     /* shortcuts to misc objects */
10956     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
10957
10958     /* shortcuts to debugging objects */
10959     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
10960     PL_DBline           = gv_dup(proto_perl->IDBline, param);
10961     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
10962     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
10963     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
10964     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
10965     PL_DBassertion      = sv_dup(proto_perl->IDBassertion, param);
10966     PL_lineary          = av_dup(proto_perl->Ilineary, param);
10967     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
10968
10969     /* symbol tables */
10970     PL_defstash         = hv_dup_inc(proto_perl->Tdefstash, param);
10971     PL_curstash         = hv_dup(proto_perl->Tcurstash, param);
10972     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
10973     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
10974     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
10975
10976     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
10977     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
10978     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
10979     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
10980     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
10981     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
10982     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
10983     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
10984
10985     PL_sub_generation   = proto_perl->Isub_generation;
10986
10987     /* funky return mechanisms */
10988     PL_forkprocess      = proto_perl->Iforkprocess;
10989
10990     /* subprocess state */
10991     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
10992
10993     /* internal state */
10994     PL_maxo             = proto_perl->Imaxo;
10995     if (proto_perl->Iop_mask)
10996         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
10997     else
10998         PL_op_mask      = NULL;
10999     /* PL_asserting        = proto_perl->Iasserting; */
11000
11001     /* current interpreter roots */
11002     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
11003     OP_REFCNT_LOCK;
11004     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
11005     OP_REFCNT_UNLOCK;
11006     PL_main_start       = proto_perl->Imain_start;
11007     PL_eval_root        = proto_perl->Ieval_root;
11008     PL_eval_start       = proto_perl->Ieval_start;
11009
11010     /* runtime control stuff */
11011     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
11012     PL_copline          = proto_perl->Icopline;
11013
11014     PL_filemode         = proto_perl->Ifilemode;
11015     PL_lastfd           = proto_perl->Ilastfd;
11016     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
11017     PL_Argv             = NULL;
11018     PL_Cmd              = NULL;
11019     PL_gensym           = proto_perl->Igensym;
11020     PL_preambled        = proto_perl->Ipreambled;
11021     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
11022     PL_laststatval      = proto_perl->Ilaststatval;
11023     PL_laststype        = proto_perl->Ilaststype;
11024     PL_mess_sv          = NULL;
11025
11026     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
11027
11028     /* interpreter atexit processing */
11029     PL_exitlistlen      = proto_perl->Iexitlistlen;
11030     if (PL_exitlistlen) {
11031         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11032         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
11033     }
11034     else
11035         PL_exitlist     = (PerlExitListEntry*)NULL;
11036
11037     PL_my_cxt_size = proto_perl->Imy_cxt_size;
11038     if (PL_my_cxt_size) {
11039         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
11040         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
11041     }
11042     else
11043         PL_my_cxt_list  = (void**)NULL;
11044     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
11045     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
11046     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
11047
11048     PL_profiledata      = NULL;
11049     PL_rsfp             = fp_dup(proto_perl->Irsfp, '<', param);
11050     /* PL_rsfp_filters entries have fake IoDIRP() */
11051     PL_rsfp_filters     = av_dup_inc(proto_perl->Irsfp_filters, param);
11052
11053     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
11054
11055     PAD_CLONE_VARS(proto_perl, param);
11056
11057 #ifdef HAVE_INTERP_INTERN
11058     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
11059 #endif
11060
11061     /* more statics moved here */
11062     PL_generation       = proto_perl->Igeneration;
11063     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
11064
11065     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
11066     PL_in_clean_all     = proto_perl->Iin_clean_all;
11067
11068     PL_uid              = proto_perl->Iuid;
11069     PL_euid             = proto_perl->Ieuid;
11070     PL_gid              = proto_perl->Igid;
11071     PL_egid             = proto_perl->Iegid;
11072     PL_nomemok          = proto_perl->Inomemok;
11073     PL_an               = proto_perl->Ian;
11074     PL_evalseq          = proto_perl->Ievalseq;
11075     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
11076     PL_origalen         = proto_perl->Iorigalen;
11077 #ifdef PERL_USES_PL_PIDSTATUS
11078     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
11079 #endif
11080     PL_osname           = SAVEPV(proto_perl->Iosname);
11081     PL_sighandlerp      = proto_perl->Isighandlerp;
11082
11083     PL_runops           = proto_perl->Irunops;
11084
11085     Copy(proto_perl->Itokenbuf, PL_tokenbuf, 256, char);
11086
11087 #ifdef CSH
11088     PL_cshlen           = proto_perl->Icshlen;
11089     PL_cshname          = proto_perl->Icshname; /* XXX never deallocated */
11090 #endif
11091
11092     PL_lex_state        = proto_perl->Ilex_state;
11093     PL_lex_defer        = proto_perl->Ilex_defer;
11094     PL_lex_expect       = proto_perl->Ilex_expect;
11095     PL_lex_formbrack    = proto_perl->Ilex_formbrack;
11096     PL_lex_dojoin       = proto_perl->Ilex_dojoin;
11097     PL_lex_starts       = proto_perl->Ilex_starts;
11098     PL_lex_stuff        = sv_dup_inc(proto_perl->Ilex_stuff, param);
11099     PL_lex_repl         = sv_dup_inc(proto_perl->Ilex_repl, param);
11100     PL_lex_op           = proto_perl->Ilex_op;
11101     PL_lex_inpat        = proto_perl->Ilex_inpat;
11102     PL_lex_inwhat       = proto_perl->Ilex_inwhat;
11103     PL_lex_brackets     = proto_perl->Ilex_brackets;
11104     i = (PL_lex_brackets < 120 ? 120 : PL_lex_brackets);
11105     PL_lex_brackstack   = SAVEPVN(proto_perl->Ilex_brackstack,i);
11106     PL_lex_casemods     = proto_perl->Ilex_casemods;
11107     i = (PL_lex_casemods < 12 ? 12 : PL_lex_casemods);
11108     PL_lex_casestack    = SAVEPVN(proto_perl->Ilex_casestack,i);
11109
11110 #ifdef PERL_MAD
11111     Copy(proto_perl->Inexttoke, PL_nexttoke, 5, NEXTTOKE);
11112     PL_lasttoke         = proto_perl->Ilasttoke;
11113     PL_realtokenstart   = proto_perl->Irealtokenstart;
11114     PL_faketokens       = proto_perl->Ifaketokens;
11115     PL_thismad          = proto_perl->Ithismad;
11116     PL_thistoken        = proto_perl->Ithistoken;
11117     PL_thisopen         = proto_perl->Ithisopen;
11118     PL_thisstuff        = proto_perl->Ithisstuff;
11119     PL_thisclose        = proto_perl->Ithisclose;
11120     PL_thiswhite        = proto_perl->Ithiswhite;
11121     PL_nextwhite        = proto_perl->Inextwhite;
11122     PL_skipwhite        = proto_perl->Iskipwhite;
11123     PL_endwhite         = proto_perl->Iendwhite;
11124     PL_curforce         = proto_perl->Icurforce;
11125 #else
11126     Copy(proto_perl->Inextval, PL_nextval, 5, YYSTYPE);
11127     Copy(proto_perl->Inexttype, PL_nexttype, 5, I32);
11128     PL_nexttoke         = proto_perl->Inexttoke;
11129 #endif
11130
11131     /* XXX This is probably masking the deeper issue of why
11132      * SvANY(proto_perl->Ilinestr) can be NULL at this point. For test case:
11133      * http://archive.develooper.com/perl5-porters%40perl.org/msg83298.html
11134      * (A little debugging with a watchpoint on it may help.)
11135      */
11136     if (SvANY(proto_perl->Ilinestr)) {
11137         PL_linestr              = sv_dup_inc(proto_perl->Ilinestr, param);
11138         i = proto_perl->Ibufptr - SvPVX_const(proto_perl->Ilinestr);
11139         PL_bufptr               = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11140         i = proto_perl->Ioldbufptr - SvPVX_const(proto_perl->Ilinestr);
11141         PL_oldbufptr    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11142         i = proto_perl->Ioldoldbufptr - SvPVX_const(proto_perl->Ilinestr);
11143         PL_oldoldbufptr = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11144         i = proto_perl->Ilinestart - SvPVX_const(proto_perl->Ilinestr);
11145         PL_linestart    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11146     }
11147     else {
11148         PL_linestr = newSV(79);
11149         sv_upgrade(PL_linestr,SVt_PVIV);
11150         sv_setpvn(PL_linestr,"",0);
11151         PL_bufptr = PL_oldbufptr = PL_oldoldbufptr = PL_linestart = SvPVX(PL_linestr);
11152     }
11153     PL_bufend           = SvPVX(PL_linestr) + SvCUR(PL_linestr);
11154     PL_pending_ident    = proto_perl->Ipending_ident;
11155     PL_sublex_info      = proto_perl->Isublex_info;     /* XXX not quite right */
11156
11157     PL_expect           = proto_perl->Iexpect;
11158
11159     PL_multi_start      = proto_perl->Imulti_start;
11160     PL_multi_end        = proto_perl->Imulti_end;
11161     PL_multi_open       = proto_perl->Imulti_open;
11162     PL_multi_close      = proto_perl->Imulti_close;
11163
11164     PL_error_count      = proto_perl->Ierror_count;
11165     PL_subline          = proto_perl->Isubline;
11166     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
11167
11168     /* XXX See comment on SvANY(proto_perl->Ilinestr) above */
11169     if (SvANY(proto_perl->Ilinestr)) {
11170         i = proto_perl->Ilast_uni - SvPVX_const(proto_perl->Ilinestr);
11171         PL_last_uni             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11172         i = proto_perl->Ilast_lop - SvPVX_const(proto_perl->Ilinestr);
11173         PL_last_lop             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
11174         PL_last_lop_op  = proto_perl->Ilast_lop_op;
11175     }
11176     else {
11177         PL_last_uni     = SvPVX(PL_linestr);
11178         PL_last_lop     = SvPVX(PL_linestr);
11179         PL_last_lop_op  = 0;
11180     }
11181     PL_in_my            = proto_perl->Iin_my;
11182     PL_in_my_stash      = hv_dup(proto_perl->Iin_my_stash, param);
11183 #ifdef FCRYPT
11184     PL_cryptseen        = proto_perl->Icryptseen;
11185 #endif
11186
11187     PL_hints            = proto_perl->Ihints;
11188
11189     PL_amagic_generation        = proto_perl->Iamagic_generation;
11190
11191 #ifdef USE_LOCALE_COLLATE
11192     PL_collation_ix     = proto_perl->Icollation_ix;
11193     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
11194     PL_collation_standard       = proto_perl->Icollation_standard;
11195     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
11196     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
11197 #endif /* USE_LOCALE_COLLATE */
11198
11199 #ifdef USE_LOCALE_NUMERIC
11200     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
11201     PL_numeric_standard = proto_perl->Inumeric_standard;
11202     PL_numeric_local    = proto_perl->Inumeric_local;
11203     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
11204 #endif /* !USE_LOCALE_NUMERIC */
11205
11206     /* utf8 character classes */
11207     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
11208     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
11209     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
11210     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
11211     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
11212     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
11213     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
11214     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
11215     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
11216     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
11217     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
11218     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
11219     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
11220     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
11221     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
11222     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
11223     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
11224     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
11225     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
11226     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
11227
11228     /* Did the locale setup indicate UTF-8? */
11229     PL_utf8locale       = proto_perl->Iutf8locale;
11230     /* Unicode features (see perlrun/-C) */
11231     PL_unicode          = proto_perl->Iunicode;
11232
11233     /* Pre-5.8 signals control */
11234     PL_signals          = proto_perl->Isignals;
11235
11236     /* times() ticks per second */
11237     PL_clocktick        = proto_perl->Iclocktick;
11238
11239     /* Recursion stopper for PerlIO_find_layer */
11240     PL_in_load_module   = proto_perl->Iin_load_module;
11241
11242     /* sort() routine */
11243     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
11244
11245     /* Not really needed/useful since the reenrant_retint is "volatile",
11246      * but do it for consistency's sake. */
11247     PL_reentrant_retint = proto_perl->Ireentrant_retint;
11248
11249     /* Hooks to shared SVs and locks. */
11250     PL_sharehook        = proto_perl->Isharehook;
11251     PL_lockhook         = proto_perl->Ilockhook;
11252     PL_unlockhook       = proto_perl->Iunlockhook;
11253     PL_threadhook       = proto_perl->Ithreadhook;
11254
11255     PL_runops_std       = proto_perl->Irunops_std;
11256     PL_runops_dbg       = proto_perl->Irunops_dbg;
11257
11258 #ifdef THREADS_HAVE_PIDS
11259     PL_ppid             = proto_perl->Ippid;
11260 #endif
11261
11262     /* swatch cache */
11263     PL_last_swash_hv    = NULL; /* reinits on demand */
11264     PL_last_swash_klen  = 0;
11265     PL_last_swash_key[0]= '\0';
11266     PL_last_swash_tmps  = (U8*)NULL;
11267     PL_last_swash_slen  = 0;
11268
11269     PL_glob_index       = proto_perl->Iglob_index;
11270     PL_srand_called     = proto_perl->Isrand_called;
11271     PL_uudmap[(U32) 'M']        = 0;    /* reinits on demand */
11272     PL_bitcount         = NULL; /* reinits on demand */
11273
11274     if (proto_perl->Ipsig_pend) {
11275         Newxz(PL_psig_pend, SIG_SIZE, int);
11276     }
11277     else {
11278         PL_psig_pend    = (int*)NULL;
11279     }
11280
11281     if (proto_perl->Ipsig_ptr) {
11282         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
11283         Newxz(PL_psig_name, SIG_SIZE, SV*);
11284         for (i = 1; i < SIG_SIZE; i++) {
11285             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
11286             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
11287         }
11288     }
11289     else {
11290         PL_psig_ptr     = (SV**)NULL;
11291         PL_psig_name    = (SV**)NULL;
11292     }
11293
11294     /* thrdvar.h stuff */
11295
11296     if (flags & CLONEf_COPY_STACKS) {
11297         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
11298         PL_tmps_ix              = proto_perl->Ttmps_ix;
11299         PL_tmps_max             = proto_perl->Ttmps_max;
11300         PL_tmps_floor           = proto_perl->Ttmps_floor;
11301         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
11302         i = 0;
11303         while (i <= PL_tmps_ix) {
11304             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Ttmps_stack[i], param);
11305             ++i;
11306         }
11307
11308         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
11309         i = proto_perl->Tmarkstack_max - proto_perl->Tmarkstack;
11310         Newxz(PL_markstack, i, I32);
11311         PL_markstack_max        = PL_markstack + (proto_perl->Tmarkstack_max
11312                                                   - proto_perl->Tmarkstack);
11313         PL_markstack_ptr        = PL_markstack + (proto_perl->Tmarkstack_ptr
11314                                                   - proto_perl->Tmarkstack);
11315         Copy(proto_perl->Tmarkstack, PL_markstack,
11316              PL_markstack_ptr - PL_markstack + 1, I32);
11317
11318         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
11319          * NOTE: unlike the others! */
11320         PL_scopestack_ix        = proto_perl->Tscopestack_ix;
11321         PL_scopestack_max       = proto_perl->Tscopestack_max;
11322         Newxz(PL_scopestack, PL_scopestack_max, I32);
11323         Copy(proto_perl->Tscopestack, PL_scopestack, PL_scopestack_ix, I32);
11324
11325         /* NOTE: si_dup() looks at PL_markstack */
11326         PL_curstackinfo         = si_dup(proto_perl->Tcurstackinfo, param);
11327
11328         /* PL_curstack          = PL_curstackinfo->si_stack; */
11329         PL_curstack             = av_dup(proto_perl->Tcurstack, param);
11330         PL_mainstack            = av_dup(proto_perl->Tmainstack, param);
11331
11332         /* next PUSHs() etc. set *(PL_stack_sp+1) */
11333         PL_stack_base           = AvARRAY(PL_curstack);
11334         PL_stack_sp             = PL_stack_base + (proto_perl->Tstack_sp
11335                                                    - proto_perl->Tstack_base);
11336         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
11337
11338         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
11339          * NOTE: unlike the others! */
11340         PL_savestack_ix         = proto_perl->Tsavestack_ix;
11341         PL_savestack_max        = proto_perl->Tsavestack_max;
11342         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
11343         PL_savestack            = ss_dup(proto_perl, param);
11344     }
11345     else {
11346         init_stacks();
11347         ENTER;                  /* perl_destruct() wants to LEAVE; */
11348
11349         /* although we're not duplicating the tmps stack, we should still
11350          * add entries for any SVs on the tmps stack that got cloned by a
11351          * non-refcount means (eg a temp in @_); otherwise they will be
11352          * orphaned
11353          */
11354         for (i = 0; i<= proto_perl->Ttmps_ix; i++) {
11355             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
11356                     proto_perl->Ttmps_stack[i]);
11357             if (nsv && !SvREFCNT(nsv)) {
11358                 EXTEND_MORTAL(1);
11359                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc_simple(nsv);
11360             }
11361         }
11362     }
11363
11364     PL_start_env        = proto_perl->Tstart_env;       /* XXXXXX */
11365     PL_top_env          = &PL_start_env;
11366
11367     PL_op               = proto_perl->Top;
11368
11369     PL_Sv               = NULL;
11370     PL_Xpv              = (XPV*)NULL;
11371     PL_na               = proto_perl->Tna;
11372
11373     PL_statbuf          = proto_perl->Tstatbuf;
11374     PL_statcache        = proto_perl->Tstatcache;
11375     PL_statgv           = gv_dup(proto_perl->Tstatgv, param);
11376     PL_statname         = sv_dup_inc(proto_perl->Tstatname, param);
11377 #ifdef HAS_TIMES
11378     PL_timesbuf         = proto_perl->Ttimesbuf;
11379 #endif
11380
11381     PL_tainted          = proto_perl->Ttainted;
11382     PL_curpm            = proto_perl->Tcurpm;   /* XXX No PMOP ref count */
11383     PL_rs               = sv_dup_inc(proto_perl->Trs, param);
11384     PL_last_in_gv       = gv_dup(proto_perl->Tlast_in_gv, param);
11385     PL_ofs_sv           = sv_dup_inc(proto_perl->Tofs_sv, param);
11386     PL_defoutgv         = gv_dup_inc(proto_perl->Tdefoutgv, param);
11387     PL_chopset          = proto_perl->Tchopset; /* XXX never deallocated */
11388     PL_toptarget        = sv_dup_inc(proto_perl->Ttoptarget, param);
11389     PL_bodytarget       = sv_dup_inc(proto_perl->Tbodytarget, param);
11390     PL_formtarget       = sv_dup(proto_perl->Tformtarget, param);
11391
11392     PL_restartop        = proto_perl->Trestartop;
11393     PL_in_eval          = proto_perl->Tin_eval;
11394     PL_delaymagic       = proto_perl->Tdelaymagic;
11395     PL_dirty            = proto_perl->Tdirty;
11396     PL_localizing       = proto_perl->Tlocalizing;
11397
11398     PL_errors           = sv_dup_inc(proto_perl->Terrors, param);
11399     PL_hv_fetch_ent_mh  = NULL;
11400     PL_modcount         = proto_perl->Tmodcount;
11401     PL_lastgotoprobe    = NULL;
11402     PL_dumpindent       = proto_perl->Tdumpindent;
11403
11404     PL_sortcop          = (OP*)any_dup(proto_perl->Tsortcop, proto_perl);
11405     PL_sortstash        = hv_dup(proto_perl->Tsortstash, param);
11406     PL_firstgv          = gv_dup(proto_perl->Tfirstgv, param);
11407     PL_secondgv         = gv_dup(proto_perl->Tsecondgv, param);
11408     PL_efloatbuf        = NULL;         /* reinits on demand */
11409     PL_efloatsize       = 0;                    /* reinits on demand */
11410
11411     /* regex stuff */
11412
11413     PL_screamfirst      = NULL;
11414     PL_screamnext       = NULL;
11415     PL_maxscream        = -1;                   /* reinits on demand */
11416     PL_lastscream       = NULL;
11417
11418     PL_watchaddr        = NULL;
11419     PL_watchok          = NULL;
11420
11421     PL_regdummy         = proto_perl->Tregdummy;
11422     PL_colorset         = 0;            /* reinits PL_colors[] */
11423     /*PL_colors[6]      = {0,0,0,0,0,0};*/
11424
11425
11426
11427     /* Pluggable optimizer */
11428     PL_peepp            = proto_perl->Tpeepp;
11429
11430     PL_stashcache       = newHV();
11431
11432     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
11433         ptr_table_free(PL_ptr_table);
11434         PL_ptr_table = NULL;
11435     }
11436
11437     /* Call the ->CLONE method, if it exists, for each of the stashes
11438        identified by sv_dup() above.
11439     */
11440     while(av_len(param->stashes) != -1) {
11441         HV* const stash = (HV*) av_shift(param->stashes);
11442         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11443         if (cloner && GvCV(cloner)) {
11444             dSP;
11445             ENTER;
11446             SAVETMPS;
11447             PUSHMARK(SP);
11448             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11449             PUTBACK;
11450             call_sv((SV*)GvCV(cloner), G_DISCARD);
11451             FREETMPS;
11452             LEAVE;
11453         }
11454     }
11455
11456     SvREFCNT_dec(param->stashes);
11457
11458     /* orphaned? eg threads->new inside BEGIN or use */
11459     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11460         SvREFCNT_inc_simple_void(PL_compcv);
11461         SAVEFREESV(PL_compcv);
11462     }
11463
11464     return my_perl;
11465 }
11466
11467 #endif /* USE_ITHREADS */
11468
11469 /*
11470 =head1 Unicode Support
11471
11472 =for apidoc sv_recode_to_utf8
11473
11474 The encoding is assumed to be an Encode object, on entry the PV
11475 of the sv is assumed to be octets in that encoding, and the sv
11476 will be converted into Unicode (and UTF-8).
11477
11478 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11479 is not a reference, nothing is done to the sv.  If the encoding is not
11480 an C<Encode::XS> Encoding object, bad things will happen.
11481 (See F<lib/encoding.pm> and L<Encode>).
11482
11483 The PV of the sv is returned.
11484
11485 =cut */
11486
11487 char *
11488 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11489 {
11490     dVAR;
11491     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11492         SV *uni;
11493         STRLEN len;
11494         const char *s;
11495         dSP;
11496         ENTER;
11497         SAVETMPS;
11498         save_re_context();
11499         PUSHMARK(sp);
11500         EXTEND(SP, 3);
11501         XPUSHs(encoding);
11502         XPUSHs(sv);
11503 /*
11504   NI-S 2002/07/09
11505   Passing sv_yes is wrong - it needs to be or'ed set of constants
11506   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11507   remove converted chars from source.
11508
11509   Both will default the value - let them.
11510
11511         XPUSHs(&PL_sv_yes);
11512 */
11513         PUTBACK;
11514         call_method("decode", G_SCALAR);
11515         SPAGAIN;
11516         uni = POPs;
11517         PUTBACK;
11518         s = SvPV_const(uni, len);
11519         if (s != SvPVX_const(sv)) {
11520             SvGROW(sv, len + 1);
11521             Move(s, SvPVX(sv), len + 1, char);
11522             SvCUR_set(sv, len);
11523         }
11524         FREETMPS;
11525         LEAVE;
11526         SvUTF8_on(sv);
11527         return SvPVX(sv);
11528     }
11529     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11530 }
11531
11532 /*
11533 =for apidoc sv_cat_decode
11534
11535 The encoding is assumed to be an Encode object, the PV of the ssv is
11536 assumed to be octets in that encoding and decoding the input starts
11537 from the position which (PV + *offset) pointed to.  The dsv will be
11538 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11539 when the string tstr appears in decoding output or the input ends on
11540 the PV of the ssv. The value which the offset points will be modified
11541 to the last input position on the ssv.
11542
11543 Returns TRUE if the terminator was found, else returns FALSE.
11544
11545 =cut */
11546
11547 bool
11548 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11549                    SV *ssv, int *offset, char *tstr, int tlen)
11550 {
11551     dVAR;
11552     bool ret = FALSE;
11553     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11554         SV *offsv;
11555         dSP;
11556         ENTER;
11557         SAVETMPS;
11558         save_re_context();
11559         PUSHMARK(sp);
11560         EXTEND(SP, 6);
11561         XPUSHs(encoding);
11562         XPUSHs(dsv);
11563         XPUSHs(ssv);
11564         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11565         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11566         PUTBACK;
11567         call_method("cat_decode", G_SCALAR);
11568         SPAGAIN;
11569         ret = SvTRUE(TOPs);
11570         *offset = SvIV(offsv);
11571         PUTBACK;
11572         FREETMPS;
11573         LEAVE;
11574     }
11575     else
11576         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11577     return ret;
11578
11579 }
11580
11581 /* ---------------------------------------------------------------------
11582  *
11583  * support functions for report_uninit()
11584  */
11585
11586 /* the maxiumum size of array or hash where we will scan looking
11587  * for the undefined element that triggered the warning */
11588
11589 #define FUV_MAX_SEARCH_SIZE 1000
11590
11591 /* Look for an entry in the hash whose value has the same SV as val;
11592  * If so, return a mortal copy of the key. */
11593
11594 STATIC SV*
11595 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11596 {
11597     dVAR;
11598     register HE **array;
11599     I32 i;
11600
11601     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11602                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11603         return NULL;
11604
11605     array = HvARRAY(hv);
11606
11607     for (i=HvMAX(hv); i>0; i--) {
11608         register HE *entry;
11609         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11610             if (HeVAL(entry) != val)
11611                 continue;
11612             if (    HeVAL(entry) == &PL_sv_undef ||
11613                     HeVAL(entry) == &PL_sv_placeholder)
11614                 continue;
11615             if (!HeKEY(entry))
11616                 return NULL;
11617             if (HeKLEN(entry) == HEf_SVKEY)
11618                 return sv_mortalcopy(HeKEY_sv(entry));
11619             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11620         }
11621     }
11622     return NULL;
11623 }
11624
11625 /* Look for an entry in the array whose value has the same SV as val;
11626  * If so, return the index, otherwise return -1. */
11627
11628 STATIC I32
11629 S_find_array_subscript(pTHX_ AV *av, SV* val)
11630 {
11631     dVAR;
11632     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11633                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11634         return -1;
11635
11636     if (val != &PL_sv_undef) {
11637         SV ** const svp = AvARRAY(av);
11638         I32 i;
11639
11640         for (i=AvFILLp(av); i>=0; i--)
11641             if (svp[i] == val)
11642                 return i;
11643     }
11644     return -1;
11645 }
11646
11647 /* S_varname(): return the name of a variable, optionally with a subscript.
11648  * If gv is non-zero, use the name of that global, along with gvtype (one
11649  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11650  * targ.  Depending on the value of the subscript_type flag, return:
11651  */
11652
11653 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11654 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11655 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11656 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11657
11658 STATIC SV*
11659 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11660         SV* keyname, I32 aindex, int subscript_type)
11661 {
11662
11663     SV * const name = sv_newmortal();
11664     if (gv) {
11665         char buffer[2];
11666         buffer[0] = gvtype;
11667         buffer[1] = 0;
11668
11669         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11670
11671         gv_fullname4(name, gv, buffer, 0);
11672
11673         if ((unsigned int)SvPVX(name)[1] <= 26) {
11674             buffer[0] = '^';
11675             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11676
11677             /* Swap the 1 unprintable control character for the 2 byte pretty
11678                version - ie substr($name, 1, 1) = $buffer; */
11679             sv_insert(name, 1, 1, buffer, 2);
11680         }
11681     }
11682     else {
11683         U32 unused;
11684         CV * const cv = find_runcv(&unused);
11685         SV *sv;
11686         AV *av;
11687
11688         if (!cv || !CvPADLIST(cv))
11689             return NULL;
11690         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11691         sv = *av_fetch(av, targ, FALSE);
11692         /* SvLEN in a pad name is not to be trusted */
11693         sv_setpv(name, SvPV_nolen_const(sv));
11694     }
11695
11696     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11697         SV * const sv = newSV(0);
11698         *SvPVX(name) = '$';
11699         Perl_sv_catpvf(aTHX_ name, "{%s}",
11700             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11701         SvREFCNT_dec(sv);
11702     }
11703     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11704         *SvPVX(name) = '$';
11705         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11706     }
11707     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11708         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11709
11710     return name;
11711 }
11712
11713
11714 /*
11715 =for apidoc find_uninit_var
11716
11717 Find the name of the undefined variable (if any) that caused the operator o
11718 to issue a "Use of uninitialized value" warning.
11719 If match is true, only return a name if it's value matches uninit_sv.
11720 So roughly speaking, if a unary operator (such as OP_COS) generates a
11721 warning, then following the direct child of the op may yield an
11722 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11723 other hand, with OP_ADD there are two branches to follow, so we only print
11724 the variable name if we get an exact match.
11725
11726 The name is returned as a mortal SV.
11727
11728 Assumes that PL_op is the op that originally triggered the error, and that
11729 PL_comppad/PL_curpad points to the currently executing pad.
11730
11731 =cut
11732 */
11733
11734 STATIC SV *
11735 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11736 {
11737     dVAR;
11738     SV *sv;
11739     AV *av;
11740     GV *gv;
11741     OP *o, *o2, *kid;
11742
11743     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11744                             uninit_sv == &PL_sv_placeholder)))
11745         return NULL;
11746
11747     switch (obase->op_type) {
11748
11749     case OP_RV2AV:
11750     case OP_RV2HV:
11751     case OP_PADAV:
11752     case OP_PADHV:
11753       {
11754         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11755         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11756         I32 index = 0;
11757         SV *keysv = NULL;
11758         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11759
11760         if (pad) { /* @lex, %lex */
11761             sv = PAD_SVl(obase->op_targ);
11762             gv = NULL;
11763         }
11764         else {
11765             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11766             /* @global, %global */
11767                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11768                 if (!gv)
11769                     break;
11770                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11771             }
11772             else /* @{expr}, %{expr} */
11773                 return find_uninit_var(cUNOPx(obase)->op_first,
11774                                                     uninit_sv, match);
11775         }
11776
11777         /* attempt to find a match within the aggregate */
11778         if (hash) {
11779             keysv = find_hash_subscript((HV*)sv, uninit_sv);
11780             if (keysv)
11781                 subscript_type = FUV_SUBSCRIPT_HASH;
11782         }
11783         else {
11784             index = find_array_subscript((AV*)sv, uninit_sv);
11785             if (index >= 0)
11786                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11787         }
11788
11789         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11790             break;
11791
11792         return varname(gv, hash ? '%' : '@', obase->op_targ,
11793                                     keysv, index, subscript_type);
11794       }
11795
11796     case OP_PADSV:
11797         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11798             break;
11799         return varname(NULL, '$', obase->op_targ,
11800                                     NULL, 0, FUV_SUBSCRIPT_NONE);
11801
11802     case OP_GVSV:
11803         gv = cGVOPx_gv(obase);
11804         if (!gv || (match && GvSV(gv) != uninit_sv))
11805             break;
11806         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
11807
11808     case OP_AELEMFAST:
11809         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11810             if (match) {
11811                 SV **svp;
11812                 av = (AV*)PAD_SV(obase->op_targ);
11813                 if (!av || SvRMAGICAL(av))
11814                     break;
11815                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11816                 if (!svp || *svp != uninit_sv)
11817                     break;
11818             }
11819             return varname(NULL, '$', obase->op_targ,
11820                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11821         }
11822         else {
11823             gv = cGVOPx_gv(obase);
11824             if (!gv)
11825                 break;
11826             if (match) {
11827                 SV **svp;
11828                 av = GvAV(gv);
11829                 if (!av || SvRMAGICAL(av))
11830                     break;
11831                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11832                 if (!svp || *svp != uninit_sv)
11833                     break;
11834             }
11835             return varname(gv, '$', 0,
11836                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11837         }
11838         break;
11839
11840     case OP_EXISTS:
11841         o = cUNOPx(obase)->op_first;
11842         if (!o || o->op_type != OP_NULL ||
11843                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11844             break;
11845         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11846
11847     case OP_AELEM:
11848     case OP_HELEM:
11849         if (PL_op == obase)
11850             /* $a[uninit_expr] or $h{uninit_expr} */
11851             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11852
11853         gv = NULL;
11854         o = cBINOPx(obase)->op_first;
11855         kid = cBINOPx(obase)->op_last;
11856
11857         /* get the av or hv, and optionally the gv */
11858         sv = NULL;
11859         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
11860             sv = PAD_SV(o->op_targ);
11861         }
11862         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
11863                 && cUNOPo->op_first->op_type == OP_GV)
11864         {
11865             gv = cGVOPx_gv(cUNOPo->op_first);
11866             if (!gv)
11867                 break;
11868             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
11869         }
11870         if (!sv)
11871             break;
11872
11873         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
11874             /* index is constant */
11875             if (match) {
11876                 if (SvMAGICAL(sv))
11877                     break;
11878                 if (obase->op_type == OP_HELEM) {
11879                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
11880                     if (!he || HeVAL(he) != uninit_sv)
11881                         break;
11882                 }
11883                 else {
11884                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
11885                     if (!svp || *svp != uninit_sv)
11886                         break;
11887                 }
11888             }
11889             if (obase->op_type == OP_HELEM)
11890                 return varname(gv, '%', o->op_targ,
11891                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
11892             else
11893                 return varname(gv, '@', o->op_targ, NULL,
11894                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
11895         }
11896         else  {
11897             /* index is an expression;
11898              * attempt to find a match within the aggregate */
11899             if (obase->op_type == OP_HELEM) {
11900                 SV * const keysv = find_hash_subscript((HV*)sv, uninit_sv);
11901                 if (keysv)
11902                     return varname(gv, '%', o->op_targ,
11903                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
11904             }
11905             else {
11906                 const I32 index = find_array_subscript((AV*)sv, uninit_sv);
11907                 if (index >= 0)
11908                     return varname(gv, '@', o->op_targ,
11909                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
11910             }
11911             if (match)
11912                 break;
11913             return varname(gv,
11914                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
11915                 ? '@' : '%',
11916                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
11917         }
11918         break;
11919
11920     case OP_AASSIGN:
11921         /* only examine RHS */
11922         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
11923
11924     case OP_OPEN:
11925         o = cUNOPx(obase)->op_first;
11926         if (o->op_type == OP_PUSHMARK)
11927             o = o->op_sibling;
11928
11929         if (!o->op_sibling) {
11930             /* one-arg version of open is highly magical */
11931
11932             if (o->op_type == OP_GV) { /* open FOO; */
11933                 gv = cGVOPx_gv(o);
11934                 if (match && GvSV(gv) != uninit_sv)
11935                     break;
11936                 return varname(gv, '$', 0,
11937                             NULL, 0, FUV_SUBSCRIPT_NONE);
11938             }
11939             /* other possibilities not handled are:
11940              * open $x; or open my $x;  should return '${*$x}'
11941              * open expr;               should return '$'.expr ideally
11942              */
11943              break;
11944         }
11945         goto do_op;
11946
11947     /* ops where $_ may be an implicit arg */
11948     case OP_TRANS:
11949     case OP_SUBST:
11950     case OP_MATCH:
11951         if ( !(obase->op_flags & OPf_STACKED)) {
11952             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
11953                                  ? PAD_SVl(obase->op_targ)
11954                                  : DEFSV))
11955             {
11956                 sv = sv_newmortal();
11957                 sv_setpvn(sv, "$_", 2);
11958                 return sv;
11959             }
11960         }
11961         goto do_op;
11962
11963     case OP_PRTF:
11964     case OP_PRINT:
11965         /* skip filehandle as it can't produce 'undef' warning  */
11966         o = cUNOPx(obase)->op_first;
11967         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
11968             o = o->op_sibling->op_sibling;
11969         goto do_op2;
11970
11971
11972     case OP_RV2SV:
11973     case OP_CUSTOM:
11974     case OP_ENTERSUB:
11975         match = 1; /* XS or custom code could trigger random warnings */
11976         goto do_op;
11977
11978     case OP_SCHOMP:
11979     case OP_CHOMP:
11980         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
11981             return sv_2mortal(newSVpvs("${$/}"));
11982         /*FALLTHROUGH*/
11983
11984     default:
11985     do_op:
11986         if (!(obase->op_flags & OPf_KIDS))
11987             break;
11988         o = cUNOPx(obase)->op_first;
11989         
11990     do_op2:
11991         if (!o)
11992             break;
11993
11994         /* if all except one arg are constant, or have no side-effects,
11995          * or are optimized away, then it's unambiguous */
11996         o2 = NULL;
11997         for (kid=o; kid; kid = kid->op_sibling) {
11998             if (kid) {
11999                 const OPCODE type = kid->op_type;
12000                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
12001                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
12002                   || (type == OP_PUSHMARK)
12003                 )
12004                 continue;
12005             }
12006             if (o2) { /* more than one found */
12007                 o2 = NULL;
12008                 break;
12009             }
12010             o2 = kid;
12011         }
12012         if (o2)
12013             return find_uninit_var(o2, uninit_sv, match);
12014
12015         /* scan all args */
12016         while (o) {
12017             sv = find_uninit_var(o, uninit_sv, 1);
12018             if (sv)
12019                 return sv;
12020             o = o->op_sibling;
12021         }
12022         break;
12023     }
12024     return NULL;
12025 }
12026
12027
12028 /*
12029 =for apidoc report_uninit
12030
12031 Print appropriate "Use of uninitialized variable" warning
12032
12033 =cut
12034 */
12035
12036 void
12037 Perl_report_uninit(pTHX_ SV* uninit_sv)
12038 {
12039     dVAR;
12040     if (PL_op) {
12041         SV* varname = NULL;
12042         if (uninit_sv) {
12043             varname = find_uninit_var(PL_op, uninit_sv,0);
12044             if (varname)
12045                 sv_insert(varname, 0, 0, " ", 1);
12046         }
12047         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12048                 varname ? SvPV_nolen_const(varname) : "",
12049                 " in ", OP_DESC(PL_op));
12050     }
12051     else
12052         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
12053                     "", "", "");
12054 }
12055
12056 /*
12057  * Local variables:
12058  * c-indentation-style: bsd
12059  * c-basic-offset: 4
12060  * indent-tabs-mode: t
12061  * End:
12062  *
12063  * ex: set ts=8 sts=4 sw=4 noet:
12064  */