cbeb3d8ffdf2bfbce782dc748000ed458dc5da2e
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* The cache element 0 is the Unicode offset;
34  * the cache element 1 is the byte offset of the element 0;
35  * the cache element 2 is the Unicode length of the substring;
36  * the cache element 3 is the byte length of the substring;
37  * The checking of the substring side would be good
38  * but substr() has enough code paths to make my head spin;
39  * if adding more checks watch out for the following tests:
40  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
41  *   lib/utf8.t lib/Unicode/Collate/t/index.t
42  * --jhi
43  */
44 #define ASSERT_UTF8_CACHE(cache) \
45         STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); } } STMT_END
46 #else
47 #define ASSERT_UTF8_CACHE(cache) NOOP
48 #endif
49
50 #ifdef PERL_OLD_COPY_ON_WRITE
51 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
52 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
53 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
54    on-write.  */
55 #endif
56
57 /* ============================================================================
58
59 =head1 Allocation and deallocation of SVs.
60
61 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct sv,
62 av, hv...) contains type and reference count information, as well as a
63 pointer to the body (struct xrv, xpv, xpviv...), which contains fields
64 specific to each type.
65
66 In all but the most memory-paranoid configuations (ex: PURIFY), this
67 allocation is done using arenas, which by default are approximately 4K
68 chunks of memory parcelled up into N heads or bodies (of same size).
69 Sv-bodies are allocated by their sv-type, guaranteeing size
70 consistency needed to allocate safely from arrays.
71
72 The first slot in each arena is reserved, and is used to hold a link
73 to the next arena.  In the case of heads, the unused first slot also
74 contains some flags and a note of the number of slots.  Snaked through
75 each arena chain is a linked list of free items; when this becomes
76 empty, an extra arena is allocated and divided up into N items which
77 are threaded into the free list.
78
79 The following global variables are associated with arenas:
80
81     PL_sv_arenaroot     pointer to list of SV arenas
82     PL_sv_root          pointer to list of free SV structures
83
84     PL_body_arenaroots[]  array of pointers to list of arenas, 1 per svtype
85     PL_body_roots[]       array of pointers to list of free bodies of svtype
86                           arrays are indexed by the svtype needed
87
88 Note that some of the larger and more rarely used body types (eg
89 xpvio) are not allocated using arenas, but are instead just
90 malloc()/free()ed as required.
91
92 In addition, a few SV heads are not allocated from an arena, but are
93 instead directly created as static or auto variables, eg PL_sv_undef.
94 The size of arenas can be changed from the default by setting
95 PERL_ARENA_SIZE appropriately at compile time.
96
97 The SV arena serves the secondary purpose of allowing still-live SVs
98 to be located and destroyed during final cleanup.
99
100 At the lowest level, the macros new_SV() and del_SV() grab and free
101 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
102 to return the SV to the free list with error checking.) new_SV() calls
103 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
104 SVs in the free list have their SvTYPE field set to all ones.
105
106 Similarly, there are macros new_XIV()/del_XIV(), new_XNV()/del_XNV() etc
107 that allocate and return individual body types. Normally these are mapped
108 to the arena-manipulating functions new_xiv()/del_xiv() etc, but may be
109 instead mapped directly to malloc()/free() if PURIFY is defined. The
110 new/del functions remove from, or add to, the appropriate PL_foo_root
111 list, and call more_xiv() etc to add a new arena if the list is empty.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 Manipulation of any of the PL_*root pointers is protected by enclosing
118 LOCK_SV_MUTEX; ... UNLOCK_SV_MUTEX calls which should Do the Right Thing
119 if threads are enabled.
120
121 The function visit() scans the SV arenas list, and calls a specified
122 function for each SV it finds which is still live - ie which has an SvTYPE
123 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
124 following functions (specified as [function that calls visit()] / [function
125 called by visit() for each SV]):
126
127     sv_report_used() / do_report_used()
128                         dump all remaining SVs (debugging aid)
129
130     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
131                         Attempt to free all objects pointed to by RVs,
132                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
133                         try to do the same for all objects indirectly
134                         referenced by typeglobs too.  Called once from
135                         perl_destruct(), prior to calling sv_clean_all()
136                         below.
137
138     sv_clean_all() / do_clean_all()
139                         SvREFCNT_dec(sv) each remaining SV, possibly
140                         triggering an sv_free(). It also sets the
141                         SVf_BREAK flag on the SV to indicate that the
142                         refcnt has been artificially lowered, and thus
143                         stopping sv_free() from giving spurious warnings
144                         about SVs which unexpectedly have a refcnt
145                         of zero.  called repeatedly from perl_destruct()
146                         until there are no SVs left.
147
148 =head2 Arena allocator API Summary
149
150 Private API to rest of sv.c
151
152     new_SV(),  del_SV(),
153
154     new_XIV(), del_XIV(),
155     new_XNV(), del_XNV(),
156     etc
157
158 Public API:
159
160     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
161
162
163 =cut
164
165 ============================================================================ */
166
167
168
169 /*
170  * "A time to plant, and a time to uproot what was planted..."
171  */
172
173 /*
174  * nice_chunk and nice_chunk size need to be set
175  * and queried under the protection of sv_mutex
176  */
177 void
178 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
179 {
180     dVAR;
181     void *new_chunk;
182     U32 new_chunk_size;
183     LOCK_SV_MUTEX;
184     new_chunk = (void *)(chunk);
185     new_chunk_size = (chunk_size);
186     if (new_chunk_size > PL_nice_chunk_size) {
187         Safefree(PL_nice_chunk);
188         PL_nice_chunk = (char *) new_chunk;
189         PL_nice_chunk_size = new_chunk_size;
190     } else {
191         Safefree(chunk);
192     }
193     UNLOCK_SV_MUTEX;
194 }
195
196 #ifdef DEBUG_LEAKING_SCALARS
197 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
198 #else
199 #  define FREE_SV_DEBUG_FILE(sv)
200 #endif
201
202 #ifdef PERL_POISON
203 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
204 /* Whilst I'd love to do this, it seems that things like to check on
205    unreferenced scalars
206 #  define POSION_SV_HEAD(sv)    Poison(sv, 1, struct STRUCT_SV)
207 */
208 #  define POSION_SV_HEAD(sv)    Poison(&SvANY(sv), 1, void *), \
209                                 Poison(&SvREFCNT(sv), 1, U32)
210 #else
211 #  define SvARENA_CHAIN(sv)     SvANY(sv)
212 #  define POSION_SV_HEAD(sv)
213 #endif
214
215 #define plant_SV(p) \
216     STMT_START {                                        \
217         FREE_SV_DEBUG_FILE(p);                          \
218         POSION_SV_HEAD(p);                              \
219         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
220         SvFLAGS(p) = SVTYPEMASK;                        \
221         PL_sv_root = (p);                               \
222         --PL_sv_count;                                  \
223     } STMT_END
224
225 /* sv_mutex must be held while calling uproot_SV() */
226 #define uproot_SV(p) \
227     STMT_START {                                        \
228         (p) = PL_sv_root;                               \
229         PL_sv_root = (SV*)SvARENA_CHAIN(p);                     \
230         ++PL_sv_count;                                  \
231     } STMT_END
232
233
234 /* make some more SVs by adding another arena */
235
236 /* sv_mutex must be held while calling more_sv() */
237 STATIC SV*
238 S_more_sv(pTHX)
239 {
240     dVAR;
241     SV* sv;
242
243     if (PL_nice_chunk) {
244         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
245         PL_nice_chunk = Nullch;
246         PL_nice_chunk_size = 0;
247     }
248     else {
249         char *chunk;                /* must use New here to match call to */
250         Newx(chunk,PERL_ARENA_SIZE,char);   /* Safefree() in sv_free_arenas()     */
251         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
252     }
253     uproot_SV(sv);
254     return sv;
255 }
256
257 /* new_SV(): return a new, empty SV head */
258
259 #ifdef DEBUG_LEAKING_SCALARS
260 /* provide a real function for a debugger to play with */
261 STATIC SV*
262 S_new_SV(pTHX)
263 {
264     SV* sv;
265
266     LOCK_SV_MUTEX;
267     if (PL_sv_root)
268         uproot_SV(sv);
269     else
270         sv = S_more_sv(aTHX);
271     UNLOCK_SV_MUTEX;
272     SvANY(sv) = 0;
273     SvREFCNT(sv) = 1;
274     SvFLAGS(sv) = 0;
275     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
276     sv->sv_debug_line = (U16) ((PL_copline == NOLINE) ?
277         (PL_curcop ? CopLINE(PL_curcop) : 0) : PL_copline);
278     sv->sv_debug_inpad = 0;
279     sv->sv_debug_cloned = 0;
280     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
281     
282     return sv;
283 }
284 #  define new_SV(p) (p)=S_new_SV(aTHX)
285
286 #else
287 #  define new_SV(p) \
288     STMT_START {                                        \
289         LOCK_SV_MUTEX;                                  \
290         if (PL_sv_root)                                 \
291             uproot_SV(p);                               \
292         else                                            \
293             (p) = S_more_sv(aTHX);                      \
294         UNLOCK_SV_MUTEX;                                \
295         SvANY(p) = 0;                                   \
296         SvREFCNT(p) = 1;                                \
297         SvFLAGS(p) = 0;                                 \
298     } STMT_END
299 #endif
300
301
302 /* del_SV(): return an empty SV head to the free list */
303
304 #ifdef DEBUGGING
305
306 #define del_SV(p) \
307     STMT_START {                                        \
308         LOCK_SV_MUTEX;                                  \
309         if (DEBUG_D_TEST)                               \
310             del_sv(p);                                  \
311         else                                            \
312             plant_SV(p);                                \
313         UNLOCK_SV_MUTEX;                                \
314     } STMT_END
315
316 STATIC void
317 S_del_sv(pTHX_ SV *p)
318 {
319     dVAR;
320     if (DEBUG_D_TEST) {
321         SV* sva;
322         bool ok = 0;
323         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
324             const SV * const sv = sva + 1;
325             const SV * const svend = &sva[SvREFCNT(sva)];
326             if (p >= sv && p < svend) {
327                 ok = 1;
328                 break;
329             }
330         }
331         if (!ok) {
332             if (ckWARN_d(WARN_INTERNAL))        
333                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
334                             "Attempt to free non-arena SV: 0x%"UVxf
335                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
336             return;
337         }
338     }
339     plant_SV(p);
340 }
341
342 #else /* ! DEBUGGING */
343
344 #define del_SV(p)   plant_SV(p)
345
346 #endif /* DEBUGGING */
347
348
349 /*
350 =head1 SV Manipulation Functions
351
352 =for apidoc sv_add_arena
353
354 Given a chunk of memory, link it to the head of the list of arenas,
355 and split it into a list of free SVs.
356
357 =cut
358 */
359
360 void
361 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
362 {
363     dVAR;
364     SV* const sva = (SV*)ptr;
365     register SV* sv;
366     register SV* svend;
367
368     /* The first SV in an arena isn't an SV. */
369     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
370     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
371     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
372
373     PL_sv_arenaroot = sva;
374     PL_sv_root = sva + 1;
375
376     svend = &sva[SvREFCNT(sva) - 1];
377     sv = sva + 1;
378     while (sv < svend) {
379         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
380 #ifdef DEBUGGING
381         SvREFCNT(sv) = 0;
382 #endif
383         /* Must always set typemask because it's awlays checked in on cleanup
384            when the arenas are walked looking for objects.  */
385         SvFLAGS(sv) = SVTYPEMASK;
386         sv++;
387     }
388     SvARENA_CHAIN(sv) = 0;
389 #ifdef DEBUGGING
390     SvREFCNT(sv) = 0;
391 #endif
392     SvFLAGS(sv) = SVTYPEMASK;
393 }
394
395 /* visit(): call the named function for each non-free SV in the arenas
396  * whose flags field matches the flags/mask args. */
397
398 STATIC I32
399 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
400 {
401     dVAR;
402     SV* sva;
403     I32 visited = 0;
404
405     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
406         register const SV * const svend = &sva[SvREFCNT(sva)];
407         register SV* sv;
408         for (sv = sva + 1; sv < svend; ++sv) {
409             if (SvTYPE(sv) != SVTYPEMASK
410                     && (sv->sv_flags & mask) == flags
411                     && SvREFCNT(sv))
412             {
413                 (FCALL)(aTHX_ sv);
414                 ++visited;
415             }
416         }
417     }
418     return visited;
419 }
420
421 #ifdef DEBUGGING
422
423 /* called by sv_report_used() for each live SV */
424
425 static void
426 do_report_used(pTHX_ SV *sv)
427 {
428     if (SvTYPE(sv) != SVTYPEMASK) {
429         PerlIO_printf(Perl_debug_log, "****\n");
430         sv_dump(sv);
431     }
432 }
433 #endif
434
435 /*
436 =for apidoc sv_report_used
437
438 Dump the contents of all SVs not yet freed. (Debugging aid).
439
440 =cut
441 */
442
443 void
444 Perl_sv_report_used(pTHX)
445 {
446 #ifdef DEBUGGING
447     visit(do_report_used, 0, 0);
448 #endif
449 }
450
451 /* called by sv_clean_objs() for each live SV */
452
453 static void
454 do_clean_objs(pTHX_ SV *ref)
455 {
456     dVAR;
457     if (SvROK(ref)) {
458         SV * const target = SvRV(ref);
459         if (SvOBJECT(target)) {
460             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
461             if (SvWEAKREF(ref)) {
462                 sv_del_backref(target, ref);
463                 SvWEAKREF_off(ref);
464                 SvRV_set(ref, NULL);
465             } else {
466                 SvROK_off(ref);
467                 SvRV_set(ref, NULL);
468                 SvREFCNT_dec(target);
469             }
470         }
471     }
472
473     /* XXX Might want to check arrays, etc. */
474 }
475
476 /* called by sv_clean_objs() for each live SV */
477
478 #ifndef DISABLE_DESTRUCTOR_KLUDGE
479 static void
480 do_clean_named_objs(pTHX_ SV *sv)
481 {
482     dVAR;
483     if (SvTYPE(sv) == SVt_PVGV && GvGP(sv)) {
484         if ((
485 #ifdef PERL_DONT_CREATE_GVSV
486              GvSV(sv) &&
487 #endif
488              SvOBJECT(GvSV(sv))) ||
489              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
490              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
491              (GvIO(sv) && SvOBJECT(GvIO(sv))) ||
492              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
493         {
494             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
495             SvFLAGS(sv) |= SVf_BREAK;
496             SvREFCNT_dec(sv);
497         }
498     }
499 }
500 #endif
501
502 /*
503 =for apidoc sv_clean_objs
504
505 Attempt to destroy all objects not yet freed
506
507 =cut
508 */
509
510 void
511 Perl_sv_clean_objs(pTHX)
512 {
513     dVAR;
514     PL_in_clean_objs = TRUE;
515     visit(do_clean_objs, SVf_ROK, SVf_ROK);
516 #ifndef DISABLE_DESTRUCTOR_KLUDGE
517     /* some barnacles may yet remain, clinging to typeglobs */
518     visit(do_clean_named_objs, SVt_PVGV, SVTYPEMASK);
519 #endif
520     PL_in_clean_objs = FALSE;
521 }
522
523 /* called by sv_clean_all() for each live SV */
524
525 static void
526 do_clean_all(pTHX_ SV *sv)
527 {
528     dVAR;
529     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
530     SvFLAGS(sv) |= SVf_BREAK;
531     if (PL_comppad == (AV*)sv) {
532         PL_comppad = NULL;
533         PL_curpad = Null(SV**);
534     }
535     SvREFCNT_dec(sv);
536 }
537
538 /*
539 =for apidoc sv_clean_all
540
541 Decrement the refcnt of each remaining SV, possibly triggering a
542 cleanup. This function may have to be called multiple times to free
543 SVs which are in complex self-referential hierarchies.
544
545 =cut
546 */
547
548 I32
549 Perl_sv_clean_all(pTHX)
550 {
551     dVAR;
552     I32 cleaned;
553     PL_in_clean_all = TRUE;
554     cleaned = visit(do_clean_all, 0,0);
555     PL_in_clean_all = FALSE;
556     return cleaned;
557 }
558
559 static void 
560 S_free_arena(pTHX_ void **root) {
561     while (root) {
562         void ** const next = *(void **)root;
563         Safefree(root);
564         root = next;
565     }
566 }
567     
568 /*
569 =for apidoc sv_free_arenas
570
571 Deallocate the memory used by all arenas. Note that all the individual SV
572 heads and bodies within the arenas must already have been freed.
573
574 =cut
575 */
576 #define free_arena(name)                                        \
577     STMT_START {                                                \
578         S_free_arena(aTHX_ (void**) PL_ ## name ## _arenaroot); \
579         PL_ ## name ## _arenaroot = 0;                          \
580         PL_ ## name ## _root = 0;                               \
581     } STMT_END
582
583 void
584 Perl_sv_free_arenas(pTHX)
585 {
586     dVAR;
587     SV* sva;
588     SV* svanext;
589     int i;
590
591     /* Free arenas here, but be careful about fake ones.  (We assume
592        contiguity of the fake ones with the corresponding real ones.) */
593
594     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
595         svanext = (SV*) SvANY(sva);
596         while (svanext && SvFAKE(svanext))
597             svanext = (SV*) SvANY(svanext);
598
599         if (!SvFAKE(sva))
600             Safefree(sva);
601     }
602
603     for (i=0; i<SVt_LAST; i++) {
604         S_free_arena(aTHX_ (void**) PL_body_arenaroots[i]);
605         PL_body_arenaroots[i] = 0;
606         PL_body_roots[i] = 0;
607     }
608
609     Safefree(PL_nice_chunk);
610     PL_nice_chunk = Nullch;
611     PL_nice_chunk_size = 0;
612     PL_sv_arenaroot = 0;
613     PL_sv_root = 0;
614 }
615
616 /*
617   Here are mid-level routines that manage the allocation of bodies out
618   of the various arenas.  There are 5 kinds of arenas:
619
620   1. SV-head arenas, which are discussed and handled above
621   2. regular body arenas
622   3. arenas for reduced-size bodies
623   4. Hash-Entry arenas
624   5. pte arenas (thread related)
625
626   Arena types 2 & 3 are chained by body-type off an array of
627   arena-root pointers, which is indexed by svtype.  Some of the
628   larger/less used body types are malloced singly, since a large
629   unused block of them is wasteful.  Also, several svtypes dont have
630   bodies; the data fits into the sv-head itself.  The arena-root
631   pointer thus has a few unused root-pointers (which may be hijacked
632   later for arena types 4,5)
633
634   3 differs from 2 as an optimization; some body types have several
635   unused fields in the front of the structure (which are kept in-place
636   for consistency).  These bodies can be allocated in smaller chunks,
637   because the leading fields arent accessed.  Pointers to such bodies
638   are decremented to point at the unused 'ghost' memory, knowing that
639   the pointers are used with offsets to the real memory.
640
641   HE, HEK arenas are managed separately, with separate code, but may
642   be merge-able later..
643
644   PTE arenas are not sv-bodies, but they share these mid-level
645   mechanics, so are considered here.  The new mid-level mechanics rely
646   on the sv_type of the body being allocated, so we just reserve one
647   of the unused body-slots for PTEs, then use it in those (2) PTE
648   contexts below (line ~10k)
649 */
650
651 STATIC void *
652 S_more_bodies (pTHX_ size_t size, svtype sv_type)
653 {
654     dVAR;
655     void ** const arena_root    = &PL_body_arenaroots[sv_type];
656     void ** const root          = &PL_body_roots[sv_type];
657     char *start;
658     const char *end;
659     const size_t count = PERL_ARENA_SIZE / size;
660
661     Newx(start, count*size, char);
662     *((void **) start) = *arena_root;
663     *arena_root = (void *)start;
664
665     end = start + (count-1) * size;
666
667     /* The initial slot is used to link the arenas together, so it isn't to be
668        linked into the list of ready-to-use bodies.  */
669
670     start += size;
671
672     *root = (void *)start;
673
674     while (start < end) {
675         char * const next = start + size;
676         *(void**) start = (void *)next;
677         start = next;
678     }
679     *(void **)start = 0;
680
681     return *root;
682 }
683
684 /* grab a new thing from the free list, allocating more if necessary */
685
686 /* 1st, the inline version  */
687
688 #define new_body_inline(xpv, size, sv_type) \
689     STMT_START { \
690         void ** const r3wt = &PL_body_roots[sv_type]; \
691         LOCK_SV_MUTEX; \
692         xpv = *((void **)(r3wt)) \
693           ? *((void **)(r3wt)) : S_more_bodies(aTHX_ size, sv_type); \
694         *(r3wt) = *(void**)(xpv); \
695         UNLOCK_SV_MUTEX; \
696     } STMT_END
697
698 /* now use the inline version in the proper function */
699
700 #ifndef PURIFY
701
702 /* This isn't being used with -DPURIFY, so don't declare it. Otherwise
703    compilers issue warnings.  */
704
705 STATIC void *
706 S_new_body(pTHX_ size_t size, svtype sv_type)
707 {
708     dVAR;
709     void *xpv;
710     new_body_inline(xpv, size, sv_type);
711     return xpv;
712 }
713
714 #endif
715
716 /* return a thing to the free list */
717
718 #define del_body(thing, root)                   \
719     STMT_START {                                \
720         void ** const thing_copy = (void **)thing;\
721         LOCK_SV_MUTEX;                          \
722         *thing_copy = *root;                    \
723         *root = (void*)thing_copy;              \
724         UNLOCK_SV_MUTEX;                        \
725     } STMT_END
726
727 /* 
728    Revisiting type 3 arenas, there are 4 body-types which have some
729    members that are never accessed.  They are XPV, XPVIV, XPVAV,
730    XPVHV, which have corresponding types: xpv_allocated,
731    xpviv_allocated, xpvav_allocated, xpvhv_allocated,
732
733    For these types, the arenas are carved up into *_allocated size
734    chunks, we thus avoid wasted memory for those unaccessed members.
735    When bodies are allocated, we adjust the pointer back in memory by
736    the size of the bit not allocated, so it's as if we allocated the
737    full structure.  (But things will all go boom if you write to the
738    part that is "not there", because you'll be overwriting the last
739    members of the preceding structure in memory.)
740
741    We calculate the correction using the STRUCT_OFFSET macro. For example, if
742    xpv_allocated is the same structure as XPV then the two OFFSETs sum to zero,
743    and the pointer is unchanged. If the allocated structure is smaller (no
744    initial NV actually allocated) then the net effect is to subtract the size
745    of the NV from the pointer, to return a new pointer as if an initial NV were
746    actually allocated.
747
748    This is the same trick as was used for NV and IV bodies. Ironically it
749    doesn't need to be used for NV bodies any more, because NV is now at the
750    start of the structure. IV bodies don't need it either, because they are
751    no longer allocated.  */
752
753 /* The following 2 arrays hide the above details in a pair of
754    lookup-tables, allowing us to be body-type agnostic.
755
756    size maps svtype to its body's allocated size.
757    offset maps svtype to the body-pointer adjustment needed
758
759    NB: elements in latter are 0 or <0, and are added during
760    allocation, and subtracted during deallocation.  It may be clearer
761    to invert the values, and call it shrinkage_by_svtype.
762 */
763
764 struct body_details {
765     size_t size;        /* Size to allocate  */
766     size_t copy;        /* Size of structure to copy (may be shorter)  */
767     size_t offset;
768     bool cant_upgrade;  /* Can upgrade this type */
769     bool zero_nv;       /* zero the NV when upgrading from this */
770     bool arena;         /* Allocated from an arena */
771 };
772
773 #define HADNV FALSE
774 #define NONV TRUE
775
776 #ifdef PURIFY
777 /* With -DPURFIY we allocate everything directly, and don't use arenas.
778    This seems a rather elegant way to simplify some of the code below.  */
779 #define HASARENA FALSE
780 #else
781 #define HASARENA TRUE
782 #endif
783 #define NOARENA FALSE
784
785 /* A macro to work out the offset needed to subtract from a pointer to (say)
786
787 typedef struct {
788     STRLEN      xpv_cur;
789     STRLEN      xpv_len;
790 } xpv_allocated;
791
792 to make its members accessible via a pointer to (say)
793
794 struct xpv {
795     NV          xnv_nv;
796     STRLEN      xpv_cur;
797     STRLEN      xpv_len;
798 };
799
800 */
801
802 #define relative_STRUCT_OFFSET(longer, shorter, member) \
803     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
804
805 /* Calculate the length to copy. Specifically work out the length less any
806    final padding the compiler needed to add.  See the comment in sv_upgrade
807    for why copying the padding proved to be a bug.  */
808
809 #define copy_length(type, last_member) \
810         STRUCT_OFFSET(type, last_member) \
811         + sizeof (((type*)SvANY((SV*)0))->last_member)
812
813 static const struct body_details bodies_by_type[] = {
814     {0, 0, 0, FALSE, NONV, NOARENA},
815     /* IVs are in the head, so the allocation size is 0  */
816     {0, sizeof(IV), STRUCT_OFFSET(XPVIV, xiv_iv), FALSE, NONV, NOARENA},
817     /* 8 bytes on most ILP32 with IEEE doubles */
818     {sizeof(NV), sizeof(NV), 0, FALSE, HADNV, HASARENA},
819     /* RVs are in the head now */
820     /* However, this slot is overloaded and used by the pte  */
821     {0, 0, 0, FALSE, NONV, NOARENA},
822     /* 8 bytes on most ILP32 with IEEE doubles */
823     {sizeof(xpv_allocated),
824      copy_length(XPV, xpv_len)
825      - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
826      + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
827      FALSE, NONV, HASARENA},
828     /* 12 */
829     {sizeof(xpviv_allocated),
830      copy_length(XPVIV, xiv_u)
831      - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
832      + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
833      FALSE, NONV, HASARENA},
834     /* 20 */
835     {sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, FALSE, HADNV, HASARENA},
836     /* 28 */
837     {sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, FALSE, HADNV, HASARENA},
838     /* 36 */
839     {sizeof(XPVBM), sizeof(XPVBM), 0, TRUE, HADNV, HASARENA},
840     /* 48 */
841     {sizeof(XPVGV), sizeof(XPVGV), 0, TRUE, HADNV, HASARENA},
842     /* 64 */
843     {sizeof(XPVLV), sizeof(XPVLV), 0, TRUE, HADNV, HASARENA},
844     /* 20 */
845     {sizeof(xpvav_allocated),
846      copy_length(XPVAV, xmg_stash)
847      - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
848      + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
849      TRUE, HADNV, HASARENA},
850     /* 20 */
851     {sizeof(xpvhv_allocated),
852      copy_length(XPVHV, xmg_stash)
853      - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
854      + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
855      TRUE, HADNV, HASARENA},
856     /* 76 */
857     {sizeof(XPVCV), sizeof(XPVCV), 0, TRUE, HADNV, HASARENA},
858     /* 80 */
859     {sizeof(XPVFM), sizeof(XPVFM), 0, TRUE, HADNV, NOARENA},
860     /* 84 */
861     {sizeof(XPVIO), sizeof(XPVIO), 0, TRUE, HADNV, NOARENA}
862 };
863
864 #define new_body_type(sv_type)                  \
865     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
866              - bodies_by_type[sv_type].offset)
867
868 #define del_body_type(p, sv_type)       \
869     del_body(p, &PL_body_roots[sv_type])
870
871
872 #define new_body_allocated(sv_type)             \
873     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
874              - bodies_by_type[sv_type].offset)
875
876 #define del_body_allocated(p, sv_type)          \
877     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
878
879
880 #define my_safemalloc(s)        (void*)safemalloc(s)
881 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
882 #define my_safefree(p)  safefree((char*)p)
883
884 #ifdef PURIFY
885
886 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
887 #define del_XNV(p)      my_safefree(p)
888
889 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
890 #define del_XPVNV(p)    my_safefree(p)
891
892 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
893 #define del_XPVAV(p)    my_safefree(p)
894
895 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
896 #define del_XPVHV(p)    my_safefree(p)
897
898 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
899 #define del_XPVMG(p)    my_safefree(p)
900
901 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
902 #define del_XPVGV(p)    my_safefree(p)
903
904 #else /* !PURIFY */
905
906 #define new_XNV()       new_body_type(SVt_NV)
907 #define del_XNV(p)      del_body_type(p, SVt_NV)
908
909 #define new_XPVNV()     new_body_type(SVt_PVNV)
910 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
911
912 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
913 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
914
915 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
916 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
917
918 #define new_XPVMG()     new_body_type(SVt_PVMG)
919 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
920
921 #define new_XPVGV()     new_body_type(SVt_PVGV)
922 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
923
924 #endif /* PURIFY */
925
926 /* no arena for you! */
927
928 #define new_NOARENA(details) \
929         my_safemalloc((details)->size + (details)->offset)
930 #define new_NOARENAZ(details) \
931         my_safecalloc((details)->size + (details)->offset)
932
933 /*
934 =for apidoc sv_upgrade
935
936 Upgrade an SV to a more complex form.  Generally adds a new body type to the
937 SV, then copies across as much information as possible from the old body.
938 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
939
940 =cut
941 */
942
943 void
944 Perl_sv_upgrade(pTHX_ register SV *sv, U32 new_type)
945 {
946     dVAR;
947     void*       old_body;
948     void*       new_body;
949     const U32   old_type = SvTYPE(sv);
950     const struct body_details *const old_type_details
951         = bodies_by_type + old_type;
952     const struct body_details *new_type_details = bodies_by_type + new_type;
953
954     if (new_type != SVt_PV && SvIsCOW(sv)) {
955         sv_force_normal_flags(sv, 0);
956     }
957
958     if (old_type == new_type)
959         return;
960
961     if (old_type > new_type)
962         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
963                 (int)old_type, (int)new_type);
964
965
966     old_body = SvANY(sv);
967
968     /* Copying structures onto other structures that have been neatly zeroed
969        has a subtle gotcha. Consider XPVMG
970
971        +------+------+------+------+------+-------+-------+
972        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
973        +------+------+------+------+------+-------+-------+
974        0      4      8     12     16     20      24      28
975
976        where NVs are aligned to 8 bytes, so that sizeof that structure is
977        actually 32 bytes long, with 4 bytes of padding at the end:
978
979        +------+------+------+------+------+-------+-------+------+
980        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
981        +------+------+------+------+------+-------+-------+------+
982        0      4      8     12     16     20      24      28     32
983
984        so what happens if you allocate memory for this structure:
985
986        +------+------+------+------+------+-------+-------+------+------+...
987        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
988        +------+------+------+------+------+-------+-------+------+------+...
989        0      4      8     12     16     20      24      28     32     36
990
991        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
992        expect, because you copy the area marked ??? onto GP. Now, ??? may have
993        started out as zero once, but it's quite possible that it isn't. So now,
994        rather than a nicely zeroed GP, you have it pointing somewhere random.
995        Bugs ensue.
996
997        (In fact, GP ends up pointing at a previous GP structure, because the
998        principle cause of the padding in XPVMG getting garbage is a copy of
999        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob)
1000
1001        So we are careful and work out the size of used parts of all the
1002        structures.  */
1003
1004     switch (old_type) {
1005     case SVt_NULL:
1006         break;
1007     case SVt_IV:
1008         if (new_type < SVt_PVIV) {
1009             new_type = (new_type == SVt_NV)
1010                 ? SVt_PVNV : SVt_PVIV;
1011             new_type_details = bodies_by_type + new_type;
1012         }
1013         break;
1014     case SVt_NV:
1015         if (new_type < SVt_PVNV) {
1016             new_type = SVt_PVNV;
1017             new_type_details = bodies_by_type + new_type;
1018         }
1019         break;
1020     case SVt_RV:
1021         break;
1022     case SVt_PV:
1023         assert(new_type > SVt_PV);
1024         assert(SVt_IV < SVt_PV);
1025         assert(SVt_NV < SVt_PV);
1026         break;
1027     case SVt_PVIV:
1028         break;
1029     case SVt_PVNV:
1030         break;
1031     case SVt_PVMG:
1032         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1033            there's no way that it can be safely upgraded, because perl.c
1034            expects to Safefree(SvANY(PL_mess_sv))  */
1035         assert(sv != PL_mess_sv);
1036         /* This flag bit is used to mean other things in other scalar types.
1037            Given that it only has meaning inside the pad, it shouldn't be set
1038            on anything that can get upgraded.  */
1039         assert((SvFLAGS(sv) & SVpad_TYPED) == 0);
1040         break;
1041     default:
1042         if (old_type_details->cant_upgrade)
1043             Perl_croak(aTHX_ "Can't upgrade that kind of scalar");
1044     }
1045
1046     SvFLAGS(sv) &= ~SVTYPEMASK;
1047     SvFLAGS(sv) |= new_type;
1048
1049     switch (new_type) {
1050     case SVt_NULL:
1051         Perl_croak(aTHX_ "Can't upgrade to undef");
1052     case SVt_IV:
1053         assert(old_type == SVt_NULL);
1054         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1055         SvIV_set(sv, 0);
1056         return;
1057     case SVt_NV:
1058         assert(old_type == SVt_NULL);
1059         SvANY(sv) = new_XNV();
1060         SvNV_set(sv, 0);
1061         return;
1062     case SVt_RV:
1063         assert(old_type == SVt_NULL);
1064         SvANY(sv) = &sv->sv_u.svu_rv;
1065         SvRV_set(sv, 0);
1066         return;
1067     case SVt_PVHV:
1068         SvANY(sv) = new_XPVHV();
1069         HvFILL(sv)      = 0;
1070         HvMAX(sv)       = 0;
1071         HvTOTALKEYS(sv) = 0;
1072
1073         goto hv_av_common;
1074
1075     case SVt_PVAV:
1076         SvANY(sv) = new_XPVAV();
1077         AvMAX(sv)       = -1;
1078         AvFILLp(sv)     = -1;
1079         AvALLOC(sv)     = 0;
1080         AvREAL_only(sv);
1081
1082     hv_av_common:
1083         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1084            The target created by newSVrv also is, and it can have magic.
1085            However, it never has SvPVX set.
1086         */
1087         if (old_type >= SVt_RV) {
1088             assert(SvPVX_const(sv) == 0);
1089         }
1090
1091         /* Could put this in the else clause below, as PVMG must have SvPVX
1092            0 already (the assertion above)  */
1093         SvPV_set(sv, NULL);
1094
1095         if (old_type >= SVt_PVMG) {
1096             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_magic);
1097             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1098         } else {
1099             SvMAGIC_set(sv, NULL);
1100             SvSTASH_set(sv, NULL);
1101         }
1102         break;
1103
1104
1105     case SVt_PVIV:
1106         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1107            no route from NV to PVIV, NOK can never be true  */
1108         assert(!SvNOKp(sv));
1109         assert(!SvNOK(sv));
1110     case SVt_PVIO:
1111     case SVt_PVFM:
1112     case SVt_PVBM:
1113     case SVt_PVGV:
1114     case SVt_PVCV:
1115     case SVt_PVLV:
1116     case SVt_PVMG:
1117     case SVt_PVNV:
1118     case SVt_PV:
1119
1120         assert(new_type_details->size);
1121         /* We always allocated the full length item with PURIFY. To do this
1122            we fake things so that arena is false for all 16 types..  */
1123         if(new_type_details->arena) {
1124             /* This points to the start of the allocated area.  */
1125             new_body_inline(new_body, new_type_details->size, new_type);
1126             Zero(new_body, new_type_details->size, char);
1127             new_body = ((char *)new_body) - new_type_details->offset;
1128         } else {
1129             new_body = new_NOARENAZ(new_type_details);
1130         }
1131         SvANY(sv) = new_body;
1132
1133         if (old_type_details->copy) {
1134             Copy((char *)old_body + old_type_details->offset,
1135                  (char *)new_body + old_type_details->offset,
1136                  old_type_details->copy, char);
1137         }
1138
1139 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1140         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1141          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1142          * NV slot, but the new one does, then we need to initialise the
1143          * freshly created NV slot with whatever the correct bit pattern is
1144          * for 0.0  */
1145         if (old_type_details->zero_nv && !new_type_details->zero_nv)
1146             SvNV_set(sv, 0);
1147 #endif
1148
1149         if (new_type == SVt_PVIO)
1150             IoPAGE_LEN(sv) = 60;
1151         if (old_type < SVt_RV)
1152             SvPV_set(sv, NULL);
1153         break;
1154     default:
1155         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1156                    (unsigned long)new_type);
1157     }
1158
1159     if (old_type_details->size) {
1160         /* If the old body had an allocated size, then we need to free it.  */
1161 #ifdef PURIFY
1162         my_safefree(old_body);
1163 #else
1164         del_body((void*)((char*)old_body + old_type_details->offset),
1165                  &PL_body_roots[old_type]);
1166 #endif
1167     }
1168 }
1169
1170 /*
1171 =for apidoc sv_backoff
1172
1173 Remove any string offset. You should normally use the C<SvOOK_off> macro
1174 wrapper instead.
1175
1176 =cut
1177 */
1178
1179 int
1180 Perl_sv_backoff(pTHX_ register SV *sv)
1181 {
1182     assert(SvOOK(sv));
1183     assert(SvTYPE(sv) != SVt_PVHV);
1184     assert(SvTYPE(sv) != SVt_PVAV);
1185     if (SvIVX(sv)) {
1186         const char * const s = SvPVX_const(sv);
1187         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1188         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1189         SvIV_set(sv, 0);
1190         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1191     }
1192     SvFLAGS(sv) &= ~SVf_OOK;
1193     return 0;
1194 }
1195
1196 /*
1197 =for apidoc sv_grow
1198
1199 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1200 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1201 Use the C<SvGROW> wrapper instead.
1202
1203 =cut
1204 */
1205
1206 char *
1207 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1208 {
1209     register char *s;
1210
1211 #ifdef HAS_64K_LIMIT
1212     if (newlen >= 0x10000) {
1213         PerlIO_printf(Perl_debug_log,
1214                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1215         my_exit(1);
1216     }
1217 #endif /* HAS_64K_LIMIT */
1218     if (SvROK(sv))
1219         sv_unref(sv);
1220     if (SvTYPE(sv) < SVt_PV) {
1221         sv_upgrade(sv, SVt_PV);
1222         s = SvPVX_mutable(sv);
1223     }
1224     else if (SvOOK(sv)) {       /* pv is offset? */
1225         sv_backoff(sv);
1226         s = SvPVX_mutable(sv);
1227         if (newlen > SvLEN(sv))
1228             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1229 #ifdef HAS_64K_LIMIT
1230         if (newlen >= 0x10000)
1231             newlen = 0xFFFF;
1232 #endif
1233     }
1234     else
1235         s = SvPVX_mutable(sv);
1236
1237     if (newlen > SvLEN(sv)) {           /* need more room? */
1238         newlen = PERL_STRLEN_ROUNDUP(newlen);
1239         if (SvLEN(sv) && s) {
1240 #ifdef MYMALLOC
1241             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1242             if (newlen <= l) {
1243                 SvLEN_set(sv, l);
1244                 return s;
1245             } else
1246 #endif
1247             s = saferealloc(s, newlen);
1248         }
1249         else {
1250             s = safemalloc(newlen);
1251             if (SvPVX_const(sv) && SvCUR(sv)) {
1252                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1253             }
1254         }
1255         SvPV_set(sv, s);
1256         SvLEN_set(sv, newlen);
1257     }
1258     return s;
1259 }
1260
1261 /*
1262 =for apidoc sv_setiv
1263
1264 Copies an integer into the given SV, upgrading first if necessary.
1265 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1266
1267 =cut
1268 */
1269
1270 void
1271 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1272 {
1273     dVAR;
1274     SV_CHECK_THINKFIRST_COW_DROP(sv);
1275     switch (SvTYPE(sv)) {
1276     case SVt_NULL:
1277         sv_upgrade(sv, SVt_IV);
1278         break;
1279     case SVt_NV:
1280         sv_upgrade(sv, SVt_PVNV);
1281         break;
1282     case SVt_RV:
1283     case SVt_PV:
1284         sv_upgrade(sv, SVt_PVIV);
1285         break;
1286
1287     case SVt_PVGV:
1288     case SVt_PVAV:
1289     case SVt_PVHV:
1290     case SVt_PVCV:
1291     case SVt_PVFM:
1292     case SVt_PVIO:
1293         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1294                    OP_DESC(PL_op));
1295     }
1296     (void)SvIOK_only(sv);                       /* validate number */
1297     SvIV_set(sv, i);
1298     SvTAINT(sv);
1299 }
1300
1301 /*
1302 =for apidoc sv_setiv_mg
1303
1304 Like C<sv_setiv>, but also handles 'set' magic.
1305
1306 =cut
1307 */
1308
1309 void
1310 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1311 {
1312     sv_setiv(sv,i);
1313     SvSETMAGIC(sv);
1314 }
1315
1316 /*
1317 =for apidoc sv_setuv
1318
1319 Copies an unsigned integer into the given SV, upgrading first if necessary.
1320 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1321
1322 =cut
1323 */
1324
1325 void
1326 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1327 {
1328     /* With these two if statements:
1329        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1330
1331        without
1332        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1333
1334        If you wish to remove them, please benchmark to see what the effect is
1335     */
1336     if (u <= (UV)IV_MAX) {
1337        sv_setiv(sv, (IV)u);
1338        return;
1339     }
1340     sv_setiv(sv, 0);
1341     SvIsUV_on(sv);
1342     SvUV_set(sv, u);
1343 }
1344
1345 /*
1346 =for apidoc sv_setuv_mg
1347
1348 Like C<sv_setuv>, but also handles 'set' magic.
1349
1350 =cut
1351 */
1352
1353 void
1354 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1355 {
1356     sv_setiv(sv, 0);
1357     SvIsUV_on(sv);
1358     sv_setuv(sv,u);
1359     SvSETMAGIC(sv);
1360 }
1361
1362 /*
1363 =for apidoc sv_setnv
1364
1365 Copies a double into the given SV, upgrading first if necessary.
1366 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1367
1368 =cut
1369 */
1370
1371 void
1372 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1373 {
1374     dVAR;
1375     SV_CHECK_THINKFIRST_COW_DROP(sv);
1376     switch (SvTYPE(sv)) {
1377     case SVt_NULL:
1378     case SVt_IV:
1379         sv_upgrade(sv, SVt_NV);
1380         break;
1381     case SVt_RV:
1382     case SVt_PV:
1383     case SVt_PVIV:
1384         sv_upgrade(sv, SVt_PVNV);
1385         break;
1386
1387     case SVt_PVGV:
1388     case SVt_PVAV:
1389     case SVt_PVHV:
1390     case SVt_PVCV:
1391     case SVt_PVFM:
1392     case SVt_PVIO:
1393         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1394                    OP_NAME(PL_op));
1395     }
1396     SvNV_set(sv, num);
1397     (void)SvNOK_only(sv);                       /* validate number */
1398     SvTAINT(sv);
1399 }
1400
1401 /*
1402 =for apidoc sv_setnv_mg
1403
1404 Like C<sv_setnv>, but also handles 'set' magic.
1405
1406 =cut
1407 */
1408
1409 void
1410 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1411 {
1412     sv_setnv(sv,num);
1413     SvSETMAGIC(sv);
1414 }
1415
1416 /* Print an "isn't numeric" warning, using a cleaned-up,
1417  * printable version of the offending string
1418  */
1419
1420 STATIC void
1421 S_not_a_number(pTHX_ SV *sv)
1422 {
1423      dVAR;
1424      SV *dsv;
1425      char tmpbuf[64];
1426      const char *pv;
1427
1428      if (DO_UTF8(sv)) {
1429           dsv = sv_2mortal(newSVpvs(""));
1430           pv = sv_uni_display(dsv, sv, 10, 0);
1431      } else {
1432           char *d = tmpbuf;
1433           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1434           /* each *s can expand to 4 chars + "...\0",
1435              i.e. need room for 8 chars */
1436         
1437           const char *s = SvPVX_const(sv);
1438           const char * const end = s + SvCUR(sv);
1439           for ( ; s < end && d < limit; s++ ) {
1440                int ch = *s & 0xFF;
1441                if (ch & 128 && !isPRINT_LC(ch)) {
1442                     *d++ = 'M';
1443                     *d++ = '-';
1444                     ch &= 127;
1445                }
1446                if (ch == '\n') {
1447                     *d++ = '\\';
1448                     *d++ = 'n';
1449                }
1450                else if (ch == '\r') {
1451                     *d++ = '\\';
1452                     *d++ = 'r';
1453                }
1454                else if (ch == '\f') {
1455                     *d++ = '\\';
1456                     *d++ = 'f';
1457                }
1458                else if (ch == '\\') {
1459                     *d++ = '\\';
1460                     *d++ = '\\';
1461                }
1462                else if (ch == '\0') {
1463                     *d++ = '\\';
1464                     *d++ = '0';
1465                }
1466                else if (isPRINT_LC(ch))
1467                     *d++ = ch;
1468                else {
1469                     *d++ = '^';
1470                     *d++ = toCTRL(ch);
1471                }
1472           }
1473           if (s < end) {
1474                *d++ = '.';
1475                *d++ = '.';
1476                *d++ = '.';
1477           }
1478           *d = '\0';
1479           pv = tmpbuf;
1480     }
1481
1482     if (PL_op)
1483         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1484                     "Argument \"%s\" isn't numeric in %s", pv,
1485                     OP_DESC(PL_op));
1486     else
1487         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1488                     "Argument \"%s\" isn't numeric", pv);
1489 }
1490
1491 /*
1492 =for apidoc looks_like_number
1493
1494 Test if the content of an SV looks like a number (or is a number).
1495 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1496 non-numeric warning), even if your atof() doesn't grok them.
1497
1498 =cut
1499 */
1500
1501 I32
1502 Perl_looks_like_number(pTHX_ SV *sv)
1503 {
1504     register const char *sbegin;
1505     STRLEN len;
1506
1507     if (SvPOK(sv)) {
1508         sbegin = SvPVX_const(sv);
1509         len = SvCUR(sv);
1510     }
1511     else if (SvPOKp(sv))
1512         sbegin = SvPV_const(sv, len);
1513     else
1514         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1515     return grok_number(sbegin, len, NULL);
1516 }
1517
1518 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1519    until proven guilty, assume that things are not that bad... */
1520
1521 /*
1522    NV_PRESERVES_UV:
1523
1524    As 64 bit platforms often have an NV that doesn't preserve all bits of
1525    an IV (an assumption perl has been based on to date) it becomes necessary
1526    to remove the assumption that the NV always carries enough precision to
1527    recreate the IV whenever needed, and that the NV is the canonical form.
1528    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1529    precision as a side effect of conversion (which would lead to insanity
1530    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1531    1) to distinguish between IV/UV/NV slots that have cached a valid
1532       conversion where precision was lost and IV/UV/NV slots that have a
1533       valid conversion which has lost no precision
1534    2) to ensure that if a numeric conversion to one form is requested that
1535       would lose precision, the precise conversion (or differently
1536       imprecise conversion) is also performed and cached, to prevent
1537       requests for different numeric formats on the same SV causing
1538       lossy conversion chains. (lossless conversion chains are perfectly
1539       acceptable (still))
1540
1541
1542    flags are used:
1543    SvIOKp is true if the IV slot contains a valid value
1544    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1545    SvNOKp is true if the NV slot contains a valid value
1546    SvNOK  is true only if the NV value is accurate
1547
1548    so
1549    while converting from PV to NV, check to see if converting that NV to an
1550    IV(or UV) would lose accuracy over a direct conversion from PV to
1551    IV(or UV). If it would, cache both conversions, return NV, but mark
1552    SV as IOK NOKp (ie not NOK).
1553
1554    While converting from PV to IV, check to see if converting that IV to an
1555    NV would lose accuracy over a direct conversion from PV to NV. If it
1556    would, cache both conversions, flag similarly.
1557
1558    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1559    correctly because if IV & NV were set NV *always* overruled.
1560    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1561    changes - now IV and NV together means that the two are interchangeable:
1562    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1563
1564    The benefit of this is that operations such as pp_add know that if
1565    SvIOK is true for both left and right operands, then integer addition
1566    can be used instead of floating point (for cases where the result won't
1567    overflow). Before, floating point was always used, which could lead to
1568    loss of precision compared with integer addition.
1569
1570    * making IV and NV equal status should make maths accurate on 64 bit
1571      platforms
1572    * may speed up maths somewhat if pp_add and friends start to use
1573      integers when possible instead of fp. (Hopefully the overhead in
1574      looking for SvIOK and checking for overflow will not outweigh the
1575      fp to integer speedup)
1576    * will slow down integer operations (callers of SvIV) on "inaccurate"
1577      values, as the change from SvIOK to SvIOKp will cause a call into
1578      sv_2iv each time rather than a macro access direct to the IV slot
1579    * should speed up number->string conversion on integers as IV is
1580      favoured when IV and NV are equally accurate
1581
1582    ####################################################################
1583    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1584    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1585    On the other hand, SvUOK is true iff UV.
1586    ####################################################################
1587
1588    Your mileage will vary depending your CPU's relative fp to integer
1589    performance ratio.
1590 */
1591
1592 #ifndef NV_PRESERVES_UV
1593 #  define IS_NUMBER_UNDERFLOW_IV 1
1594 #  define IS_NUMBER_UNDERFLOW_UV 2
1595 #  define IS_NUMBER_IV_AND_UV    2
1596 #  define IS_NUMBER_OVERFLOW_IV  4
1597 #  define IS_NUMBER_OVERFLOW_UV  5
1598
1599 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1600
1601 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1602 STATIC int
1603 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1604 {
1605     dVAR;
1606     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1607     if (SvNVX(sv) < (NV)IV_MIN) {
1608         (void)SvIOKp_on(sv);
1609         (void)SvNOK_on(sv);
1610         SvIV_set(sv, IV_MIN);
1611         return IS_NUMBER_UNDERFLOW_IV;
1612     }
1613     if (SvNVX(sv) > (NV)UV_MAX) {
1614         (void)SvIOKp_on(sv);
1615         (void)SvNOK_on(sv);
1616         SvIsUV_on(sv);
1617         SvUV_set(sv, UV_MAX);
1618         return IS_NUMBER_OVERFLOW_UV;
1619     }
1620     (void)SvIOKp_on(sv);
1621     (void)SvNOK_on(sv);
1622     /* Can't use strtol etc to convert this string.  (See truth table in
1623        sv_2iv  */
1624     if (SvNVX(sv) <= (UV)IV_MAX) {
1625         SvIV_set(sv, I_V(SvNVX(sv)));
1626         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1627             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1628         } else {
1629             /* Integer is imprecise. NOK, IOKp */
1630         }
1631         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1632     }
1633     SvIsUV_on(sv);
1634     SvUV_set(sv, U_V(SvNVX(sv)));
1635     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1636         if (SvUVX(sv) == UV_MAX) {
1637             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1638                possibly be preserved by NV. Hence, it must be overflow.
1639                NOK, IOKp */
1640             return IS_NUMBER_OVERFLOW_UV;
1641         }
1642         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1643     } else {
1644         /* Integer is imprecise. NOK, IOKp */
1645     }
1646     return IS_NUMBER_OVERFLOW_IV;
1647 }
1648 #endif /* !NV_PRESERVES_UV*/
1649
1650 STATIC bool
1651 S_sv_2iuv_common(pTHX_ SV *sv) {
1652     dVAR;
1653     if (SvNOKp(sv)) {
1654         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1655          * without also getting a cached IV/UV from it at the same time
1656          * (ie PV->NV conversion should detect loss of accuracy and cache
1657          * IV or UV at same time to avoid this. */
1658         /* IV-over-UV optimisation - choose to cache IV if possible */
1659
1660         if (SvTYPE(sv) == SVt_NV)
1661             sv_upgrade(sv, SVt_PVNV);
1662
1663         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1664         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1665            certainly cast into the IV range at IV_MAX, whereas the correct
1666            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1667            cases go to UV */
1668         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1669             SvIV_set(sv, I_V(SvNVX(sv)));
1670             if (SvNVX(sv) == (NV) SvIVX(sv)
1671 #ifndef NV_PRESERVES_UV
1672                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1673                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1674                 /* Don't flag it as "accurately an integer" if the number
1675                    came from a (by definition imprecise) NV operation, and
1676                    we're outside the range of NV integer precision */
1677 #endif
1678                 ) {
1679                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1680                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1681                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1682                                       PTR2UV(sv),
1683                                       SvNVX(sv),
1684                                       SvIVX(sv)));
1685
1686             } else {
1687                 /* IV not precise.  No need to convert from PV, as NV
1688                    conversion would already have cached IV if it detected
1689                    that PV->IV would be better than PV->NV->IV
1690                    flags already correct - don't set public IOK.  */
1691                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1692                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1693                                       PTR2UV(sv),
1694                                       SvNVX(sv),
1695                                       SvIVX(sv)));
1696             }
1697             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1698                but the cast (NV)IV_MIN rounds to a the value less (more
1699                negative) than IV_MIN which happens to be equal to SvNVX ??
1700                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1701                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1702                (NV)UVX == NVX are both true, but the values differ. :-(
1703                Hopefully for 2s complement IV_MIN is something like
1704                0x8000000000000000 which will be exact. NWC */
1705         }
1706         else {
1707             SvUV_set(sv, U_V(SvNVX(sv)));
1708             if (
1709                 (SvNVX(sv) == (NV) SvUVX(sv))
1710 #ifndef  NV_PRESERVES_UV
1711                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1712                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1713                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1714                 /* Don't flag it as "accurately an integer" if the number
1715                    came from a (by definition imprecise) NV operation, and
1716                    we're outside the range of NV integer precision */
1717 #endif
1718                 )
1719                 SvIOK_on(sv);
1720             SvIsUV_on(sv);
1721             DEBUG_c(PerlIO_printf(Perl_debug_log,
1722                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1723                                   PTR2UV(sv),
1724                                   SvUVX(sv),
1725                                   SvUVX(sv)));
1726         }
1727     }
1728     else if (SvPOKp(sv) && SvLEN(sv)) {
1729         UV value;
1730         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1731         /* We want to avoid a possible problem when we cache an IV/ a UV which
1732            may be later translated to an NV, and the resulting NV is not
1733            the same as the direct translation of the initial string
1734            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1735            be careful to ensure that the value with the .456 is around if the
1736            NV value is requested in the future).
1737         
1738            This means that if we cache such an IV/a UV, we need to cache the
1739            NV as well.  Moreover, we trade speed for space, and do not
1740            cache the NV if we are sure it's not needed.
1741          */
1742
1743         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1744         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1745              == IS_NUMBER_IN_UV) {
1746             /* It's definitely an integer, only upgrade to PVIV */
1747             if (SvTYPE(sv) < SVt_PVIV)
1748                 sv_upgrade(sv, SVt_PVIV);
1749             (void)SvIOK_on(sv);
1750         } else if (SvTYPE(sv) < SVt_PVNV)
1751             sv_upgrade(sv, SVt_PVNV);
1752
1753         /* If NVs preserve UVs then we only use the UV value if we know that
1754            we aren't going to call atof() below. If NVs don't preserve UVs
1755            then the value returned may have more precision than atof() will
1756            return, even though value isn't perfectly accurate.  */
1757         if ((numtype & (IS_NUMBER_IN_UV
1758 #ifdef NV_PRESERVES_UV
1759                         | IS_NUMBER_NOT_INT
1760 #endif
1761             )) == IS_NUMBER_IN_UV) {
1762             /* This won't turn off the public IOK flag if it was set above  */
1763             (void)SvIOKp_on(sv);
1764
1765             if (!(numtype & IS_NUMBER_NEG)) {
1766                 /* positive */;
1767                 if (value <= (UV)IV_MAX) {
1768                     SvIV_set(sv, (IV)value);
1769                 } else {
1770                     /* it didn't overflow, and it was positive. */
1771                     SvUV_set(sv, value);
1772                     SvIsUV_on(sv);
1773                 }
1774             } else {
1775                 /* 2s complement assumption  */
1776                 if (value <= (UV)IV_MIN) {
1777                     SvIV_set(sv, -(IV)value);
1778                 } else {
1779                     /* Too negative for an IV.  This is a double upgrade, but
1780                        I'm assuming it will be rare.  */
1781                     if (SvTYPE(sv) < SVt_PVNV)
1782                         sv_upgrade(sv, SVt_PVNV);
1783                     SvNOK_on(sv);
1784                     SvIOK_off(sv);
1785                     SvIOKp_on(sv);
1786                     SvNV_set(sv, -(NV)value);
1787                     SvIV_set(sv, IV_MIN);
1788                 }
1789             }
1790         }
1791         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
1792            will be in the previous block to set the IV slot, and the next
1793            block to set the NV slot.  So no else here.  */
1794         
1795         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1796             != IS_NUMBER_IN_UV) {
1797             /* It wasn't an (integer that doesn't overflow the UV). */
1798             SvNV_set(sv, Atof(SvPVX_const(sv)));
1799
1800             if (! numtype && ckWARN(WARN_NUMERIC))
1801                 not_a_number(sv);
1802
1803 #if defined(USE_LONG_DOUBLE)
1804             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
1805                                   PTR2UV(sv), SvNVX(sv)));
1806 #else
1807             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
1808                                   PTR2UV(sv), SvNVX(sv)));
1809 #endif
1810
1811 #ifdef NV_PRESERVES_UV
1812             (void)SvIOKp_on(sv);
1813             (void)SvNOK_on(sv);
1814             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1815                 SvIV_set(sv, I_V(SvNVX(sv)));
1816                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1817                     SvIOK_on(sv);
1818                 } else {
1819                     /* Integer is imprecise. NOK, IOKp */
1820                 }
1821                 /* UV will not work better than IV */
1822             } else {
1823                 if (SvNVX(sv) > (NV)UV_MAX) {
1824                     SvIsUV_on(sv);
1825                     /* Integer is inaccurate. NOK, IOKp, is UV */
1826                     SvUV_set(sv, UV_MAX);
1827                 } else {
1828                     SvUV_set(sv, U_V(SvNVX(sv)));
1829                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
1830                        NV preservse UV so can do correct comparison.  */
1831                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1832                         SvIOK_on(sv);
1833                     } else {
1834                         /* Integer is imprecise. NOK, IOKp, is UV */
1835                     }
1836                 }
1837                 SvIsUV_on(sv);
1838             }
1839 #else /* NV_PRESERVES_UV */
1840             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1841                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
1842                 /* The IV/UV slot will have been set from value returned by
1843                    grok_number above.  The NV slot has just been set using
1844                    Atof.  */
1845                 SvNOK_on(sv);
1846                 assert (SvIOKp(sv));
1847             } else {
1848                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
1849                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
1850                     /* Small enough to preserve all bits. */
1851                     (void)SvIOKp_on(sv);
1852                     SvNOK_on(sv);
1853                     SvIV_set(sv, I_V(SvNVX(sv)));
1854                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
1855                         SvIOK_on(sv);
1856                     /* Assumption: first non-preserved integer is < IV_MAX,
1857                        this NV is in the preserved range, therefore: */
1858                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
1859                           < (UV)IV_MAX)) {
1860                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
1861                     }
1862                 } else {
1863                     /* IN_UV NOT_INT
1864                          0      0       already failed to read UV.
1865                          0      1       already failed to read UV.
1866                          1      0       you won't get here in this case. IV/UV
1867                                         slot set, public IOK, Atof() unneeded.
1868                          1      1       already read UV.
1869                        so there's no point in sv_2iuv_non_preserve() attempting
1870                        to use atol, strtol, strtoul etc.  */
1871                     sv_2iuv_non_preserve (sv, numtype);
1872                 }
1873             }
1874 #endif /* NV_PRESERVES_UV */
1875         }
1876     }
1877     else  {
1878         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1879             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1880                 report_uninit(sv);
1881         }
1882         if (SvTYPE(sv) < SVt_IV)
1883             /* Typically the caller expects that sv_any is not NULL now.  */
1884             sv_upgrade(sv, SVt_IV);
1885         /* Return 0 from the caller.  */
1886         return TRUE;
1887     }
1888     return FALSE;
1889 }
1890
1891 /*
1892 =for apidoc sv_2iv_flags
1893
1894 Return the integer value of an SV, doing any necessary string
1895 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1896 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
1897
1898 =cut
1899 */
1900
1901 IV
1902 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
1903 {
1904     dVAR;
1905     if (!sv)
1906         return 0;
1907     if (SvGMAGICAL(sv)) {
1908         if (flags & SV_GMAGIC)
1909             mg_get(sv);
1910         if (SvIOKp(sv))
1911             return SvIVX(sv);
1912         if (SvNOKp(sv)) {
1913             return I_V(SvNVX(sv));
1914         }
1915         if (SvPOKp(sv) && SvLEN(sv)) {
1916             UV value;
1917             const int numtype
1918                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1919
1920             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1921                 == IS_NUMBER_IN_UV) {
1922                 /* It's definitely an integer */
1923                 if (numtype & IS_NUMBER_NEG) {
1924                     if (value < (UV)IV_MIN)
1925                         return -(IV)value;
1926                 } else {
1927                     if (value < (UV)IV_MAX)
1928                         return (IV)value;
1929                 }
1930             }
1931             if (!numtype) {
1932                 if (ckWARN(WARN_NUMERIC))
1933                     not_a_number(sv);
1934             }
1935             return I_V(Atof(SvPVX_const(sv)));
1936         }
1937         if (SvROK(sv)) {
1938             goto return_rok;
1939         }
1940         assert(SvTYPE(sv) >= SVt_PVMG);
1941         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
1942     } else if (SvTHINKFIRST(sv)) {
1943         if (SvROK(sv)) {
1944         return_rok:
1945             if (SvAMAGIC(sv)) {
1946                 SV * const tmpstr=AMG_CALLun(sv,numer);
1947                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
1948                     return SvIV(tmpstr);
1949                 }
1950             }
1951             return PTR2IV(SvRV(sv));
1952         }
1953         if (SvIsCOW(sv)) {
1954             sv_force_normal_flags(sv, 0);
1955         }
1956         if (SvREADONLY(sv) && !SvOK(sv)) {
1957             if (ckWARN(WARN_UNINITIALIZED))
1958                 report_uninit(sv);
1959             return 0;
1960         }
1961     }
1962     if (!SvIOKp(sv)) {
1963         if (S_sv_2iuv_common(aTHX_ sv))
1964             return 0;
1965     }
1966     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
1967         PTR2UV(sv),SvIVX(sv)));
1968     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
1969 }
1970
1971 /*
1972 =for apidoc sv_2uv_flags
1973
1974 Return the unsigned integer value of an SV, doing any necessary string
1975 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1976 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
1977
1978 =cut
1979 */
1980
1981 UV
1982 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
1983 {
1984     dVAR;
1985     if (!sv)
1986         return 0;
1987     if (SvGMAGICAL(sv)) {
1988         if (flags & SV_GMAGIC)
1989             mg_get(sv);
1990         if (SvIOKp(sv))
1991             return SvUVX(sv);
1992         if (SvNOKp(sv))
1993             return U_V(SvNVX(sv));
1994         if (SvPOKp(sv) && SvLEN(sv)) {
1995             UV value;
1996             const int numtype
1997                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1998
1999             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2000                 == IS_NUMBER_IN_UV) {
2001                 /* It's definitely an integer */
2002                 if (!(numtype & IS_NUMBER_NEG))
2003                     return value;
2004             }
2005             if (!numtype) {
2006                 if (ckWARN(WARN_NUMERIC))
2007                     not_a_number(sv);
2008             }
2009             return U_V(Atof(SvPVX_const(sv)));
2010         }
2011         if (SvROK(sv)) {
2012             goto return_rok;
2013         }
2014         assert(SvTYPE(sv) >= SVt_PVMG);
2015         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2016     } else if (SvTHINKFIRST(sv)) {
2017         if (SvROK(sv)) {
2018         return_rok:
2019             if (SvAMAGIC(sv)) {
2020                 SV *const tmpstr = AMG_CALLun(sv,numer);
2021                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2022                     return SvUV(tmpstr);
2023                 }
2024             }
2025             return PTR2UV(SvRV(sv));
2026         }
2027         if (SvIsCOW(sv)) {
2028             sv_force_normal_flags(sv, 0);
2029         }
2030         if (SvREADONLY(sv) && !SvOK(sv)) {
2031             if (ckWARN(WARN_UNINITIALIZED))
2032                 report_uninit(sv);
2033             return 0;
2034         }
2035     }
2036     if (!SvIOKp(sv)) {
2037         if (S_sv_2iuv_common(aTHX_ sv))
2038             return 0;
2039     }
2040
2041     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2042                           PTR2UV(sv),SvUVX(sv)));
2043     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2044 }
2045
2046 /*
2047 =for apidoc sv_2nv
2048
2049 Return the num value of an SV, doing any necessary string or integer
2050 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2051 macros.
2052
2053 =cut
2054 */
2055
2056 NV
2057 Perl_sv_2nv(pTHX_ register SV *sv)
2058 {
2059     dVAR;
2060     if (!sv)
2061         return 0.0;
2062     if (SvGMAGICAL(sv)) {
2063         mg_get(sv);
2064         if (SvNOKp(sv))
2065             return SvNVX(sv);
2066         if (SvPOKp(sv) && SvLEN(sv)) {
2067             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2068                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2069                 not_a_number(sv);
2070             return Atof(SvPVX_const(sv));
2071         }
2072         if (SvIOKp(sv)) {
2073             if (SvIsUV(sv))
2074                 return (NV)SvUVX(sv);
2075             else
2076                 return (NV)SvIVX(sv);
2077         }
2078         if (SvROK(sv)) {
2079             goto return_rok;
2080         }
2081         assert(SvTYPE(sv) >= SVt_PVMG);
2082         /* This falls through to the report_uninit near the end of the
2083            function. */
2084     } else if (SvTHINKFIRST(sv)) {
2085         if (SvROK(sv)) {
2086         return_rok:
2087             if (SvAMAGIC(sv)) {
2088                 SV *const tmpstr = AMG_CALLun(sv,numer);
2089                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2090                     return SvNV(tmpstr);
2091                 }
2092             }
2093             return PTR2NV(SvRV(sv));
2094         }
2095         if (SvIsCOW(sv)) {
2096             sv_force_normal_flags(sv, 0);
2097         }
2098         if (SvREADONLY(sv) && !SvOK(sv)) {
2099             if (ckWARN(WARN_UNINITIALIZED))
2100                 report_uninit(sv);
2101             return 0.0;
2102         }
2103     }
2104     if (SvTYPE(sv) < SVt_NV) {
2105         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2106         sv_upgrade(sv, SVt_NV);
2107 #ifdef USE_LONG_DOUBLE
2108         DEBUG_c({
2109             STORE_NUMERIC_LOCAL_SET_STANDARD();
2110             PerlIO_printf(Perl_debug_log,
2111                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2112                           PTR2UV(sv), SvNVX(sv));
2113             RESTORE_NUMERIC_LOCAL();
2114         });
2115 #else
2116         DEBUG_c({
2117             STORE_NUMERIC_LOCAL_SET_STANDARD();
2118             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2119                           PTR2UV(sv), SvNVX(sv));
2120             RESTORE_NUMERIC_LOCAL();
2121         });
2122 #endif
2123     }
2124     else if (SvTYPE(sv) < SVt_PVNV)
2125         sv_upgrade(sv, SVt_PVNV);
2126     if (SvNOKp(sv)) {
2127         return SvNVX(sv);
2128     }
2129     if (SvIOKp(sv)) {
2130         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2131 #ifdef NV_PRESERVES_UV
2132         SvNOK_on(sv);
2133 #else
2134         /* Only set the public NV OK flag if this NV preserves the IV  */
2135         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2136         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2137                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2138             SvNOK_on(sv);
2139         else
2140             SvNOKp_on(sv);
2141 #endif
2142     }
2143     else if (SvPOKp(sv) && SvLEN(sv)) {
2144         UV value;
2145         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2146         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2147             not_a_number(sv);
2148 #ifdef NV_PRESERVES_UV
2149         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2150             == IS_NUMBER_IN_UV) {
2151             /* It's definitely an integer */
2152             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2153         } else
2154             SvNV_set(sv, Atof(SvPVX_const(sv)));
2155         SvNOK_on(sv);
2156 #else
2157         SvNV_set(sv, Atof(SvPVX_const(sv)));
2158         /* Only set the public NV OK flag if this NV preserves the value in
2159            the PV at least as well as an IV/UV would.
2160            Not sure how to do this 100% reliably. */
2161         /* if that shift count is out of range then Configure's test is
2162            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2163            UV_BITS */
2164         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2165             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2166             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2167         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2168             /* Can't use strtol etc to convert this string, so don't try.
2169                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2170             SvNOK_on(sv);
2171         } else {
2172             /* value has been set.  It may not be precise.  */
2173             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2174                 /* 2s complement assumption for (UV)IV_MIN  */
2175                 SvNOK_on(sv); /* Integer is too negative.  */
2176             } else {
2177                 SvNOKp_on(sv);
2178                 SvIOKp_on(sv);
2179
2180                 if (numtype & IS_NUMBER_NEG) {
2181                     SvIV_set(sv, -(IV)value);
2182                 } else if (value <= (UV)IV_MAX) {
2183                     SvIV_set(sv, (IV)value);
2184                 } else {
2185                     SvUV_set(sv, value);
2186                     SvIsUV_on(sv);
2187                 }
2188
2189                 if (numtype & IS_NUMBER_NOT_INT) {
2190                     /* I believe that even if the original PV had decimals,
2191                        they are lost beyond the limit of the FP precision.
2192                        However, neither is canonical, so both only get p
2193                        flags.  NWC, 2000/11/25 */
2194                     /* Both already have p flags, so do nothing */
2195                 } else {
2196                     const NV nv = SvNVX(sv);
2197                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2198                         if (SvIVX(sv) == I_V(nv)) {
2199                             SvNOK_on(sv);
2200                         } else {
2201                             /* It had no "." so it must be integer.  */
2202                         }
2203                         SvIOK_on(sv);
2204                     } else {
2205                         /* between IV_MAX and NV(UV_MAX).
2206                            Could be slightly > UV_MAX */
2207
2208                         if (numtype & IS_NUMBER_NOT_INT) {
2209                             /* UV and NV both imprecise.  */
2210                         } else {
2211                             const UV nv_as_uv = U_V(nv);
2212
2213                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2214                                 SvNOK_on(sv);
2215                             }
2216                             SvIOK_on(sv);
2217                         }
2218                     }
2219                 }
2220             }
2221         }
2222 #endif /* NV_PRESERVES_UV */
2223     }
2224     else  {
2225         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2226             report_uninit(sv);
2227         assert (SvTYPE(sv) >= SVt_NV);
2228         /* Typically the caller expects that sv_any is not NULL now.  */
2229         /* XXX Ilya implies that this is a bug in callers that assume this
2230            and ideally should be fixed.  */
2231         return 0.0;
2232     }
2233 #if defined(USE_LONG_DOUBLE)
2234     DEBUG_c({
2235         STORE_NUMERIC_LOCAL_SET_STANDARD();
2236         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2237                       PTR2UV(sv), SvNVX(sv));
2238         RESTORE_NUMERIC_LOCAL();
2239     });
2240 #else
2241     DEBUG_c({
2242         STORE_NUMERIC_LOCAL_SET_STANDARD();
2243         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2244                       PTR2UV(sv), SvNVX(sv));
2245         RESTORE_NUMERIC_LOCAL();
2246     });
2247 #endif
2248     return SvNVX(sv);
2249 }
2250
2251 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2252  * UV as a string towards the end of buf, and return pointers to start and
2253  * end of it.
2254  *
2255  * We assume that buf is at least TYPE_CHARS(UV) long.
2256  */
2257
2258 static char *
2259 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2260 {
2261     char *ptr = buf + TYPE_CHARS(UV);
2262     char * const ebuf = ptr;
2263     int sign;
2264
2265     if (is_uv)
2266         sign = 0;
2267     else if (iv >= 0) {
2268         uv = iv;
2269         sign = 0;
2270     } else {
2271         uv = -iv;
2272         sign = 1;
2273     }
2274     do {
2275         *--ptr = '0' + (char)(uv % 10);
2276     } while (uv /= 10);
2277     if (sign)
2278         *--ptr = '-';
2279     *peob = ebuf;
2280     return ptr;
2281 }
2282
2283 /* stringify_regexp(): private routine for use by sv_2pv_flags(): converts
2284  * a regexp to its stringified form.
2285  */
2286
2287 static char *
2288 S_stringify_regexp(pTHX_ SV *sv, MAGIC *mg, STRLEN *lp) {
2289     dVAR;
2290     const regexp * const re = (regexp *)mg->mg_obj;
2291
2292     if (!mg->mg_ptr) {
2293         const char *fptr = "msix";
2294         char reflags[6];
2295         char ch;
2296         int left = 0;
2297         int right = 4;
2298         bool need_newline = 0;
2299         U16 reganch = (U16)((re->reganch & PMf_COMPILETIME) >> 12);
2300
2301         while((ch = *fptr++)) {
2302             if(reganch & 1) {
2303                 reflags[left++] = ch;
2304             }
2305             else {
2306                 reflags[right--] = ch;
2307             }
2308             reganch >>= 1;
2309         }
2310         if(left != 4) {
2311             reflags[left] = '-';
2312             left = 5;
2313         }
2314
2315         mg->mg_len = re->prelen + 4 + left;
2316         /*
2317          * If /x was used, we have to worry about a regex ending with a
2318          * comment later being embedded within another regex. If so, we don't
2319          * want this regex's "commentization" to leak out to the right part of
2320          * the enclosing regex, we must cap it with a newline.
2321          *
2322          * So, if /x was used, we scan backwards from the end of the regex. If
2323          * we find a '#' before we find a newline, we need to add a newline
2324          * ourself. If we find a '\n' first (or if we don't find '#' or '\n'),
2325          * we don't need to add anything.  -jfriedl
2326          */
2327         if (PMf_EXTENDED & re->reganch) {
2328             const char *endptr = re->precomp + re->prelen;
2329             while (endptr >= re->precomp) {
2330                 const char c = *(endptr--);
2331                 if (c == '\n')
2332                     break; /* don't need another */
2333                 if (c == '#') {
2334                     /* we end while in a comment, so we need a newline */
2335                     mg->mg_len++; /* save space for it */
2336                     need_newline = 1; /* note to add it */
2337                     break;
2338                 }
2339             }
2340         }
2341
2342         Newx(mg->mg_ptr, mg->mg_len + 1 + left, char);
2343         mg->mg_ptr[0] = '(';
2344         mg->mg_ptr[1] = '?';
2345         Copy(reflags, mg->mg_ptr+2, left, char);
2346         *(mg->mg_ptr+left+2) = ':';
2347         Copy(re->precomp, mg->mg_ptr+3+left, re->prelen, char);
2348         if (need_newline)
2349             mg->mg_ptr[mg->mg_len - 2] = '\n';
2350         mg->mg_ptr[mg->mg_len - 1] = ')';
2351         mg->mg_ptr[mg->mg_len] = 0;
2352     }
2353     PL_reginterp_cnt += re->program[0].next_off;
2354     
2355     if (re->reganch & ROPT_UTF8)
2356         SvUTF8_on(sv);
2357     else
2358         SvUTF8_off(sv);
2359     if (lp)
2360         *lp = mg->mg_len;
2361     return mg->mg_ptr;
2362 }
2363
2364 /*
2365 =for apidoc sv_2pv_flags
2366
2367 Returns a pointer to the string value of an SV, and sets *lp to its length.
2368 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2369 if necessary.
2370 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2371 usually end up here too.
2372
2373 =cut
2374 */
2375
2376 char *
2377 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2378 {
2379     dVAR;
2380     register char *s;
2381
2382     if (!sv) {
2383         if (lp)
2384             *lp = 0;
2385         return (char *)"";
2386     }
2387     if (SvGMAGICAL(sv)) {
2388         if (flags & SV_GMAGIC)
2389             mg_get(sv);
2390         if (SvPOKp(sv)) {
2391             if (lp)
2392                 *lp = SvCUR(sv);
2393             if (flags & SV_MUTABLE_RETURN)
2394                 return SvPVX_mutable(sv);
2395             if (flags & SV_CONST_RETURN)
2396                 return (char *)SvPVX_const(sv);
2397             return SvPVX(sv);
2398         }
2399         if (SvIOKp(sv) || SvNOKp(sv)) {
2400             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2401             STRLEN len;
2402
2403             if (SvIOKp(sv)) {
2404                 len = SvIsUV(sv) ? my_sprintf(tbuf,"%"UVuf, (UV)SvUVX(sv))
2405                     : my_sprintf(tbuf,"%"IVdf, (IV)SvIVX(sv));
2406             } else {
2407                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2408                 len = strlen(tbuf);
2409             }
2410             if (SvROK(sv)) {    /* XXX Skip this when sv_pvn_force calls */
2411                 /* Sneaky stuff here */
2412                 SV * const tsv = newSVpvn(tbuf, len);
2413
2414                 sv_2mortal(tsv);
2415                 if (lp)
2416                     *lp = SvCUR(tsv);
2417                 return SvPVX(tsv);
2418             }
2419             else {
2420                 dVAR;
2421
2422 #ifdef FIXNEGATIVEZERO
2423                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2424                     tbuf[0] = '0';
2425                     tbuf[1] = 0;
2426                     len = 1;
2427                 }
2428 #endif
2429                 SvUPGRADE(sv, SVt_PV);
2430                 if (lp)
2431                     *lp = len;
2432                 s = SvGROW_mutable(sv, len + 1);
2433                 SvCUR_set(sv, len);
2434                 SvPOKp_on(sv);
2435                 return memcpy(s, tbuf, len + 1);
2436             }
2437         }
2438         if (SvROK(sv)) {
2439             goto return_rok;
2440         }
2441         assert(SvTYPE(sv) >= SVt_PVMG);
2442         /* This falls through to the report_uninit near the end of the
2443            function. */
2444     } else if (SvTHINKFIRST(sv)) {
2445         if (SvROK(sv)) {
2446         return_rok:
2447             if (SvAMAGIC(sv)) {
2448                 SV *const tmpstr = AMG_CALLun(sv,string);
2449                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2450                     /* Unwrap this:  */
2451                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2452                      */
2453
2454                     char *pv;
2455                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2456                         if (flags & SV_CONST_RETURN) {
2457                             pv = (char *) SvPVX_const(tmpstr);
2458                         } else {
2459                             pv = (flags & SV_MUTABLE_RETURN)
2460                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2461                         }
2462                         if (lp)
2463                             *lp = SvCUR(tmpstr);
2464                     } else {
2465                         pv = sv_2pv_flags(tmpstr, lp, flags);
2466                     }
2467                     if (SvUTF8(tmpstr))
2468                         SvUTF8_on(sv);
2469                     else
2470                         SvUTF8_off(sv);
2471                     return pv;
2472                 }
2473             }
2474             {
2475                 SV *tsv;
2476                 MAGIC *mg;
2477                 const SV *const referent = (SV*)SvRV(sv);
2478
2479                 if (!referent) {
2480                     tsv = sv_2mortal(newSVpvs("NULLREF"));
2481                 } else if (SvTYPE(referent) == SVt_PVMG
2482                            && ((SvFLAGS(referent) &
2483                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2484                                == (SVs_OBJECT|SVs_SMG))
2485                            && (mg = mg_find(referent, PERL_MAGIC_qr))) {
2486                     return stringify_regexp(sv, mg, lp);
2487                 } else {
2488                     const char *const typestr = sv_reftype(referent, 0);
2489
2490                     tsv = sv_newmortal();
2491                     if (SvOBJECT(referent)) {
2492                         const char *const name = HvNAME_get(SvSTASH(referent));
2493                         Perl_sv_setpvf(aTHX_ tsv, "%s=%s(0x%"UVxf")",
2494                                        name ? name : "__ANON__" , typestr,
2495                                        PTR2UV(referent));
2496                     }
2497                     else
2498                         Perl_sv_setpvf(aTHX_ tsv, "%s(0x%"UVxf")", typestr,
2499                                        PTR2UV(referent));
2500                 }
2501                 if (lp)
2502                     *lp = SvCUR(tsv);
2503                 return SvPVX(tsv);
2504             }
2505         }
2506         if (SvREADONLY(sv) && !SvOK(sv)) {
2507             if (ckWARN(WARN_UNINITIALIZED))
2508                 report_uninit(sv);
2509             if (lp)
2510                 *lp = 0;
2511             return (char *)"";
2512         }
2513     }
2514     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2515         /* I'm assuming that if both IV and NV are equally valid then
2516            converting the IV is going to be more efficient */
2517         const U32 isIOK = SvIOK(sv);
2518         const U32 isUIOK = SvIsUV(sv);
2519         char buf[TYPE_CHARS(UV)];
2520         char *ebuf, *ptr;
2521
2522         if (SvTYPE(sv) < SVt_PVIV)
2523             sv_upgrade(sv, SVt_PVIV);
2524         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2525         /* inlined from sv_setpvn */
2526         SvGROW_mutable(sv, (STRLEN)(ebuf - ptr + 1));
2527         Move(ptr,SvPVX_mutable(sv),ebuf - ptr,char);
2528         SvCUR_set(sv, ebuf - ptr);
2529         s = SvEND(sv);
2530         *s = '\0';
2531         if (isIOK)
2532             SvIOK_on(sv);
2533         else
2534             SvIOKp_on(sv);
2535         if (isUIOK)
2536             SvIsUV_on(sv);
2537     }
2538     else if (SvNOKp(sv)) {
2539         const int olderrno = errno;
2540         if (SvTYPE(sv) < SVt_PVNV)
2541             sv_upgrade(sv, SVt_PVNV);
2542         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2543         s = SvGROW_mutable(sv, NV_DIG + 20);
2544         /* some Xenix systems wipe out errno here */
2545 #ifdef apollo
2546         if (SvNVX(sv) == 0.0)
2547             (void)strcpy(s,"0");
2548         else
2549 #endif /*apollo*/
2550         {
2551             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2552         }
2553         errno = olderrno;
2554 #ifdef FIXNEGATIVEZERO
2555         if (*s == '-' && s[1] == '0' && !s[2])
2556             strcpy(s,"0");
2557 #endif
2558         while (*s) s++;
2559 #ifdef hcx
2560         if (s[-1] == '.')
2561             *--s = '\0';
2562 #endif
2563     }
2564     else {
2565         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2566             report_uninit(sv);
2567         if (lp)
2568             *lp = 0;
2569         if (SvTYPE(sv) < SVt_PV)
2570             /* Typically the caller expects that sv_any is not NULL now.  */
2571             sv_upgrade(sv, SVt_PV);
2572         return (char *)"";
2573     }
2574     {
2575         const STRLEN len = s - SvPVX_const(sv);
2576         if (lp) 
2577             *lp = len;
2578         SvCUR_set(sv, len);
2579     }
2580     SvPOK_on(sv);
2581     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2582                           PTR2UV(sv),SvPVX_const(sv)));
2583     if (flags & SV_CONST_RETURN)
2584         return (char *)SvPVX_const(sv);
2585     if (flags & SV_MUTABLE_RETURN)
2586         return SvPVX_mutable(sv);
2587     return SvPVX(sv);
2588 }
2589
2590 /*
2591 =for apidoc sv_copypv
2592
2593 Copies a stringified representation of the source SV into the
2594 destination SV.  Automatically performs any necessary mg_get and
2595 coercion of numeric values into strings.  Guaranteed to preserve
2596 UTF-8 flag even from overloaded objects.  Similar in nature to
2597 sv_2pv[_flags] but operates directly on an SV instead of just the
2598 string.  Mostly uses sv_2pv_flags to do its work, except when that
2599 would lose the UTF-8'ness of the PV.
2600
2601 =cut
2602 */
2603
2604 void
2605 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2606 {
2607     STRLEN len;
2608     const char * const s = SvPV_const(ssv,len);
2609     sv_setpvn(dsv,s,len);
2610     if (SvUTF8(ssv))
2611         SvUTF8_on(dsv);
2612     else
2613         SvUTF8_off(dsv);
2614 }
2615
2616 /*
2617 =for apidoc sv_2pvbyte
2618
2619 Return a pointer to the byte-encoded representation of the SV, and set *lp
2620 to its length.  May cause the SV to be downgraded from UTF-8 as a
2621 side-effect.
2622
2623 Usually accessed via the C<SvPVbyte> macro.
2624
2625 =cut
2626 */
2627
2628 char *
2629 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2630 {
2631     sv_utf8_downgrade(sv,0);
2632     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2633 }
2634
2635 /*
2636 =for apidoc sv_2pvutf8
2637
2638 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2639 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2640
2641 Usually accessed via the C<SvPVutf8> macro.
2642
2643 =cut
2644 */
2645
2646 char *
2647 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2648 {
2649     sv_utf8_upgrade(sv);
2650     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2651 }
2652
2653
2654 /*
2655 =for apidoc sv_2bool
2656
2657 This function is only called on magical items, and is only used by
2658 sv_true() or its macro equivalent.
2659
2660 =cut
2661 */
2662
2663 bool
2664 Perl_sv_2bool(pTHX_ register SV *sv)
2665 {
2666     dVAR;
2667     SvGETMAGIC(sv);
2668
2669     if (!SvOK(sv))
2670         return 0;
2671     if (SvROK(sv)) {
2672         if (SvAMAGIC(sv)) {
2673             SV * const tmpsv = AMG_CALLun(sv,bool_);
2674             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2675                 return (bool)SvTRUE(tmpsv);
2676         }
2677         return SvRV(sv) != 0;
2678     }
2679     if (SvPOKp(sv)) {
2680         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2681         if (Xpvtmp &&
2682                 (*sv->sv_u.svu_pv > '0' ||
2683                 Xpvtmp->xpv_cur > 1 ||
2684                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2685             return 1;
2686         else
2687             return 0;
2688     }
2689     else {
2690         if (SvIOKp(sv))
2691             return SvIVX(sv) != 0;
2692         else {
2693             if (SvNOKp(sv))
2694                 return SvNVX(sv) != 0.0;
2695             else
2696                 return FALSE;
2697         }
2698     }
2699 }
2700
2701 /*
2702 =for apidoc sv_utf8_upgrade
2703
2704 Converts the PV of an SV to its UTF-8-encoded form.
2705 Forces the SV to string form if it is not already.
2706 Always sets the SvUTF8 flag to avoid future validity checks even
2707 if all the bytes have hibit clear.
2708
2709 This is not as a general purpose byte encoding to Unicode interface:
2710 use the Encode extension for that.
2711
2712 =for apidoc sv_utf8_upgrade_flags
2713
2714 Converts the PV of an SV to its UTF-8-encoded form.
2715 Forces the SV to string form if it is not already.
2716 Always sets the SvUTF8 flag to avoid future validity checks even
2717 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2718 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2719 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2720
2721 This is not as a general purpose byte encoding to Unicode interface:
2722 use the Encode extension for that.
2723
2724 =cut
2725 */
2726
2727 STRLEN
2728 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2729 {
2730     dVAR;
2731     if (sv == &PL_sv_undef)
2732         return 0;
2733     if (!SvPOK(sv)) {
2734         STRLEN len = 0;
2735         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2736             (void) sv_2pv_flags(sv,&len, flags);
2737             if (SvUTF8(sv))
2738                 return len;
2739         } else {
2740             (void) SvPV_force(sv,len);
2741         }
2742     }
2743
2744     if (SvUTF8(sv)) {
2745         return SvCUR(sv);
2746     }
2747
2748     if (SvIsCOW(sv)) {
2749         sv_force_normal_flags(sv, 0);
2750     }
2751
2752     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2753         sv_recode_to_utf8(sv, PL_encoding);
2754     else { /* Assume Latin-1/EBCDIC */
2755         /* This function could be much more efficient if we
2756          * had a FLAG in SVs to signal if there are any hibit
2757          * chars in the PV.  Given that there isn't such a flag
2758          * make the loop as fast as possible. */
2759         const U8 * const s = (U8 *) SvPVX_const(sv);
2760         const U8 * const e = (U8 *) SvEND(sv);
2761         const U8 *t = s;
2762         
2763         while (t < e) {
2764             const U8 ch = *t++;
2765             /* Check for hi bit */
2766             if (!NATIVE_IS_INVARIANT(ch)) {
2767                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
2768                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
2769
2770                 SvPV_free(sv); /* No longer using what was there before. */
2771                 SvPV_set(sv, (char*)recoded);
2772                 SvCUR_set(sv, len - 1);
2773                 SvLEN_set(sv, len); /* No longer know the real size. */
2774                 break;
2775             }
2776         }
2777         /* Mark as UTF-8 even if no hibit - saves scanning loop */
2778         SvUTF8_on(sv);
2779     }
2780     return SvCUR(sv);
2781 }
2782
2783 /*
2784 =for apidoc sv_utf8_downgrade
2785
2786 Attempts to convert the PV of an SV from characters to bytes.
2787 If the PV contains a character beyond byte, this conversion will fail;
2788 in this case, either returns false or, if C<fail_ok> is not
2789 true, croaks.
2790
2791 This is not as a general purpose Unicode to byte encoding interface:
2792 use the Encode extension for that.
2793
2794 =cut
2795 */
2796
2797 bool
2798 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
2799 {
2800     dVAR;
2801     if (SvPOKp(sv) && SvUTF8(sv)) {
2802         if (SvCUR(sv)) {
2803             U8 *s;
2804             STRLEN len;
2805
2806             if (SvIsCOW(sv)) {
2807                 sv_force_normal_flags(sv, 0);
2808             }
2809             s = (U8 *) SvPV(sv, len);
2810             if (!utf8_to_bytes(s, &len)) {
2811                 if (fail_ok)
2812                     return FALSE;
2813                 else {
2814                     if (PL_op)
2815                         Perl_croak(aTHX_ "Wide character in %s",
2816                                    OP_DESC(PL_op));
2817                     else
2818                         Perl_croak(aTHX_ "Wide character");
2819                 }
2820             }
2821             SvCUR_set(sv, len);
2822         }
2823     }
2824     SvUTF8_off(sv);
2825     return TRUE;
2826 }
2827
2828 /*
2829 =for apidoc sv_utf8_encode
2830
2831 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
2832 flag off so that it looks like octets again.
2833
2834 =cut
2835 */
2836
2837 void
2838 Perl_sv_utf8_encode(pTHX_ register SV *sv)
2839 {
2840     (void) sv_utf8_upgrade(sv);
2841     if (SvIsCOW(sv)) {
2842         sv_force_normal_flags(sv, 0);
2843     }
2844     if (SvREADONLY(sv)) {
2845         Perl_croak(aTHX_ PL_no_modify);
2846     }
2847     SvUTF8_off(sv);
2848 }
2849
2850 /*
2851 =for apidoc sv_utf8_decode
2852
2853 If the PV of the SV is an octet sequence in UTF-8
2854 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
2855 so that it looks like a character. If the PV contains only single-byte
2856 characters, the C<SvUTF8> flag stays being off.
2857 Scans PV for validity and returns false if the PV is invalid UTF-8.
2858
2859 =cut
2860 */
2861
2862 bool
2863 Perl_sv_utf8_decode(pTHX_ register SV *sv)
2864 {
2865     if (SvPOKp(sv)) {
2866         const U8 *c;
2867         const U8 *e;
2868
2869         /* The octets may have got themselves encoded - get them back as
2870          * bytes
2871          */
2872         if (!sv_utf8_downgrade(sv, TRUE))
2873             return FALSE;
2874
2875         /* it is actually just a matter of turning the utf8 flag on, but
2876          * we want to make sure everything inside is valid utf8 first.
2877          */
2878         c = (const U8 *) SvPVX_const(sv);
2879         if (!is_utf8_string(c, SvCUR(sv)+1))
2880             return FALSE;
2881         e = (const U8 *) SvEND(sv);
2882         while (c < e) {
2883             const U8 ch = *c++;
2884             if (!UTF8_IS_INVARIANT(ch)) {
2885                 SvUTF8_on(sv);
2886                 break;
2887             }
2888         }
2889     }
2890     return TRUE;
2891 }
2892
2893 /*
2894 =for apidoc sv_setsv
2895
2896 Copies the contents of the source SV C<ssv> into the destination SV
2897 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
2898 function if the source SV needs to be reused. Does not handle 'set' magic.
2899 Loosely speaking, it performs a copy-by-value, obliterating any previous
2900 content of the destination.
2901
2902 You probably want to use one of the assortment of wrappers, such as
2903 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
2904 C<SvSetMagicSV_nosteal>.
2905
2906 =for apidoc sv_setsv_flags
2907
2908 Copies the contents of the source SV C<ssv> into the destination SV
2909 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
2910 function if the source SV needs to be reused. Does not handle 'set' magic.
2911 Loosely speaking, it performs a copy-by-value, obliterating any previous
2912 content of the destination.
2913 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
2914 C<ssv> if appropriate, else not. If the C<flags> parameter has the
2915 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
2916 and C<sv_setsv_nomg> are implemented in terms of this function.
2917
2918 You probably want to use one of the assortment of wrappers, such as
2919 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
2920 C<SvSetMagicSV_nosteal>.
2921
2922 This is the primary function for copying scalars, and most other
2923 copy-ish functions and macros use this underneath.
2924
2925 =cut
2926 */
2927
2928 static void
2929 S_glob_assign(pTHX_ SV *dstr, SV *sstr, const int dtype)
2930 {
2931     if (dtype != SVt_PVGV) {
2932         const char * const name = GvNAME(sstr);
2933         const STRLEN len = GvNAMELEN(sstr);
2934         /* don't upgrade SVt_PVLV: it can hold a glob */
2935         if (dtype != SVt_PVLV)
2936             sv_upgrade(dstr, SVt_PVGV);
2937         sv_magic(dstr, dstr, PERL_MAGIC_glob, Nullch, 0);
2938         GvSTASH(dstr) = GvSTASH(sstr);
2939         if (GvSTASH(dstr))
2940             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
2941         GvNAME(dstr) = savepvn(name, len);
2942         GvNAMELEN(dstr) = len;
2943         SvFAKE_on(dstr);        /* can coerce to non-glob */
2944     }
2945
2946 #ifdef GV_UNIQUE_CHECK
2947     if (GvUNIQUE((GV*)dstr)) {
2948         Perl_croak(aTHX_ PL_no_modify);
2949     }
2950 #endif
2951
2952     (void)SvOK_off(dstr);
2953     GvINTRO_off(dstr);          /* one-shot flag */
2954     gp_free((GV*)dstr);
2955     GvGP(dstr) = gp_ref(GvGP(sstr));
2956     if (SvTAINTED(sstr))
2957         SvTAINT(dstr);
2958     if (GvIMPORTED(dstr) != GVf_IMPORTED
2959         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
2960         {
2961             GvIMPORTED_on(dstr);
2962         }
2963     GvMULTI_on(dstr);
2964     return;
2965 }
2966
2967 void
2968 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
2969 {
2970     dVAR;
2971     register U32 sflags;
2972     register int dtype;
2973     register int stype;
2974
2975     if (sstr == dstr)
2976         return;
2977     SV_CHECK_THINKFIRST_COW_DROP(dstr);
2978     if (!sstr)
2979         sstr = &PL_sv_undef;
2980     stype = SvTYPE(sstr);
2981     dtype = SvTYPE(dstr);
2982
2983     SvAMAGIC_off(dstr);
2984     if ( SvVOK(dstr) )
2985     {
2986         /* need to nuke the magic */
2987         mg_free(dstr);
2988         SvRMAGICAL_off(dstr);
2989     }
2990
2991     /* There's a lot of redundancy below but we're going for speed here */
2992
2993     switch (stype) {
2994     case SVt_NULL:
2995       undef_sstr:
2996         if (dtype != SVt_PVGV) {
2997             (void)SvOK_off(dstr);
2998             return;
2999         }
3000         break;
3001     case SVt_IV:
3002         if (SvIOK(sstr)) {
3003             switch (dtype) {
3004             case SVt_NULL:
3005                 sv_upgrade(dstr, SVt_IV);
3006                 break;
3007             case SVt_NV:
3008                 sv_upgrade(dstr, SVt_PVNV);
3009                 break;
3010             case SVt_RV:
3011             case SVt_PV:
3012                 sv_upgrade(dstr, SVt_PVIV);
3013                 break;
3014             }
3015             (void)SvIOK_only(dstr);
3016             SvIV_set(dstr,  SvIVX(sstr));
3017             if (SvIsUV(sstr))
3018                 SvIsUV_on(dstr);
3019             if (SvTAINTED(sstr))
3020                 SvTAINT(dstr);
3021             return;
3022         }
3023         goto undef_sstr;
3024
3025     case SVt_NV:
3026         if (SvNOK(sstr)) {
3027             switch (dtype) {
3028             case SVt_NULL:
3029             case SVt_IV:
3030                 sv_upgrade(dstr, SVt_NV);
3031                 break;
3032             case SVt_RV:
3033             case SVt_PV:
3034             case SVt_PVIV:
3035                 sv_upgrade(dstr, SVt_PVNV);
3036                 break;
3037             }
3038             SvNV_set(dstr, SvNVX(sstr));
3039             (void)SvNOK_only(dstr);
3040             if (SvTAINTED(sstr))
3041                 SvTAINT(dstr);
3042             return;
3043         }
3044         goto undef_sstr;
3045
3046     case SVt_RV:
3047         if (dtype < SVt_RV)
3048             sv_upgrade(dstr, SVt_RV);
3049         else if (dtype == SVt_PVGV &&
3050                  SvROK(sstr) && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3051             sstr = SvRV(sstr);
3052             if (sstr == dstr) {
3053                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3054                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3055                 {
3056                     GvIMPORTED_on(dstr);
3057                 }
3058                 GvMULTI_on(dstr);
3059                 return;
3060             }
3061             goto glob_assign;
3062         }
3063         break;
3064     case SVt_PVFM:
3065 #ifdef PERL_OLD_COPY_ON_WRITE
3066         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3067             if (dtype < SVt_PVIV)
3068                 sv_upgrade(dstr, SVt_PVIV);
3069             break;
3070         }
3071         /* Fall through */
3072 #endif
3073     case SVt_PV:
3074         if (dtype < SVt_PV)
3075             sv_upgrade(dstr, SVt_PV);
3076         break;
3077     case SVt_PVIV:
3078         if (dtype < SVt_PVIV)
3079             sv_upgrade(dstr, SVt_PVIV);
3080         break;
3081     case SVt_PVNV:
3082         if (dtype < SVt_PVNV)
3083             sv_upgrade(dstr, SVt_PVNV);
3084         break;
3085     case SVt_PVAV:
3086     case SVt_PVHV:
3087     case SVt_PVCV:
3088     case SVt_PVIO:
3089         {
3090         const char * const type = sv_reftype(sstr,0);
3091         if (PL_op)
3092             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3093         else
3094             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3095         }
3096         break;
3097
3098     case SVt_PVGV:
3099         if (dtype <= SVt_PVGV) {
3100   glob_assign:
3101             return S_glob_assign(aTHX_ dstr, sstr, dtype);
3102         }
3103         /* FALL THROUGH */
3104
3105     default:
3106         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3107             mg_get(sstr);
3108             if ((int)SvTYPE(sstr) != stype) {
3109                 stype = SvTYPE(sstr);
3110                 if (stype == SVt_PVGV && dtype <= SVt_PVGV)
3111                     goto glob_assign;
3112             }
3113         }
3114         if (stype == SVt_PVLV)
3115             SvUPGRADE(dstr, SVt_PVNV);
3116         else
3117             SvUPGRADE(dstr, (U32)stype);
3118     }
3119
3120     sflags = SvFLAGS(sstr);
3121
3122     if (sflags & SVf_ROK) {
3123         if (dtype >= SVt_PV) {
3124             if (dtype == SVt_PVGV) {
3125                 SV * const sref = SvREFCNT_inc(SvRV(sstr));
3126                 SV *dref = NULL;
3127                 const int intro = GvINTRO(dstr);
3128
3129 #ifdef GV_UNIQUE_CHECK
3130                 if (GvUNIQUE((GV*)dstr)) {
3131                     Perl_croak(aTHX_ PL_no_modify);
3132                 }
3133 #endif
3134
3135                 if (intro) {
3136                     GvINTRO_off(dstr);  /* one-shot flag */
3137                     GvLINE(dstr) = CopLINE(PL_curcop);
3138                     GvEGV(dstr) = (GV*)dstr;
3139                 }
3140                 GvMULTI_on(dstr);
3141                 switch (SvTYPE(sref)) {
3142                 case SVt_PVAV:
3143                     if (intro)
3144                         SAVEGENERICSV(GvAV(dstr));
3145                     else
3146                         dref = (SV*)GvAV(dstr);
3147                     GvAV(dstr) = (AV*)sref;
3148                     if (!GvIMPORTED_AV(dstr)
3149                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3150                     {
3151                         GvIMPORTED_AV_on(dstr);
3152                     }
3153                     break;
3154                 case SVt_PVHV:
3155                     if (intro)
3156                         SAVEGENERICSV(GvHV(dstr));
3157                     else
3158                         dref = (SV*)GvHV(dstr);
3159                     GvHV(dstr) = (HV*)sref;
3160                     if (!GvIMPORTED_HV(dstr)
3161                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3162                     {
3163                         GvIMPORTED_HV_on(dstr);
3164                     }
3165                     break;
3166                 case SVt_PVCV:
3167                     if (intro) {
3168                         if (GvCVGEN(dstr) && GvCV(dstr) != (CV*)sref) {
3169                             SvREFCNT_dec(GvCV(dstr));
3170                             GvCV(dstr) = Nullcv;
3171                             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3172                             PL_sub_generation++;
3173                         }
3174                         SAVEGENERICSV(GvCV(dstr));
3175                     }
3176                     else
3177                         dref = (SV*)GvCV(dstr);
3178                     if (GvCV(dstr) != (CV*)sref) {
3179                         CV* const cv = GvCV(dstr);
3180                         if (cv) {
3181                             if (!GvCVGEN((GV*)dstr) &&
3182                                 (CvROOT(cv) || CvXSUB(cv)))
3183                             {
3184                                 /* Redefining a sub - warning is mandatory if
3185                                    it was a const and its value changed. */
3186                                 if (CvCONST(cv) && CvCONST((CV*)sref)
3187                                     && cv_const_sv(cv)
3188                                     == cv_const_sv((CV*)sref)) {
3189                                     /* They are 2 constant subroutines
3190                                        generated from the same constant.
3191                                        This probably means that they are
3192                                        really the "same" proxy subroutine
3193                                        instantiated in 2 places. Most likely
3194                                        this is when a constant is exported
3195                                        twice.  Don't warn.  */
3196                                 }
3197                                 else if (ckWARN(WARN_REDEFINE)
3198                                     || (CvCONST(cv)
3199                                         && (!CvCONST((CV*)sref)
3200                                             || sv_cmp(cv_const_sv(cv),
3201                                                       cv_const_sv((CV*)sref)))))
3202                                 {
3203                                     Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3204                                         CvCONST(cv)
3205                                         ? "Constant subroutine %s::%s redefined"
3206                                         : "Subroutine %s::%s redefined",
3207                                         HvNAME_get(GvSTASH((GV*)dstr)),
3208                                         GvENAME((GV*)dstr));
3209                                 }
3210                             }
3211                             if (!intro)
3212                                 cv_ckproto(cv, (GV*)dstr,
3213                                            SvPOK(sref)
3214                                            ? SvPVX_const(sref) : Nullch);
3215                         }
3216                         GvCV(dstr) = (CV*)sref;
3217                         GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3218                         GvASSUMECV_on(dstr);
3219                         PL_sub_generation++;
3220                     }
3221                     if (!GvIMPORTED_CV(dstr)
3222                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3223                     {
3224                         GvIMPORTED_CV_on(dstr);
3225                     }
3226                     break;
3227                 case SVt_PVIO:
3228                     if (intro)
3229                         SAVEGENERICSV(GvIOp(dstr));
3230                     else
3231                         dref = (SV*)GvIOp(dstr);
3232                     GvIOp(dstr) = (IO*)sref;
3233                     break;
3234                 case SVt_PVFM:
3235                     if (intro)
3236                         SAVEGENERICSV(GvFORM(dstr));
3237                     else
3238                         dref = (SV*)GvFORM(dstr);
3239                     GvFORM(dstr) = (CV*)sref;
3240                     break;
3241                 default:
3242                     if (intro)
3243                         SAVEGENERICSV(GvSV(dstr));
3244                     else
3245                         dref = (SV*)GvSV(dstr);
3246                     GvSV(dstr) = sref;
3247                     if (!GvIMPORTED_SV(dstr)
3248                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3249                     {
3250                         GvIMPORTED_SV_on(dstr);
3251                     }
3252                     break;
3253                 }
3254                 if (dref)
3255                     SvREFCNT_dec(dref);
3256                 if (SvTAINTED(sstr))
3257                     SvTAINT(dstr);
3258                 return;
3259             }
3260             if (SvPVX_const(dstr)) {
3261                 SvPV_free(dstr);
3262                 SvLEN_set(dstr, 0);
3263                 SvCUR_set(dstr, 0);
3264             }
3265         }
3266         (void)SvOK_off(dstr);
3267         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3268         SvROK_on(dstr);
3269         if (sflags & SVp_NOK) {
3270             SvNOKp_on(dstr);
3271             /* Only set the public OK flag if the source has public OK.  */
3272             if (sflags & SVf_NOK)
3273                 SvFLAGS(dstr) |= SVf_NOK;
3274             SvNV_set(dstr, SvNVX(sstr));
3275         }
3276         if (sflags & SVp_IOK) {
3277             (void)SvIOKp_on(dstr);
3278             if (sflags & SVf_IOK)
3279                 SvFLAGS(dstr) |= SVf_IOK;
3280             if (sflags & SVf_IVisUV)
3281                 SvIsUV_on(dstr);
3282             SvIV_set(dstr, SvIVX(sstr));
3283         }
3284         if (SvAMAGIC(sstr)) {
3285             SvAMAGIC_on(dstr);
3286         }
3287     }
3288     else if (sflags & SVp_POK) {
3289         bool isSwipe = 0;
3290
3291         /*
3292          * Check to see if we can just swipe the string.  If so, it's a
3293          * possible small lose on short strings, but a big win on long ones.
3294          * It might even be a win on short strings if SvPVX_const(dstr)
3295          * has to be allocated and SvPVX_const(sstr) has to be freed.
3296          */
3297
3298         /* Whichever path we take through the next code, we want this true,
3299            and doing it now facilitates the COW check.  */
3300         (void)SvPOK_only(dstr);
3301
3302         if (
3303             /* We're not already COW  */
3304             ((sflags & (SVf_FAKE | SVf_READONLY)) != (SVf_FAKE | SVf_READONLY)
3305 #ifndef PERL_OLD_COPY_ON_WRITE
3306              /* or we are, but dstr isn't a suitable target.  */
3307              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3308 #endif
3309              )
3310             &&
3311             !(isSwipe =
3312                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3313                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3314                  (!(flags & SV_NOSTEAL)) &&
3315                                         /* and we're allowed to steal temps */
3316                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3317                  SvLEN(sstr)    &&        /* and really is a string */
3318                                 /* and won't be needed again, potentially */
3319               !(PL_op && PL_op->op_type == OP_AASSIGN))
3320 #ifdef PERL_OLD_COPY_ON_WRITE
3321             && !((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3322                  && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3323                  && SvTYPE(sstr) >= SVt_PVIV)
3324 #endif
3325             ) {
3326             /* Failed the swipe test, and it's not a shared hash key either.
3327                Have to copy the string.  */
3328             STRLEN len = SvCUR(sstr);
3329             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3330             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3331             SvCUR_set(dstr, len);
3332             *SvEND(dstr) = '\0';
3333         } else {
3334             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3335                be true in here.  */
3336             /* Either it's a shared hash key, or it's suitable for
3337                copy-on-write or we can swipe the string.  */
3338             if (DEBUG_C_TEST) {
3339                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3340                 sv_dump(sstr);
3341                 sv_dump(dstr);
3342             }
3343 #ifdef PERL_OLD_COPY_ON_WRITE
3344             if (!isSwipe) {
3345                 /* I believe I should acquire a global SV mutex if
3346                    it's a COW sv (not a shared hash key) to stop
3347                    it going un copy-on-write.
3348                    If the source SV has gone un copy on write between up there
3349                    and down here, then (assert() that) it is of the correct
3350                    form to make it copy on write again */
3351                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3352                     != (SVf_FAKE | SVf_READONLY)) {
3353                     SvREADONLY_on(sstr);
3354                     SvFAKE_on(sstr);
3355                     /* Make the source SV into a loop of 1.
3356                        (about to become 2) */
3357                     SV_COW_NEXT_SV_SET(sstr, sstr);
3358                 }
3359             }
3360 #endif
3361             /* Initial code is common.  */
3362             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3363                 SvPV_free(dstr);
3364             }
3365
3366             if (!isSwipe) {
3367                 /* making another shared SV.  */
3368                 STRLEN cur = SvCUR(sstr);
3369                 STRLEN len = SvLEN(sstr);
3370 #ifdef PERL_OLD_COPY_ON_WRITE
3371                 if (len) {
3372                     assert (SvTYPE(dstr) >= SVt_PVIV);
3373                     /* SvIsCOW_normal */
3374                     /* splice us in between source and next-after-source.  */
3375                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3376                     SV_COW_NEXT_SV_SET(sstr, dstr);
3377                     SvPV_set(dstr, SvPVX_mutable(sstr));
3378                 } else
3379 #endif
3380                 {
3381                     /* SvIsCOW_shared_hash */
3382                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3383                                           "Copy on write: Sharing hash\n"));
3384
3385                     assert (SvTYPE(dstr) >= SVt_PV);
3386                     SvPV_set(dstr,
3387                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3388                 }
3389                 SvLEN_set(dstr, len);
3390                 SvCUR_set(dstr, cur);
3391                 SvREADONLY_on(dstr);
3392                 SvFAKE_on(dstr);
3393                 /* Relesase a global SV mutex.  */
3394             }
3395             else
3396                 {       /* Passes the swipe test.  */
3397                 SvPV_set(dstr, SvPVX_mutable(sstr));
3398                 SvLEN_set(dstr, SvLEN(sstr));
3399                 SvCUR_set(dstr, SvCUR(sstr));
3400
3401                 SvTEMP_off(dstr);
3402                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3403                 SvPV_set(sstr, NULL);
3404                 SvLEN_set(sstr, 0);
3405                 SvCUR_set(sstr, 0);
3406                 SvTEMP_off(sstr);
3407             }
3408         }
3409         if (sflags & SVf_UTF8)
3410             SvUTF8_on(dstr);
3411         if (sflags & SVp_NOK) {
3412             SvNOKp_on(dstr);
3413             if (sflags & SVf_NOK)
3414                 SvFLAGS(dstr) |= SVf_NOK;
3415             SvNV_set(dstr, SvNVX(sstr));
3416         }
3417         if (sflags & SVp_IOK) {
3418             (void)SvIOKp_on(dstr);
3419             if (sflags & SVf_IOK)
3420                 SvFLAGS(dstr) |= SVf_IOK;
3421             if (sflags & SVf_IVisUV)
3422                 SvIsUV_on(dstr);
3423             SvIV_set(dstr, SvIVX(sstr));
3424         }
3425         if (SvVOK(sstr)) {
3426             const MAGIC * const smg = mg_find(sstr,PERL_MAGIC_vstring);
3427             sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3428                         smg->mg_ptr, smg->mg_len);
3429             SvRMAGICAL_on(dstr);
3430         }
3431     }
3432     else if (sflags & SVp_IOK) {
3433         if (sflags & SVf_IOK)
3434             (void)SvIOK_only(dstr);
3435         else {
3436             (void)SvOK_off(dstr);
3437             (void)SvIOKp_on(dstr);
3438         }
3439         /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3440         if (sflags & SVf_IVisUV)
3441             SvIsUV_on(dstr);
3442         SvIV_set(dstr, SvIVX(sstr));
3443         if (sflags & SVp_NOK) {
3444             if (sflags & SVf_NOK)
3445                 (void)SvNOK_on(dstr);
3446             else
3447                 (void)SvNOKp_on(dstr);
3448             SvNV_set(dstr, SvNVX(sstr));
3449         }
3450     }
3451     else if (sflags & SVp_NOK) {
3452         if (sflags & SVf_NOK)
3453             (void)SvNOK_only(dstr);
3454         else {
3455             (void)SvOK_off(dstr);
3456             SvNOKp_on(dstr);
3457         }
3458         SvNV_set(dstr, SvNVX(sstr));
3459     }
3460     else {
3461         if (dtype == SVt_PVGV) {
3462             if (ckWARN(WARN_MISC))
3463                 Perl_warner(aTHX_ packWARN(WARN_MISC), "Undefined value assigned to typeglob");
3464         }
3465         else
3466             (void)SvOK_off(dstr);
3467     }
3468     if (SvTAINTED(sstr))
3469         SvTAINT(dstr);
3470 }
3471
3472 /*
3473 =for apidoc sv_setsv_mg
3474
3475 Like C<sv_setsv>, but also handles 'set' magic.
3476
3477 =cut
3478 */
3479
3480 void
3481 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3482 {
3483     sv_setsv(dstr,sstr);
3484     SvSETMAGIC(dstr);
3485 }
3486
3487 #ifdef PERL_OLD_COPY_ON_WRITE
3488 SV *
3489 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3490 {
3491     STRLEN cur = SvCUR(sstr);
3492     STRLEN len = SvLEN(sstr);
3493     register char *new_pv;
3494
3495     if (DEBUG_C_TEST) {
3496         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3497                       sstr, dstr);
3498         sv_dump(sstr);
3499         if (dstr)
3500                     sv_dump(dstr);
3501     }
3502
3503     if (dstr) {
3504         if (SvTHINKFIRST(dstr))
3505             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3506         else if (SvPVX_const(dstr))
3507             Safefree(SvPVX_const(dstr));
3508     }
3509     else
3510         new_SV(dstr);
3511     SvUPGRADE(dstr, SVt_PVIV);
3512
3513     assert (SvPOK(sstr));
3514     assert (SvPOKp(sstr));
3515     assert (!SvIOK(sstr));
3516     assert (!SvIOKp(sstr));
3517     assert (!SvNOK(sstr));
3518     assert (!SvNOKp(sstr));
3519
3520     if (SvIsCOW(sstr)) {
3521
3522         if (SvLEN(sstr) == 0) {
3523             /* source is a COW shared hash key.  */
3524             DEBUG_C(PerlIO_printf(Perl_debug_log,
3525                                   "Fast copy on write: Sharing hash\n"));
3526             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3527             goto common_exit;
3528         }
3529         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3530     } else {
3531         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3532         SvUPGRADE(sstr, SVt_PVIV);
3533         SvREADONLY_on(sstr);
3534         SvFAKE_on(sstr);
3535         DEBUG_C(PerlIO_printf(Perl_debug_log,
3536                               "Fast copy on write: Converting sstr to COW\n"));
3537         SV_COW_NEXT_SV_SET(dstr, sstr);
3538     }
3539     SV_COW_NEXT_SV_SET(sstr, dstr);
3540     new_pv = SvPVX_mutable(sstr);
3541
3542   common_exit:
3543     SvPV_set(dstr, new_pv);
3544     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3545     if (SvUTF8(sstr))
3546         SvUTF8_on(dstr);
3547     SvLEN_set(dstr, len);
3548     SvCUR_set(dstr, cur);
3549     if (DEBUG_C_TEST) {
3550         sv_dump(dstr);
3551     }
3552     return dstr;
3553 }
3554 #endif
3555
3556 /*
3557 =for apidoc sv_setpvn
3558
3559 Copies a string into an SV.  The C<len> parameter indicates the number of
3560 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3561 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3562
3563 =cut
3564 */
3565
3566 void
3567 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3568 {
3569     dVAR;
3570     register char *dptr;
3571
3572     SV_CHECK_THINKFIRST_COW_DROP(sv);
3573     if (!ptr) {
3574         (void)SvOK_off(sv);
3575         return;
3576     }
3577     else {
3578         /* len is STRLEN which is unsigned, need to copy to signed */
3579         const IV iv = len;
3580         if (iv < 0)
3581             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3582     }
3583     SvUPGRADE(sv, SVt_PV);
3584
3585     dptr = SvGROW(sv, len + 1);
3586     Move(ptr,dptr,len,char);
3587     dptr[len] = '\0';
3588     SvCUR_set(sv, len);
3589     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3590     SvTAINT(sv);
3591 }
3592
3593 /*
3594 =for apidoc sv_setpvn_mg
3595
3596 Like C<sv_setpvn>, but also handles 'set' magic.
3597
3598 =cut
3599 */
3600
3601 void
3602 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3603 {
3604     sv_setpvn(sv,ptr,len);
3605     SvSETMAGIC(sv);
3606 }
3607
3608 /*
3609 =for apidoc sv_setpv
3610
3611 Copies a string into an SV.  The string must be null-terminated.  Does not
3612 handle 'set' magic.  See C<sv_setpv_mg>.
3613
3614 =cut
3615 */
3616
3617 void
3618 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3619 {
3620     dVAR;
3621     register STRLEN len;
3622
3623     SV_CHECK_THINKFIRST_COW_DROP(sv);
3624     if (!ptr) {
3625         (void)SvOK_off(sv);
3626         return;
3627     }
3628     len = strlen(ptr);
3629     SvUPGRADE(sv, SVt_PV);
3630
3631     SvGROW(sv, len + 1);
3632     Move(ptr,SvPVX(sv),len+1,char);
3633     SvCUR_set(sv, len);
3634     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3635     SvTAINT(sv);
3636 }
3637
3638 /*
3639 =for apidoc sv_setpv_mg
3640
3641 Like C<sv_setpv>, but also handles 'set' magic.
3642
3643 =cut
3644 */
3645
3646 void
3647 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3648 {
3649     sv_setpv(sv,ptr);
3650     SvSETMAGIC(sv);
3651 }
3652
3653 /*
3654 =for apidoc sv_usepvn
3655
3656 Tells an SV to use C<ptr> to find its string value.  Normally the string is
3657 stored inside the SV but sv_usepvn allows the SV to use an outside string.
3658 The C<ptr> should point to memory that was allocated by C<malloc>.  The
3659 string length, C<len>, must be supplied.  This function will realloc the
3660 memory pointed to by C<ptr>, so that pointer should not be freed or used by
3661 the programmer after giving it to sv_usepvn.  Does not handle 'set' magic.
3662 See C<sv_usepvn_mg>.
3663
3664 =cut
3665 */
3666
3667 void
3668 Perl_sv_usepvn(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3669 {
3670     dVAR;
3671     STRLEN allocate;
3672     SV_CHECK_THINKFIRST_COW_DROP(sv);
3673     SvUPGRADE(sv, SVt_PV);
3674     if (!ptr) {
3675         (void)SvOK_off(sv);
3676         return;
3677     }
3678     if (SvPVX_const(sv))
3679         SvPV_free(sv);
3680
3681     allocate = PERL_STRLEN_ROUNDUP(len + 1);
3682     ptr = saferealloc (ptr, allocate);
3683     SvPV_set(sv, ptr);
3684     SvCUR_set(sv, len);
3685     SvLEN_set(sv, allocate);
3686     *SvEND(sv) = '\0';
3687     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3688     SvTAINT(sv);
3689 }
3690
3691 /*
3692 =for apidoc sv_usepvn_mg
3693
3694 Like C<sv_usepvn>, but also handles 'set' magic.
3695
3696 =cut
3697 */
3698
3699 void
3700 Perl_sv_usepvn_mg(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3701 {
3702     sv_usepvn(sv,ptr,len);
3703     SvSETMAGIC(sv);
3704 }
3705
3706 #ifdef PERL_OLD_COPY_ON_WRITE
3707 /* Need to do this *after* making the SV normal, as we need the buffer
3708    pointer to remain valid until after we've copied it.  If we let go too early,
3709    another thread could invalidate it by unsharing last of the same hash key
3710    (which it can do by means other than releasing copy-on-write Svs)
3711    or by changing the other copy-on-write SVs in the loop.  */
3712 STATIC void
3713 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, STRLEN len, SV *after)
3714 {
3715     if (len) { /* this SV was SvIsCOW_normal(sv) */
3716          /* we need to find the SV pointing to us.  */
3717         SV * const current = SV_COW_NEXT_SV(after);
3718
3719         if (current == sv) {
3720             /* The SV we point to points back to us (there were only two of us
3721                in the loop.)
3722                Hence other SV is no longer copy on write either.  */
3723             SvFAKE_off(after);
3724             SvREADONLY_off(after);
3725         } else {
3726             /* We need to follow the pointers around the loop.  */
3727             SV *next;
3728             while ((next = SV_COW_NEXT_SV(current)) != sv) {
3729                 assert (next);
3730                 current = next;
3731                  /* don't loop forever if the structure is bust, and we have
3732                     a pointer into a closed loop.  */
3733                 assert (current != after);
3734                 assert (SvPVX_const(current) == pvx);
3735             }
3736             /* Make the SV before us point to the SV after us.  */
3737             SV_COW_NEXT_SV_SET(current, after);
3738         }
3739     } else {
3740         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3741     }
3742 }
3743
3744 int
3745 Perl_sv_release_IVX(pTHX_ register SV *sv)
3746 {
3747     if (SvIsCOW(sv))
3748         sv_force_normal_flags(sv, 0);
3749     SvOOK_off(sv);
3750     return 0;
3751 }
3752 #endif
3753 /*
3754 =for apidoc sv_force_normal_flags
3755
3756 Undo various types of fakery on an SV: if the PV is a shared string, make
3757 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
3758 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
3759 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
3760 then a copy-on-write scalar drops its PV buffer (if any) and becomes
3761 SvPOK_off rather than making a copy. (Used where this scalar is about to be
3762 set to some other value.) In addition, the C<flags> parameter gets passed to
3763 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
3764 with flags set to 0.
3765
3766 =cut
3767 */
3768
3769 void
3770 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
3771 {
3772     dVAR;
3773 #ifdef PERL_OLD_COPY_ON_WRITE
3774     if (SvREADONLY(sv)) {
3775         /* At this point I believe I should acquire a global SV mutex.  */
3776         if (SvFAKE(sv)) {
3777             const char * const pvx = SvPVX_const(sv);
3778             const STRLEN len = SvLEN(sv);
3779             const STRLEN cur = SvCUR(sv);
3780             SV * const next = SV_COW_NEXT_SV(sv);   /* next COW sv in the loop. */
3781             if (DEBUG_C_TEST) {
3782                 PerlIO_printf(Perl_debug_log,
3783                               "Copy on write: Force normal %ld\n",
3784                               (long) flags);
3785                 sv_dump(sv);
3786             }
3787             SvFAKE_off(sv);
3788             SvREADONLY_off(sv);
3789             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
3790             SvPV_set(sv, NULL);
3791             SvLEN_set(sv, 0);
3792             if (flags & SV_COW_DROP_PV) {
3793                 /* OK, so we don't need to copy our buffer.  */
3794                 SvPOK_off(sv);
3795             } else {
3796                 SvGROW(sv, cur + 1);
3797                 Move(pvx,SvPVX(sv),cur,char);
3798                 SvCUR_set(sv, cur);
3799                 *SvEND(sv) = '\0';
3800             }
3801             sv_release_COW(sv, pvx, len, next);
3802             if (DEBUG_C_TEST) {
3803                 sv_dump(sv);
3804             }
3805         }
3806         else if (IN_PERL_RUNTIME)
3807             Perl_croak(aTHX_ PL_no_modify);
3808         /* At this point I believe that I can drop the global SV mutex.  */
3809     }
3810 #else
3811     if (SvREADONLY(sv)) {
3812         if (SvFAKE(sv)) {
3813             const char * const pvx = SvPVX_const(sv);
3814             const STRLEN len = SvCUR(sv);
3815             SvFAKE_off(sv);
3816             SvREADONLY_off(sv);
3817             SvPV_set(sv, Nullch);
3818             SvLEN_set(sv, 0);
3819             SvGROW(sv, len + 1);
3820             Move(pvx,SvPVX(sv),len,char);
3821             *SvEND(sv) = '\0';
3822             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3823         }
3824         else if (IN_PERL_RUNTIME)
3825             Perl_croak(aTHX_ PL_no_modify);
3826     }
3827 #endif
3828     if (SvROK(sv))
3829         sv_unref_flags(sv, flags);
3830     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
3831         sv_unglob(sv);
3832 }
3833
3834 /*
3835 =for apidoc sv_chop
3836
3837 Efficient removal of characters from the beginning of the string buffer.
3838 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
3839 the string buffer.  The C<ptr> becomes the first character of the adjusted
3840 string. Uses the "OOK hack".
3841 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
3842 refer to the same chunk of data.
3843
3844 =cut
3845 */
3846
3847 void
3848 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
3849 {
3850     register STRLEN delta;
3851     if (!ptr || !SvPOKp(sv))
3852         return;
3853     delta = ptr - SvPVX_const(sv);
3854     SV_CHECK_THINKFIRST(sv);
3855     if (SvTYPE(sv) < SVt_PVIV)
3856         sv_upgrade(sv,SVt_PVIV);
3857
3858     if (!SvOOK(sv)) {
3859         if (!SvLEN(sv)) { /* make copy of shared string */
3860             const char *pvx = SvPVX_const(sv);
3861             const STRLEN len = SvCUR(sv);
3862             SvGROW(sv, len + 1);
3863             Move(pvx,SvPVX(sv),len,char);
3864             *SvEND(sv) = '\0';
3865         }
3866         SvIV_set(sv, 0);
3867         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
3868            and we do that anyway inside the SvNIOK_off
3869         */
3870         SvFLAGS(sv) |= SVf_OOK;
3871     }
3872     SvNIOK_off(sv);
3873     SvLEN_set(sv, SvLEN(sv) - delta);
3874     SvCUR_set(sv, SvCUR(sv) - delta);
3875     SvPV_set(sv, SvPVX(sv) + delta);
3876     SvIV_set(sv, SvIVX(sv) + delta);
3877 }
3878
3879 /*
3880 =for apidoc sv_catpvn
3881
3882 Concatenates the string onto the end of the string which is in the SV.  The
3883 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
3884 status set, then the bytes appended should be valid UTF-8.
3885 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
3886
3887 =for apidoc sv_catpvn_flags
3888
3889 Concatenates the string onto the end of the string which is in the SV.  The
3890 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
3891 status set, then the bytes appended should be valid UTF-8.
3892 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
3893 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
3894 in terms of this function.
3895
3896 =cut
3897 */
3898
3899 void
3900 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
3901 {
3902     dVAR;
3903     STRLEN dlen;
3904     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
3905
3906     SvGROW(dsv, dlen + slen + 1);
3907     if (sstr == dstr)
3908         sstr = SvPVX_const(dsv);
3909     Move(sstr, SvPVX(dsv) + dlen, slen, char);
3910     SvCUR_set(dsv, SvCUR(dsv) + slen);
3911     *SvEND(dsv) = '\0';
3912     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
3913     SvTAINT(dsv);
3914     if (flags & SV_SMAGIC)
3915         SvSETMAGIC(dsv);
3916 }
3917
3918 /*
3919 =for apidoc sv_catsv
3920
3921 Concatenates the string from SV C<ssv> onto the end of the string in
3922 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
3923 not 'set' magic.  See C<sv_catsv_mg>.
3924
3925 =for apidoc sv_catsv_flags
3926
3927 Concatenates the string from SV C<ssv> onto the end of the string in
3928 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
3929 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
3930 and C<sv_catsv_nomg> are implemented in terms of this function.
3931
3932 =cut */
3933
3934 void
3935 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
3936 {
3937     dVAR;
3938     if (ssv) {
3939         STRLEN slen;
3940         const char *spv = SvPV_const(ssv, slen);
3941         if (spv) {
3942             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
3943                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
3944                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
3945                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
3946                 dsv->sv_flags doesn't have that bit set.
3947                 Andy Dougherty  12 Oct 2001
3948             */
3949             const I32 sutf8 = DO_UTF8(ssv);
3950             I32 dutf8;
3951
3952             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
3953                 mg_get(dsv);
3954             dutf8 = DO_UTF8(dsv);
3955
3956             if (dutf8 != sutf8) {
3957                 if (dutf8) {
3958                     /* Not modifying source SV, so taking a temporary copy. */
3959                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
3960
3961                     sv_utf8_upgrade(csv);
3962                     spv = SvPV_const(csv, slen);
3963                 }
3964                 else
3965                     sv_utf8_upgrade_nomg(dsv);
3966             }
3967             sv_catpvn_nomg(dsv, spv, slen);
3968         }
3969     }
3970     if (flags & SV_SMAGIC)
3971         SvSETMAGIC(dsv);
3972 }
3973
3974 /*
3975 =for apidoc sv_catpv
3976
3977 Concatenates the string onto the end of the string which is in the SV.
3978 If the SV has the UTF-8 status set, then the bytes appended should be
3979 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
3980
3981 =cut */
3982
3983 void
3984 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
3985 {
3986     dVAR;
3987     register STRLEN len;
3988     STRLEN tlen;
3989     char *junk;
3990
3991     if (!ptr)
3992         return;
3993     junk = SvPV_force(sv, tlen);
3994     len = strlen(ptr);
3995     SvGROW(sv, tlen + len + 1);
3996     if (ptr == junk)
3997         ptr = SvPVX_const(sv);
3998     Move(ptr,SvPVX(sv)+tlen,len+1,char);
3999     SvCUR_set(sv, SvCUR(sv) + len);
4000     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4001     SvTAINT(sv);
4002 }
4003
4004 /*
4005 =for apidoc sv_catpv_mg
4006
4007 Like C<sv_catpv>, but also handles 'set' magic.
4008
4009 =cut
4010 */
4011
4012 void
4013 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4014 {
4015     sv_catpv(sv,ptr);
4016     SvSETMAGIC(sv);
4017 }
4018
4019 /*
4020 =for apidoc newSV
4021
4022 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4023 bytes of preallocated string space the SV should have.  An extra byte for a
4024 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4025 space is allocated.)  The reference count for the new SV is set to 1.
4026
4027 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4028 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4029 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4030 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4031 modules supporting older perls.
4032
4033 =cut
4034 */
4035
4036 SV *
4037 Perl_newSV(pTHX_ STRLEN len)
4038 {
4039     dVAR;
4040     register SV *sv;
4041
4042     new_SV(sv);
4043     if (len) {
4044         sv_upgrade(sv, SVt_PV);
4045         SvGROW(sv, len + 1);
4046     }
4047     return sv;
4048 }
4049 /*
4050 =for apidoc sv_magicext
4051
4052 Adds magic to an SV, upgrading it if necessary. Applies the
4053 supplied vtable and returns a pointer to the magic added.
4054
4055 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4056 In particular, you can add magic to SvREADONLY SVs, and add more than
4057 one instance of the same 'how'.
4058
4059 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4060 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4061 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4062 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4063
4064 (This is now used as a subroutine by C<sv_magic>.)
4065
4066 =cut
4067 */
4068 MAGIC * 
4069 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, MGVTBL *vtable,
4070                  const char* name, I32 namlen)
4071 {
4072     dVAR;
4073     MAGIC* mg;
4074
4075     if (SvTYPE(sv) < SVt_PVMG) {
4076         SvUPGRADE(sv, SVt_PVMG);
4077     }
4078     Newxz(mg, 1, MAGIC);
4079     mg->mg_moremagic = SvMAGIC(sv);
4080     SvMAGIC_set(sv, mg);
4081
4082     /* Sometimes a magic contains a reference loop, where the sv and
4083        object refer to each other.  To prevent a reference loop that
4084        would prevent such objects being freed, we look for such loops
4085        and if we find one we avoid incrementing the object refcount.
4086
4087        Note we cannot do this to avoid self-tie loops as intervening RV must
4088        have its REFCNT incremented to keep it in existence.
4089
4090     */
4091     if (!obj || obj == sv ||
4092         how == PERL_MAGIC_arylen ||
4093         how == PERL_MAGIC_qr ||
4094         how == PERL_MAGIC_symtab ||
4095         (SvTYPE(obj) == SVt_PVGV &&
4096             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4097             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4098             GvFORM(obj) == (CV*)sv)))
4099     {
4100         mg->mg_obj = obj;
4101     }
4102     else {
4103         mg->mg_obj = SvREFCNT_inc(obj);
4104         mg->mg_flags |= MGf_REFCOUNTED;
4105     }
4106
4107     /* Normal self-ties simply pass a null object, and instead of
4108        using mg_obj directly, use the SvTIED_obj macro to produce a
4109        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4110        with an RV obj pointing to the glob containing the PVIO.  In
4111        this case, to avoid a reference loop, we need to weaken the
4112        reference.
4113     */
4114
4115     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4116         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4117     {
4118       sv_rvweaken(obj);
4119     }
4120
4121     mg->mg_type = how;
4122     mg->mg_len = namlen;
4123     if (name) {
4124         if (namlen > 0)
4125             mg->mg_ptr = savepvn(name, namlen);
4126         else if (namlen == HEf_SVKEY)
4127             mg->mg_ptr = (char*)SvREFCNT_inc((SV*)name);
4128         else
4129             mg->mg_ptr = (char *) name;
4130     }
4131     mg->mg_virtual = vtable;
4132
4133     mg_magical(sv);
4134     if (SvGMAGICAL(sv))
4135         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4136     return mg;
4137 }
4138
4139 /*
4140 =for apidoc sv_magic
4141
4142 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4143 then adds a new magic item of type C<how> to the head of the magic list.
4144
4145 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4146 handling of the C<name> and C<namlen> arguments.
4147
4148 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4149 to add more than one instance of the same 'how'.
4150
4151 =cut
4152 */
4153
4154 void
4155 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4156 {
4157     dVAR;
4158     MGVTBL *vtable;
4159     MAGIC* mg;
4160
4161 #ifdef PERL_OLD_COPY_ON_WRITE
4162     if (SvIsCOW(sv))
4163         sv_force_normal_flags(sv, 0);
4164 #endif
4165     if (SvREADONLY(sv)) {
4166         if (
4167             /* its okay to attach magic to shared strings; the subsequent
4168              * upgrade to PVMG will unshare the string */
4169             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4170
4171             && IN_PERL_RUNTIME
4172             && how != PERL_MAGIC_regex_global
4173             && how != PERL_MAGIC_bm
4174             && how != PERL_MAGIC_fm
4175             && how != PERL_MAGIC_sv
4176             && how != PERL_MAGIC_backref
4177            )
4178         {
4179             Perl_croak(aTHX_ PL_no_modify);
4180         }
4181     }
4182     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4183         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4184             /* sv_magic() refuses to add a magic of the same 'how' as an
4185                existing one
4186              */
4187             if (how == PERL_MAGIC_taint)
4188                 mg->mg_len |= 1;
4189             return;
4190         }
4191     }
4192
4193     switch (how) {
4194     case PERL_MAGIC_sv:
4195         vtable = &PL_vtbl_sv;
4196         break;
4197     case PERL_MAGIC_overload:
4198         vtable = &PL_vtbl_amagic;
4199         break;
4200     case PERL_MAGIC_overload_elem:
4201         vtable = &PL_vtbl_amagicelem;
4202         break;
4203     case PERL_MAGIC_overload_table:
4204         vtable = &PL_vtbl_ovrld;
4205         break;
4206     case PERL_MAGIC_bm:
4207         vtable = &PL_vtbl_bm;
4208         break;
4209     case PERL_MAGIC_regdata:
4210         vtable = &PL_vtbl_regdata;
4211         break;
4212     case PERL_MAGIC_regdatum:
4213         vtable = &PL_vtbl_regdatum;
4214         break;
4215     case PERL_MAGIC_env:
4216         vtable = &PL_vtbl_env;
4217         break;
4218     case PERL_MAGIC_fm:
4219         vtable = &PL_vtbl_fm;
4220         break;
4221     case PERL_MAGIC_envelem:
4222         vtable = &PL_vtbl_envelem;
4223         break;
4224     case PERL_MAGIC_regex_global:
4225         vtable = &PL_vtbl_mglob;
4226         break;
4227     case PERL_MAGIC_isa:
4228         vtable = &PL_vtbl_isa;
4229         break;
4230     case PERL_MAGIC_isaelem:
4231         vtable = &PL_vtbl_isaelem;
4232         break;
4233     case PERL_MAGIC_nkeys:
4234         vtable = &PL_vtbl_nkeys;
4235         break;
4236     case PERL_MAGIC_dbfile:
4237         vtable = NULL;
4238         break;
4239     case PERL_MAGIC_dbline:
4240         vtable = &PL_vtbl_dbline;
4241         break;
4242 #ifdef USE_LOCALE_COLLATE
4243     case PERL_MAGIC_collxfrm:
4244         vtable = &PL_vtbl_collxfrm;
4245         break;
4246 #endif /* USE_LOCALE_COLLATE */
4247     case PERL_MAGIC_tied:
4248         vtable = &PL_vtbl_pack;
4249         break;
4250     case PERL_MAGIC_tiedelem:
4251     case PERL_MAGIC_tiedscalar:
4252         vtable = &PL_vtbl_packelem;
4253         break;
4254     case PERL_MAGIC_qr:
4255         vtable = &PL_vtbl_regexp;
4256         break;
4257     case PERL_MAGIC_sig:
4258         vtable = &PL_vtbl_sig;
4259         break;
4260     case PERL_MAGIC_sigelem:
4261         vtable = &PL_vtbl_sigelem;
4262         break;
4263     case PERL_MAGIC_taint:
4264         vtable = &PL_vtbl_taint;
4265         break;
4266     case PERL_MAGIC_uvar:
4267         vtable = &PL_vtbl_uvar;
4268         break;
4269     case PERL_MAGIC_vec:
4270         vtable = &PL_vtbl_vec;
4271         break;
4272     case PERL_MAGIC_arylen_p:
4273     case PERL_MAGIC_rhash:
4274     case PERL_MAGIC_symtab:
4275     case PERL_MAGIC_vstring:
4276         vtable = NULL;
4277         break;
4278     case PERL_MAGIC_utf8:
4279         vtable = &PL_vtbl_utf8;
4280         break;
4281     case PERL_MAGIC_substr:
4282         vtable = &PL_vtbl_substr;
4283         break;
4284     case PERL_MAGIC_defelem:
4285         vtable = &PL_vtbl_defelem;
4286         break;
4287     case PERL_MAGIC_glob:
4288         vtable = &PL_vtbl_glob;
4289         break;
4290     case PERL_MAGIC_arylen:
4291         vtable = &PL_vtbl_arylen;
4292         break;
4293     case PERL_MAGIC_pos:
4294         vtable = &PL_vtbl_pos;
4295         break;
4296     case PERL_MAGIC_backref:
4297         vtable = &PL_vtbl_backref;
4298         break;
4299     case PERL_MAGIC_ext:
4300         /* Reserved for use by extensions not perl internals.           */
4301         /* Useful for attaching extension internal data to perl vars.   */
4302         /* Note that multiple extensions may clash if magical scalars   */
4303         /* etc holding private data from one are passed to another.     */
4304         vtable = NULL;
4305         break;
4306     default:
4307         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4308     }
4309
4310     /* Rest of work is done else where */
4311     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4312
4313     switch (how) {
4314     case PERL_MAGIC_taint:
4315         mg->mg_len = 1;
4316         break;
4317     case PERL_MAGIC_ext:
4318     case PERL_MAGIC_dbfile:
4319         SvRMAGICAL_on(sv);
4320         break;
4321     }
4322 }
4323
4324 /*
4325 =for apidoc sv_unmagic
4326
4327 Removes all magic of type C<type> from an SV.
4328
4329 =cut
4330 */
4331
4332 int
4333 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4334 {
4335     MAGIC* mg;
4336     MAGIC** mgp;
4337     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4338         return 0;
4339     mgp = &SvMAGIC(sv);
4340     for (mg = *mgp; mg; mg = *mgp) {
4341         if (mg->mg_type == type) {
4342             const MGVTBL* const vtbl = mg->mg_virtual;
4343             *mgp = mg->mg_moremagic;
4344             if (vtbl && vtbl->svt_free)
4345                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4346             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4347                 if (mg->mg_len > 0)
4348                     Safefree(mg->mg_ptr);
4349                 else if (mg->mg_len == HEf_SVKEY)
4350                     SvREFCNT_dec((SV*)mg->mg_ptr);
4351                 else if (mg->mg_type == PERL_MAGIC_utf8 && mg->mg_ptr)
4352                     Safefree(mg->mg_ptr);
4353             }
4354             if (mg->mg_flags & MGf_REFCOUNTED)
4355                 SvREFCNT_dec(mg->mg_obj);
4356             Safefree(mg);
4357         }
4358         else
4359             mgp = &mg->mg_moremagic;
4360     }
4361     if (!SvMAGIC(sv)) {
4362         SvMAGICAL_off(sv);
4363         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4364         SvMAGIC_set(sv, NULL);
4365     }
4366
4367     return 0;
4368 }
4369
4370 /*
4371 =for apidoc sv_rvweaken
4372
4373 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4374 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4375 push a back-reference to this RV onto the array of backreferences
4376 associated with that magic.
4377
4378 =cut
4379 */
4380
4381 SV *
4382 Perl_sv_rvweaken(pTHX_ SV *sv)
4383 {
4384     SV *tsv;
4385     if (!SvOK(sv))  /* let undefs pass */
4386         return sv;
4387     if (!SvROK(sv))
4388         Perl_croak(aTHX_ "Can't weaken a nonreference");
4389     else if (SvWEAKREF(sv)) {
4390         if (ckWARN(WARN_MISC))
4391             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4392         return sv;
4393     }
4394     tsv = SvRV(sv);
4395     Perl_sv_add_backref(aTHX_ tsv, sv);
4396     SvWEAKREF_on(sv);
4397     SvREFCNT_dec(tsv);
4398     return sv;
4399 }
4400
4401 /* Give tsv backref magic if it hasn't already got it, then push a
4402  * back-reference to sv onto the array associated with the backref magic.
4403  */
4404
4405 void
4406 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4407 {
4408     dVAR;
4409     AV *av;
4410
4411     if (SvTYPE(tsv) == SVt_PVHV) {
4412         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4413
4414         av = *avp;
4415         if (!av) {
4416             /* There is no AV in the offical place - try a fixup.  */
4417             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4418
4419             if (mg) {
4420                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4421                 av = (AV*)mg->mg_obj;
4422                 /* Stop mg_free decreasing the refernce count.  */
4423                 mg->mg_obj = NULL;
4424                 /* Stop mg_free even calling the destructor, given that
4425                    there's no AV to free up.  */
4426                 mg->mg_virtual = 0;
4427                 sv_unmagic(tsv, PERL_MAGIC_backref);
4428             } else {
4429                 av = newAV();
4430                 AvREAL_off(av);
4431                 SvREFCNT_inc(av);
4432             }
4433             *avp = av;
4434         }
4435     } else {
4436         const MAGIC *const mg
4437             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4438         if (mg)
4439             av = (AV*)mg->mg_obj;
4440         else {
4441             av = newAV();
4442             AvREAL_off(av);
4443             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4444             /* av now has a refcnt of 2, which avoids it getting freed
4445              * before us during global cleanup. The extra ref is removed
4446              * by magic_killbackrefs() when tsv is being freed */
4447         }
4448     }
4449     if (AvFILLp(av) >= AvMAX(av)) {
4450         av_extend(av, AvFILLp(av)+1);
4451     }
4452     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4453 }
4454
4455 /* delete a back-reference to ourselves from the backref magic associated
4456  * with the SV we point to.
4457  */
4458
4459 STATIC void
4460 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4461 {
4462     dVAR;
4463     AV *av = NULL;
4464     SV **svp;
4465     I32 i;
4466
4467     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4468         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4469         /* We mustn't attempt to "fix up" the hash here by moving the
4470            backreference array back to the hv_aux structure, as that is stored
4471            in the main HvARRAY(), and hfreentries assumes that no-one
4472            reallocates HvARRAY() while it is running.  */
4473     }
4474     if (!av) {
4475         const MAGIC *const mg
4476             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4477         if (mg)
4478             av = (AV *)mg->mg_obj;
4479     }
4480     if (!av) {
4481         if (PL_in_clean_all)
4482             return;
4483         Perl_croak(aTHX_ "panic: del_backref");
4484     }
4485
4486     if (SvIS_FREED(av))
4487         return;
4488
4489     svp = AvARRAY(av);
4490     /* We shouldn't be in here more than once, but for paranoia reasons lets
4491        not assume this.  */
4492     for (i = AvFILLp(av); i >= 0; i--) {
4493         if (svp[i] == sv) {
4494             const SSize_t fill = AvFILLp(av);
4495             if (i != fill) {
4496                 /* We weren't the last entry.
4497                    An unordered list has this property that you can take the
4498                    last element off the end to fill the hole, and it's still
4499                    an unordered list :-)
4500                 */
4501                 svp[i] = svp[fill];
4502             }
4503             svp[fill] = Nullsv;
4504             AvFILLp(av) = fill - 1;
4505         }
4506     }
4507 }
4508
4509 int
4510 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4511 {
4512     SV **svp = AvARRAY(av);
4513
4514     PERL_UNUSED_ARG(sv);
4515
4516     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4517        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4518     if (svp && !SvIS_FREED(av)) {
4519         SV *const *const last = svp + AvFILLp(av);
4520
4521         while (svp <= last) {
4522             if (*svp) {
4523                 SV *const referrer = *svp;
4524                 if (SvWEAKREF(referrer)) {
4525                     /* XXX Should we check that it hasn't changed? */
4526                     SvRV_set(referrer, 0);
4527                     SvOK_off(referrer);
4528                     SvWEAKREF_off(referrer);
4529                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4530                            SvTYPE(referrer) == SVt_PVLV) {
4531                     /* You lookin' at me?  */
4532                     assert(GvSTASH(referrer));
4533                     assert(GvSTASH(referrer) == (HV*)sv);
4534                     GvSTASH(referrer) = 0;
4535                 } else {
4536                     Perl_croak(aTHX_
4537                                "panic: magic_killbackrefs (flags=%"UVxf")",
4538                                (UV)SvFLAGS(referrer));
4539                 }
4540
4541                 *svp = Nullsv;
4542             }
4543             svp++;
4544         }
4545     }
4546     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4547     return 0;
4548 }
4549
4550 /*
4551 =for apidoc sv_insert
4552
4553 Inserts a string at the specified offset/length within the SV. Similar to
4554 the Perl substr() function.
4555
4556 =cut
4557 */
4558
4559 void
4560 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4561 {
4562     dVAR;
4563     register char *big;
4564     register char *mid;
4565     register char *midend;
4566     register char *bigend;
4567     register I32 i;
4568     STRLEN curlen;
4569
4570
4571     if (!bigstr)
4572         Perl_croak(aTHX_ "Can't modify non-existent substring");
4573     SvPV_force(bigstr, curlen);
4574     (void)SvPOK_only_UTF8(bigstr);
4575     if (offset + len > curlen) {
4576         SvGROW(bigstr, offset+len+1);
4577         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4578         SvCUR_set(bigstr, offset+len);
4579     }
4580
4581     SvTAINT(bigstr);
4582     i = littlelen - len;
4583     if (i > 0) {                        /* string might grow */
4584         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4585         mid = big + offset + len;
4586         midend = bigend = big + SvCUR(bigstr);
4587         bigend += i;
4588         *bigend = '\0';
4589         while (midend > mid)            /* shove everything down */
4590             *--bigend = *--midend;
4591         Move(little,big+offset,littlelen,char);
4592         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4593         SvSETMAGIC(bigstr);
4594         return;
4595     }
4596     else if (i == 0) {
4597         Move(little,SvPVX(bigstr)+offset,len,char);
4598         SvSETMAGIC(bigstr);
4599         return;
4600     }
4601
4602     big = SvPVX(bigstr);
4603     mid = big + offset;
4604     midend = mid + len;
4605     bigend = big + SvCUR(bigstr);
4606
4607     if (midend > bigend)
4608         Perl_croak(aTHX_ "panic: sv_insert");
4609
4610     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4611         if (littlelen) {
4612             Move(little, mid, littlelen,char);
4613             mid += littlelen;
4614         }
4615         i = bigend - midend;
4616         if (i > 0) {
4617             Move(midend, mid, i,char);
4618             mid += i;
4619         }
4620         *mid = '\0';
4621         SvCUR_set(bigstr, mid - big);
4622     }
4623     else if ((i = mid - big)) { /* faster from front */
4624         midend -= littlelen;
4625         mid = midend;
4626         sv_chop(bigstr,midend-i);
4627         big += i;
4628         while (i--)
4629             *--midend = *--big;
4630         if (littlelen)
4631             Move(little, mid, littlelen,char);
4632     }
4633     else if (littlelen) {
4634         midend -= littlelen;
4635         sv_chop(bigstr,midend);
4636         Move(little,midend,littlelen,char);
4637     }
4638     else {
4639         sv_chop(bigstr,midend);
4640     }
4641     SvSETMAGIC(bigstr);
4642 }
4643
4644 /*
4645 =for apidoc sv_replace
4646
4647 Make the first argument a copy of the second, then delete the original.
4648 The target SV physically takes over ownership of the body of the source SV
4649 and inherits its flags; however, the target keeps any magic it owns,
4650 and any magic in the source is discarded.
4651 Note that this is a rather specialist SV copying operation; most of the
4652 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4653
4654 =cut
4655 */
4656
4657 void
4658 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4659 {
4660     dVAR;
4661     const U32 refcnt = SvREFCNT(sv);
4662     SV_CHECK_THINKFIRST_COW_DROP(sv);
4663     if (SvREFCNT(nsv) != 1) {
4664         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4665                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4666     }
4667     if (SvMAGICAL(sv)) {
4668         if (SvMAGICAL(nsv))
4669             mg_free(nsv);
4670         else
4671             sv_upgrade(nsv, SVt_PVMG);
4672         SvMAGIC_set(nsv, SvMAGIC(sv));
4673         SvFLAGS(nsv) |= SvMAGICAL(sv);
4674         SvMAGICAL_off(sv);
4675         SvMAGIC_set(sv, NULL);
4676     }
4677     SvREFCNT(sv) = 0;
4678     sv_clear(sv);
4679     assert(!SvREFCNT(sv));
4680 #ifdef DEBUG_LEAKING_SCALARS
4681     sv->sv_flags  = nsv->sv_flags;
4682     sv->sv_any    = nsv->sv_any;
4683     sv->sv_refcnt = nsv->sv_refcnt;
4684     sv->sv_u      = nsv->sv_u;
4685 #else
4686     StructCopy(nsv,sv,SV);
4687 #endif
4688     /* Currently could join these into one piece of pointer arithmetic, but
4689        it would be unclear.  */
4690     if(SvTYPE(sv) == SVt_IV)
4691         SvANY(sv)
4692             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
4693     else if (SvTYPE(sv) == SVt_RV) {
4694         SvANY(sv) = &sv->sv_u.svu_rv;
4695     }
4696         
4697
4698 #ifdef PERL_OLD_COPY_ON_WRITE
4699     if (SvIsCOW_normal(nsv)) {
4700         /* We need to follow the pointers around the loop to make the
4701            previous SV point to sv, rather than nsv.  */
4702         SV *next;
4703         SV *current = nsv;
4704         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
4705             assert(next);
4706             current = next;
4707             assert(SvPVX_const(current) == SvPVX_const(nsv));
4708         }
4709         /* Make the SV before us point to the SV after us.  */
4710         if (DEBUG_C_TEST) {
4711             PerlIO_printf(Perl_debug_log, "previous is\n");
4712             sv_dump(current);
4713             PerlIO_printf(Perl_debug_log,
4714                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
4715                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
4716         }
4717         SV_COW_NEXT_SV_SET(current, sv);
4718     }
4719 #endif
4720     SvREFCNT(sv) = refcnt;
4721     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
4722     SvREFCNT(nsv) = 0;
4723     del_SV(nsv);
4724 }
4725
4726 /*
4727 =for apidoc sv_clear
4728
4729 Clear an SV: call any destructors, free up any memory used by the body,
4730 and free the body itself. The SV's head is I<not> freed, although
4731 its type is set to all 1's so that it won't inadvertently be assumed
4732 to be live during global destruction etc.
4733 This function should only be called when REFCNT is zero. Most of the time
4734 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
4735 instead.
4736
4737 =cut
4738 */
4739
4740 void
4741 Perl_sv_clear(pTHX_ register SV *sv)
4742 {
4743     dVAR;
4744     const U32 type = SvTYPE(sv);
4745     const struct body_details *const sv_type_details
4746         = bodies_by_type + type;
4747
4748     assert(sv);
4749     assert(SvREFCNT(sv) == 0);
4750
4751     if (type <= SVt_IV)
4752         return;
4753
4754     if (SvOBJECT(sv)) {
4755         if (PL_defstash) {              /* Still have a symbol table? */
4756             dSP;
4757             HV* stash;
4758             do {        
4759                 CV* destructor;
4760                 stash = SvSTASH(sv);
4761                 destructor = StashHANDLER(stash,DESTROY);
4762                 if (destructor) {
4763                     SV* const tmpref = newRV(sv);
4764                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
4765                     ENTER;
4766                     PUSHSTACKi(PERLSI_DESTROY);
4767                     EXTEND(SP, 2);
4768                     PUSHMARK(SP);
4769                     PUSHs(tmpref);
4770                     PUTBACK;
4771                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
4772                 
4773                 
4774                     POPSTACK;
4775                     SPAGAIN;
4776                     LEAVE;
4777                     if(SvREFCNT(tmpref) < 2) {
4778                         /* tmpref is not kept alive! */
4779                         SvREFCNT(sv)--;
4780                         SvRV_set(tmpref, NULL);
4781                         SvROK_off(tmpref);
4782                     }
4783                     SvREFCNT_dec(tmpref);
4784                 }
4785             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
4786
4787
4788             if (SvREFCNT(sv)) {
4789                 if (PL_in_clean_objs)
4790                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
4791                           HvNAME_get(stash));
4792                 /* DESTROY gave object new lease on life */
4793                 return;
4794             }
4795         }
4796
4797         if (SvOBJECT(sv)) {
4798             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
4799             SvOBJECT_off(sv);   /* Curse the object. */
4800             if (type != SVt_PVIO)
4801                 --PL_sv_objcount;       /* XXX Might want something more general */
4802         }
4803     }
4804     if (type >= SVt_PVMG) {
4805         if (SvMAGIC(sv))
4806             mg_free(sv);
4807         if (type == SVt_PVMG && SvFLAGS(sv) & SVpad_TYPED)
4808             SvREFCNT_dec(SvSTASH(sv));
4809     }
4810     switch (type) {
4811     case SVt_PVIO:
4812         if (IoIFP(sv) &&
4813             IoIFP(sv) != PerlIO_stdin() &&
4814             IoIFP(sv) != PerlIO_stdout() &&
4815             IoIFP(sv) != PerlIO_stderr())
4816         {
4817             io_close((IO*)sv, FALSE);
4818         }
4819         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
4820             PerlDir_close(IoDIRP(sv));
4821         IoDIRP(sv) = (DIR*)NULL;
4822         Safefree(IoTOP_NAME(sv));
4823         Safefree(IoFMT_NAME(sv));
4824         Safefree(IoBOTTOM_NAME(sv));
4825         goto freescalar;
4826     case SVt_PVBM:
4827         goto freescalar;
4828     case SVt_PVCV:
4829     case SVt_PVFM:
4830         cv_undef((CV*)sv);
4831         goto freescalar;
4832     case SVt_PVHV:
4833         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
4834         hv_undef((HV*)sv);
4835         break;
4836     case SVt_PVAV:
4837         av_undef((AV*)sv);
4838         break;
4839     case SVt_PVLV:
4840         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
4841             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
4842             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
4843             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
4844         }
4845         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
4846             SvREFCNT_dec(LvTARG(sv));
4847         goto freescalar;
4848     case SVt_PVGV:
4849         gp_free((GV*)sv);
4850         Safefree(GvNAME(sv));
4851         /* If we're in a stash, we don't own a reference to it. However it does
4852            have a back reference to us, which needs to be cleared.  */
4853         if (GvSTASH(sv))
4854             sv_del_backref((SV*)GvSTASH(sv), sv);
4855     case SVt_PVMG:
4856     case SVt_PVNV:
4857     case SVt_PVIV:
4858       freescalar:
4859         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
4860         if (SvOOK(sv)) {
4861             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
4862             /* Don't even bother with turning off the OOK flag.  */
4863         }
4864     case SVt_PV:
4865     case SVt_RV:
4866         if (SvROK(sv)) {
4867             SV *target = SvRV(sv);
4868             if (SvWEAKREF(sv))
4869                 sv_del_backref(target, sv);
4870             else
4871                 SvREFCNT_dec(target);
4872         }
4873 #ifdef PERL_OLD_COPY_ON_WRITE
4874         else if (SvPVX_const(sv)) {
4875             if (SvIsCOW(sv)) {
4876                 /* I believe I need to grab the global SV mutex here and
4877                    then recheck the COW status.  */
4878                 if (DEBUG_C_TEST) {
4879                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
4880                     sv_dump(sv);
4881                 }
4882                 sv_release_COW(sv, SvPVX_const(sv), SvLEN(sv),
4883                                SV_COW_NEXT_SV(sv));
4884                 /* And drop it here.  */
4885                 SvFAKE_off(sv);
4886             } else if (SvLEN(sv)) {
4887                 Safefree(SvPVX_const(sv));
4888             }
4889         }
4890 #else
4891         else if (SvPVX_const(sv) && SvLEN(sv))
4892             Safefree(SvPVX_mutable(sv));
4893         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
4894             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
4895             SvFAKE_off(sv);
4896         }
4897 #endif
4898         break;
4899     case SVt_NV:
4900         break;
4901     }
4902
4903     SvFLAGS(sv) &= SVf_BREAK;
4904     SvFLAGS(sv) |= SVTYPEMASK;
4905
4906     if (sv_type_details->arena) {
4907         del_body(((char *)SvANY(sv) + sv_type_details->offset),
4908                  &PL_body_roots[type]);
4909     }
4910     else if (sv_type_details->size) {
4911         my_safefree(SvANY(sv));
4912     }
4913 }
4914
4915 /*
4916 =for apidoc sv_newref
4917
4918 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
4919 instead.
4920
4921 =cut
4922 */
4923
4924 SV *
4925 Perl_sv_newref(pTHX_ SV *sv)
4926 {
4927     if (sv)
4928         (SvREFCNT(sv))++;
4929     return sv;
4930 }
4931
4932 /*
4933 =for apidoc sv_free
4934
4935 Decrement an SV's reference count, and if it drops to zero, call
4936 C<sv_clear> to invoke destructors and free up any memory used by
4937 the body; finally, deallocate the SV's head itself.
4938 Normally called via a wrapper macro C<SvREFCNT_dec>.
4939
4940 =cut
4941 */
4942
4943 void
4944 Perl_sv_free(pTHX_ SV *sv)
4945 {
4946     dVAR;
4947     if (!sv)
4948         return;
4949     if (SvREFCNT(sv) == 0) {
4950         if (SvFLAGS(sv) & SVf_BREAK)
4951             /* this SV's refcnt has been artificially decremented to
4952              * trigger cleanup */
4953             return;
4954         if (PL_in_clean_all) /* All is fair */
4955             return;
4956         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
4957             /* make sure SvREFCNT(sv)==0 happens very seldom */
4958             SvREFCNT(sv) = (~(U32)0)/2;
4959             return;
4960         }
4961         if (ckWARN_d(WARN_INTERNAL)) {
4962             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
4963                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
4964                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
4965 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
4966             Perl_dump_sv_child(aTHX_ sv);
4967 #endif
4968         }
4969         return;
4970     }
4971     if (--(SvREFCNT(sv)) > 0)
4972         return;
4973     Perl_sv_free2(aTHX_ sv);
4974 }
4975
4976 void
4977 Perl_sv_free2(pTHX_ SV *sv)
4978 {
4979     dVAR;
4980 #ifdef DEBUGGING
4981     if (SvTEMP(sv)) {
4982         if (ckWARN_d(WARN_DEBUGGING))
4983             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
4984                         "Attempt to free temp prematurely: SV 0x%"UVxf
4985                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
4986         return;
4987     }
4988 #endif
4989     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
4990         /* make sure SvREFCNT(sv)==0 happens very seldom */
4991         SvREFCNT(sv) = (~(U32)0)/2;
4992         return;
4993     }
4994     sv_clear(sv);
4995     if (! SvREFCNT(sv))
4996         del_SV(sv);
4997 }
4998
4999 /*
5000 =for apidoc sv_len
5001
5002 Returns the length of the string in the SV. Handles magic and type
5003 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5004
5005 =cut
5006 */
5007
5008 STRLEN
5009 Perl_sv_len(pTHX_ register SV *sv)
5010 {
5011     STRLEN len;
5012
5013     if (!sv)
5014         return 0;
5015
5016     if (SvGMAGICAL(sv))
5017         len = mg_length(sv);
5018     else
5019         (void)SvPV_const(sv, len);
5020     return len;
5021 }
5022
5023 /*
5024 =for apidoc sv_len_utf8
5025
5026 Returns the number of characters in the string in an SV, counting wide
5027 UTF-8 bytes as a single character. Handles magic and type coercion.
5028
5029 =cut
5030 */
5031
5032 /*
5033  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5034  * mg_ptr is used, by sv_pos_u2b(), see the comments of S_utf8_mg_pos_init().
5035  * (Note that the mg_len is not the length of the mg_ptr field.)
5036  *
5037  */
5038
5039 STRLEN
5040 Perl_sv_len_utf8(pTHX_ register SV *sv)
5041 {
5042     if (!sv)
5043         return 0;
5044
5045     if (SvGMAGICAL(sv))
5046         return mg_length(sv);
5047     else
5048     {
5049         STRLEN len, ulen;
5050         const U8 *s = (U8*)SvPV_const(sv, len);
5051         MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : 0;
5052
5053         if (mg && mg->mg_len != -1 && (mg->mg_len > 0 || len == 0)) {
5054             ulen = mg->mg_len;
5055 #ifdef PERL_UTF8_CACHE_ASSERT
5056             assert(ulen == Perl_utf8_length(aTHX_ s, s + len));
5057 #endif
5058         }
5059         else {
5060             ulen = Perl_utf8_length(aTHX_ s, s + len);
5061             if (!mg && !SvREADONLY(sv)) {
5062                 sv_magic(sv, 0, PERL_MAGIC_utf8, 0, 0);
5063                 mg = mg_find(sv, PERL_MAGIC_utf8);
5064                 assert(mg);
5065             }
5066             if (mg)
5067                 mg->mg_len = ulen;
5068         }
5069         return ulen;
5070     }
5071 }
5072
5073 /* S_utf8_mg_pos_init() is used to initialize the mg_ptr field of
5074  * a PERL_UTF8_magic.  The mg_ptr is used to store the mapping
5075  * between UTF-8 and byte offsets.  There are two (substr offset and substr
5076  * length, the i offset, PERL_MAGIC_UTF8_CACHESIZE) times two (UTF-8 offset
5077  * and byte offset) cache positions.
5078  *
5079  * The mg_len field is used by sv_len_utf8(), see its comments.
5080  * Note that the mg_len is not the length of the mg_ptr field.
5081  *
5082  */
5083 STATIC bool
5084 S_utf8_mg_pos_init(pTHX_ SV *sv, MAGIC **mgp, STRLEN **cachep, I32 i,
5085                    I32 offsetp, const U8 *s, const U8 *start)
5086 {
5087     bool found = FALSE;
5088
5089     if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5090         if (!*mgp)
5091             *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0, 0);
5092         assert(*mgp);
5093
5094         if ((*mgp)->mg_ptr)
5095             *cachep = (STRLEN *) (*mgp)->mg_ptr;
5096         else {
5097             Newxz(*cachep, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5098             (*mgp)->mg_ptr = (char *) *cachep;
5099         }
5100         assert(*cachep);
5101
5102         (*cachep)[i]   = offsetp;
5103         (*cachep)[i+1] = s - start;
5104         found = TRUE;
5105     }
5106
5107     return found;
5108 }
5109
5110 /*
5111  * S_utf8_mg_pos() is used to query and update mg_ptr field of
5112  * a PERL_UTF8_magic.  The mg_ptr is used to store the mapping
5113  * between UTF-8 and byte offsets.  See also the comments of
5114  * S_utf8_mg_pos_init().
5115  *
5116  */
5117 STATIC bool
5118 S_utf8_mg_pos(pTHX_ SV *sv, MAGIC **mgp, STRLEN **cachep, I32 i, I32 *offsetp, I32 uoff, const U8 **sp, const U8 *start, const U8 *send)
5119 {
5120     bool found = FALSE;
5121
5122     if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5123         if (!*mgp)
5124             *mgp = mg_find(sv, PERL_MAGIC_utf8);
5125         if (*mgp && (*mgp)->mg_ptr) {
5126             *cachep = (STRLEN *) (*mgp)->mg_ptr;
5127             ASSERT_UTF8_CACHE(*cachep);
5128             if ((*cachep)[i] == (STRLEN)uoff)   /* An exact match. */
5129                  found = TRUE;
5130             else {                      /* We will skip to the right spot. */
5131                  STRLEN forw  = 0;
5132                  STRLEN backw = 0;
5133                  const U8* p = NULL;
5134
5135                  /* The assumption is that going backward is half
5136                   * the speed of going forward (that's where the
5137                   * 2 * backw in the below comes from).  (The real
5138                   * figure of course depends on the UTF-8 data.) */
5139
5140                  if ((*cachep)[i] > (STRLEN)uoff) {
5141                       forw  = uoff;
5142                       backw = (*cachep)[i] - (STRLEN)uoff;
5143
5144                       if (forw < 2 * backw)
5145                            p = start;
5146                       else
5147                            p = start + (*cachep)[i+1];
5148                  }
5149                  /* Try this only for the substr offset (i == 0),
5150                   * not for the substr length (i == 2). */
5151                  else if (i == 0) { /* (*cachep)[i] < uoff */
5152                       const STRLEN ulen = sv_len_utf8(sv);
5153
5154                       if ((STRLEN)uoff < ulen) {
5155                            forw  = (STRLEN)uoff - (*cachep)[i];
5156                            backw = ulen - (STRLEN)uoff;
5157
5158                            if (forw < 2 * backw)
5159                                 p = start + (*cachep)[i+1];
5160                            else
5161                                 p = send;
5162                       }
5163
5164                       /* If the string is not long enough for uoff,
5165                        * we could extend it, but not at this low a level. */
5166                  }
5167
5168                  if (p) {
5169                       if (forw < 2 * backw) {
5170                            while (forw--)
5171                                 p += UTF8SKIP(p);
5172                       }
5173                       else {
5174                            while (backw--) {
5175                                 p--;
5176                                 while (UTF8_IS_CONTINUATION(*p))
5177                                      p--;
5178                            }
5179                       }
5180
5181                       /* Update the cache. */
5182                       (*cachep)[i]   = (STRLEN)uoff;
5183                       (*cachep)[i+1] = p - start;
5184
5185                       /* Drop the stale "length" cache */
5186                       if (i == 0) {
5187                           (*cachep)[2] = 0;
5188                           (*cachep)[3] = 0;
5189                       }
5190
5191                       found = TRUE;
5192                  }
5193             }
5194             if (found) {        /* Setup the return values. */
5195                  *offsetp = (*cachep)[i+1];
5196                  *sp = start + *offsetp;
5197                  if (*sp >= send) {
5198                       *sp = send;
5199                       *offsetp = send - start;
5200                  }
5201                  else if (*sp < start) {
5202                       *sp = start;
5203                       *offsetp = 0;
5204                  }
5205             }
5206         }
5207 #ifdef PERL_UTF8_CACHE_ASSERT
5208         if (found) {
5209              U8 *s = start;
5210              I32 n = uoff;
5211
5212              while (n-- && s < send)
5213                   s += UTF8SKIP(s);
5214
5215              if (i == 0) {
5216                   assert(*offsetp == s - start);
5217                   assert((*cachep)[0] == (STRLEN)uoff);
5218                   assert((*cachep)[1] == *offsetp);
5219              }
5220              ASSERT_UTF8_CACHE(*cachep);
5221         }
5222 #endif
5223     }
5224
5225     return found;
5226 }
5227
5228 /*
5229 =for apidoc sv_pos_u2b
5230
5231 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5232 the start of the string, to a count of the equivalent number of bytes; if
5233 lenp is non-zero, it does the same to lenp, but this time starting from
5234 the offset, rather than from the start of the string. Handles magic and
5235 type coercion.
5236
5237 =cut
5238 */
5239
5240 /*
5241  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5242  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5243  * byte offsets.  See also the comments of S_utf8_mg_pos().
5244  *
5245  */
5246
5247 void
5248 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5249 {
5250     const U8 *start;
5251     STRLEN len;
5252
5253     if (!sv)
5254         return;
5255
5256     start = (U8*)SvPV_const(sv, len);
5257     if (len) {
5258         STRLEN boffset = 0;
5259         STRLEN *cache = NULL;
5260         const U8 *s = start;
5261         I32 uoffset = *offsetp;
5262         const U8 * const send = s + len;
5263         MAGIC *mg = NULL;
5264         bool found = utf8_mg_pos(sv, &mg, &cache, 0, offsetp, *offsetp, &s, start, send);
5265
5266          if (!found && uoffset > 0) {
5267               while (s < send && uoffset--)
5268                    s += UTF8SKIP(s);
5269               if (s >= send)
5270                    s = send;
5271               if (utf8_mg_pos_init(sv, &mg, &cache, 0, *offsetp, s, start))
5272                   boffset = cache[1];
5273               *offsetp = s - start;
5274          }
5275          if (lenp) {
5276               found = FALSE;
5277               start = s;
5278               if (utf8_mg_pos(sv, &mg, &cache, 2, lenp, *lenp, &s, start, send)) {
5279                   *lenp -= boffset;
5280                   found = TRUE;
5281               }
5282               if (!found && *lenp > 0) {
5283                    I32 ulen = *lenp;
5284                    if (ulen > 0)
5285                         while (s < send && ulen--)
5286                              s += UTF8SKIP(s);
5287                    if (s >= send)
5288                         s = send;
5289                    utf8_mg_pos_init(sv, &mg, &cache, 2, *lenp, s, start);
5290               }
5291               *lenp = s - start;
5292          }
5293          ASSERT_UTF8_CACHE(cache);
5294     }
5295     else {
5296          *offsetp = 0;
5297          if (lenp)
5298               *lenp = 0;
5299     }
5300
5301     return;
5302 }
5303
5304 /*
5305 =for apidoc sv_pos_b2u
5306
5307 Converts the value pointed to by offsetp from a count of bytes from the
5308 start of the string, to a count of the equivalent number of UTF-8 chars.
5309 Handles magic and type coercion.
5310
5311 =cut
5312 */
5313
5314 /*
5315  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5316  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5317  * byte offsets.  See also the comments of S_utf8_mg_pos().
5318  *
5319  */
5320
5321 void
5322 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5323 {
5324     const U8* s;
5325     STRLEN len;
5326
5327     if (!sv)
5328         return;
5329
5330     s = (const U8*)SvPV_const(sv, len);
5331     if ((I32)len < *offsetp)
5332         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5333     else {
5334         const U8* send = s + *offsetp;
5335         MAGIC* mg = NULL;
5336         STRLEN *cache = NULL;
5337
5338         len = 0;
5339
5340         if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5341             mg = mg_find(sv, PERL_MAGIC_utf8);
5342             if (mg && mg->mg_ptr) {
5343                 cache = (STRLEN *) mg->mg_ptr;
5344                 if (cache[1] == (STRLEN)*offsetp) {
5345                     /* An exact match. */
5346                     *offsetp = cache[0];
5347
5348                     return;
5349                 }
5350                 else if (cache[1] < (STRLEN)*offsetp) {
5351                     /* We already know part of the way. */
5352                     len = cache[0];
5353                     s  += cache[1];
5354                     /* Let the below loop do the rest. */
5355                 }
5356                 else { /* cache[1] > *offsetp */
5357                     /* We already know all of the way, now we may
5358                      * be able to walk back.  The same assumption
5359                      * is made as in S_utf8_mg_pos(), namely that
5360                      * walking backward is twice slower than
5361                      * walking forward. */
5362                     const STRLEN forw  = *offsetp;
5363                     STRLEN backw = cache[1] - *offsetp;
5364
5365                     if (!(forw < 2 * backw)) {
5366                         const U8 *p = s + cache[1];
5367                         STRLEN ubackw = 0;
5368                         
5369                         cache[1] -= backw;
5370
5371                         while (backw--) {
5372                             p--;
5373                             while (UTF8_IS_CONTINUATION(*p)) {
5374                                 p--;
5375                                 backw--;
5376                             }
5377                             ubackw++;
5378                         }
5379
5380                         cache[0] -= ubackw;
5381                         *offsetp = cache[0];
5382
5383                         /* Drop the stale "length" cache */
5384                         cache[2] = 0;
5385                         cache[3] = 0;
5386
5387                         return;
5388                     }
5389                 }
5390             }
5391             ASSERT_UTF8_CACHE(cache);
5392         }
5393
5394         while (s < send) {
5395             STRLEN n = 1;
5396
5397             /* Call utf8n_to_uvchr() to validate the sequence
5398              * (unless a simple non-UTF character) */
5399             if (!UTF8_IS_INVARIANT(*s))
5400                 utf8n_to_uvchr(s, UTF8SKIP(s), &n, 0);
5401             if (n > 0) {
5402                 s += n;
5403                 len++;
5404             }
5405             else
5406                 break;
5407         }
5408
5409         if (!SvREADONLY(sv)) {
5410             if (!mg) {
5411                 sv_magic(sv, 0, PERL_MAGIC_utf8, 0, 0);
5412                 mg = mg_find(sv, PERL_MAGIC_utf8);
5413             }
5414             assert(mg);
5415
5416             if (!mg->mg_ptr) {
5417                 Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5418                 mg->mg_ptr = (char *) cache;
5419             }
5420             assert(cache);
5421
5422             cache[0] = len;
5423             cache[1] = *offsetp;
5424             /* Drop the stale "length" cache */
5425             cache[2] = 0;
5426             cache[3] = 0;
5427         }
5428
5429         *offsetp = len;
5430     }
5431     return;
5432 }
5433
5434 /*
5435 =for apidoc sv_eq
5436
5437 Returns a boolean indicating whether the strings in the two SVs are
5438 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5439 coerce its args to strings if necessary.
5440
5441 =cut
5442 */
5443
5444 I32
5445 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5446 {
5447     dVAR;
5448     const char *pv1;
5449     STRLEN cur1;
5450     const char *pv2;
5451     STRLEN cur2;
5452     I32  eq     = 0;
5453     char *tpv   = Nullch;
5454     SV* svrecode = Nullsv;
5455
5456     if (!sv1) {
5457         pv1 = "";
5458         cur1 = 0;
5459     }
5460     else
5461         pv1 = SvPV_const(sv1, cur1);
5462
5463     if (!sv2){
5464         pv2 = "";
5465         cur2 = 0;
5466     }
5467     else
5468         pv2 = SvPV_const(sv2, cur2);
5469
5470     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5471         /* Differing utf8ness.
5472          * Do not UTF8size the comparands as a side-effect. */
5473          if (PL_encoding) {
5474               if (SvUTF8(sv1)) {
5475                    svrecode = newSVpvn(pv2, cur2);
5476                    sv_recode_to_utf8(svrecode, PL_encoding);
5477                    pv2 = SvPV_const(svrecode, cur2);
5478               }
5479               else {
5480                    svrecode = newSVpvn(pv1, cur1);
5481                    sv_recode_to_utf8(svrecode, PL_encoding);
5482                    pv1 = SvPV_const(svrecode, cur1);
5483               }
5484               /* Now both are in UTF-8. */
5485               if (cur1 != cur2) {
5486                    SvREFCNT_dec(svrecode);
5487                    return FALSE;
5488               }
5489          }
5490          else {
5491               bool is_utf8 = TRUE;
5492
5493               if (SvUTF8(sv1)) {
5494                    /* sv1 is the UTF-8 one,
5495                     * if is equal it must be downgrade-able */
5496                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
5497                                                      &cur1, &is_utf8);
5498                    if (pv != pv1)
5499                         pv1 = tpv = pv;
5500               }
5501               else {
5502                    /* sv2 is the UTF-8 one,
5503                     * if is equal it must be downgrade-able */
5504                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
5505                                                       &cur2, &is_utf8);
5506                    if (pv != pv2)
5507                         pv2 = tpv = pv;
5508               }
5509               if (is_utf8) {
5510                    /* Downgrade not possible - cannot be eq */
5511                    assert (tpv == 0);
5512                    return FALSE;
5513               }
5514          }
5515     }
5516
5517     if (cur1 == cur2)
5518         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
5519         
5520     if (svrecode)
5521          SvREFCNT_dec(svrecode);
5522
5523     if (tpv)
5524         Safefree(tpv);
5525
5526     return eq;
5527 }
5528
5529 /*
5530 =for apidoc sv_cmp
5531
5532 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
5533 string in C<sv1> is less than, equal to, or greater than the string in
5534 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5535 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
5536
5537 =cut
5538 */
5539
5540 I32
5541 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
5542 {
5543     dVAR;
5544     STRLEN cur1, cur2;
5545     const char *pv1, *pv2;
5546     char *tpv = Nullch;
5547     I32  cmp;
5548     SV *svrecode = Nullsv;
5549
5550     if (!sv1) {
5551         pv1 = "";
5552         cur1 = 0;
5553     }
5554     else
5555         pv1 = SvPV_const(sv1, cur1);
5556
5557     if (!sv2) {
5558         pv2 = "";
5559         cur2 = 0;
5560     }
5561     else
5562         pv2 = SvPV_const(sv2, cur2);
5563
5564     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5565         /* Differing utf8ness.
5566          * Do not UTF8size the comparands as a side-effect. */
5567         if (SvUTF8(sv1)) {
5568             if (PL_encoding) {
5569                  svrecode = newSVpvn(pv2, cur2);
5570                  sv_recode_to_utf8(svrecode, PL_encoding);
5571                  pv2 = SvPV_const(svrecode, cur2);
5572             }
5573             else {
5574                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
5575             }
5576         }
5577         else {
5578             if (PL_encoding) {
5579                  svrecode = newSVpvn(pv1, cur1);
5580                  sv_recode_to_utf8(svrecode, PL_encoding);
5581                  pv1 = SvPV_const(svrecode, cur1);
5582             }
5583             else {
5584                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
5585             }
5586         }
5587     }
5588
5589     if (!cur1) {
5590         cmp = cur2 ? -1 : 0;
5591     } else if (!cur2) {
5592         cmp = 1;
5593     } else {
5594         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
5595
5596         if (retval) {
5597             cmp = retval < 0 ? -1 : 1;
5598         } else if (cur1 == cur2) {
5599             cmp = 0;
5600         } else {
5601             cmp = cur1 < cur2 ? -1 : 1;
5602         }
5603     }
5604
5605     if (svrecode)
5606          SvREFCNT_dec(svrecode);
5607
5608     if (tpv)
5609         Safefree(tpv);
5610
5611     return cmp;
5612 }
5613
5614 /*
5615 =for apidoc sv_cmp_locale
5616
5617 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
5618 'use bytes' aware, handles get magic, and will coerce its args to strings
5619 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
5620
5621 =cut
5622 */
5623
5624 I32
5625 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
5626 {
5627     dVAR;
5628 #ifdef USE_LOCALE_COLLATE
5629
5630     char *pv1, *pv2;
5631     STRLEN len1, len2;
5632     I32 retval;
5633
5634     if (PL_collation_standard)
5635         goto raw_compare;
5636
5637     len1 = 0;
5638     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
5639     len2 = 0;
5640     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
5641
5642     if (!pv1 || !len1) {
5643         if (pv2 && len2)
5644             return -1;
5645         else
5646             goto raw_compare;
5647     }
5648     else {
5649         if (!pv2 || !len2)
5650             return 1;
5651     }
5652
5653     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
5654
5655     if (retval)
5656         return retval < 0 ? -1 : 1;
5657
5658     /*
5659      * When the result of collation is equality, that doesn't mean
5660      * that there are no differences -- some locales exclude some
5661      * characters from consideration.  So to avoid false equalities,
5662      * we use the raw string as a tiebreaker.
5663      */
5664
5665   raw_compare:
5666     /* FALL THROUGH */
5667
5668 #endif /* USE_LOCALE_COLLATE */
5669
5670     return sv_cmp(sv1, sv2);
5671 }
5672
5673
5674 #ifdef USE_LOCALE_COLLATE
5675
5676 /*
5677 =for apidoc sv_collxfrm
5678
5679 Add Collate Transform magic to an SV if it doesn't already have it.
5680
5681 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
5682 scalar data of the variable, but transformed to such a format that a normal
5683 memory comparison can be used to compare the data according to the locale
5684 settings.
5685
5686 =cut
5687 */
5688
5689 char *
5690 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
5691 {
5692     dVAR;
5693     MAGIC *mg;
5694
5695     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
5696     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
5697         const char *s;
5698         char *xf;
5699         STRLEN len, xlen;
5700
5701         if (mg)
5702             Safefree(mg->mg_ptr);
5703         s = SvPV_const(sv, len);
5704         if ((xf = mem_collxfrm(s, len, &xlen))) {
5705             if (SvREADONLY(sv)) {
5706                 SAVEFREEPV(xf);
5707                 *nxp = xlen;
5708                 return xf + sizeof(PL_collation_ix);
5709             }
5710             if (! mg) {
5711                 sv_magic(sv, 0, PERL_MAGIC_collxfrm, 0, 0);
5712                 mg = mg_find(sv, PERL_MAGIC_collxfrm);
5713                 assert(mg);
5714             }
5715             mg->mg_ptr = xf;
5716             mg->mg_len = xlen;
5717         }
5718         else {
5719             if (mg) {
5720                 mg->mg_ptr = NULL;
5721                 mg->mg_len = -1;
5722             }
5723         }
5724     }
5725     if (mg && mg->mg_ptr) {
5726         *nxp = mg->mg_len;
5727         return mg->mg_ptr + sizeof(PL_collation_ix);
5728     }
5729     else {
5730         *nxp = 0;
5731         return NULL;
5732     }
5733 }
5734
5735 #endif /* USE_LOCALE_COLLATE */
5736
5737 /*
5738 =for apidoc sv_gets
5739
5740 Get a line from the filehandle and store it into the SV, optionally
5741 appending to the currently-stored string.
5742
5743 =cut
5744 */
5745
5746 char *
5747 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
5748 {
5749     dVAR;
5750     const char *rsptr;
5751     STRLEN rslen;
5752     register STDCHAR rslast;
5753     register STDCHAR *bp;
5754     register I32 cnt;
5755     I32 i = 0;
5756     I32 rspara = 0;
5757     I32 recsize;
5758
5759     if (SvTHINKFIRST(sv))
5760         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
5761     /* XXX. If you make this PVIV, then copy on write can copy scalars read
5762        from <>.
5763        However, perlbench says it's slower, because the existing swipe code
5764        is faster than copy on write.
5765        Swings and roundabouts.  */
5766     SvUPGRADE(sv, SVt_PV);
5767
5768     SvSCREAM_off(sv);
5769
5770     if (append) {
5771         if (PerlIO_isutf8(fp)) {
5772             if (!SvUTF8(sv)) {
5773                 sv_utf8_upgrade_nomg(sv);
5774                 sv_pos_u2b(sv,&append,0);
5775             }
5776         } else if (SvUTF8(sv)) {
5777             SV * const tsv = newSV(0);
5778             sv_gets(tsv, fp, 0);
5779             sv_utf8_upgrade_nomg(tsv);
5780             SvCUR_set(sv,append);
5781             sv_catsv(sv,tsv);
5782             sv_free(tsv);
5783             goto return_string_or_null;
5784         }
5785     }
5786
5787     SvPOK_only(sv);
5788     if (PerlIO_isutf8(fp))
5789         SvUTF8_on(sv);
5790
5791     if (IN_PERL_COMPILETIME) {
5792         /* we always read code in line mode */
5793         rsptr = "\n";
5794         rslen = 1;
5795     }
5796     else if (RsSNARF(PL_rs)) {
5797         /* If it is a regular disk file use size from stat() as estimate
5798            of amount we are going to read - may result in malloc-ing
5799            more memory than we realy need if layers bellow reduce
5800            size we read (e.g. CRLF or a gzip layer)
5801          */
5802         Stat_t st;
5803         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
5804             const Off_t offset = PerlIO_tell(fp);
5805             if (offset != (Off_t) -1 && st.st_size + append > offset) {
5806                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
5807             }
5808         }
5809         rsptr = NULL;
5810         rslen = 0;
5811     }
5812     else if (RsRECORD(PL_rs)) {
5813       I32 bytesread;
5814       char *buffer;
5815
5816       /* Grab the size of the record we're getting */
5817       recsize = SvIV(SvRV(PL_rs));
5818       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
5819       /* Go yank in */
5820 #ifdef VMS
5821       /* VMS wants read instead of fread, because fread doesn't respect */
5822       /* RMS record boundaries. This is not necessarily a good thing to be */
5823       /* doing, but we've got no other real choice - except avoid stdio
5824          as implementation - perhaps write a :vms layer ?
5825        */
5826       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
5827 #else
5828       bytesread = PerlIO_read(fp, buffer, recsize);
5829 #endif
5830       if (bytesread < 0)
5831           bytesread = 0;
5832       SvCUR_set(sv, bytesread += append);
5833       buffer[bytesread] = '\0';
5834       goto return_string_or_null;
5835     }
5836     else if (RsPARA(PL_rs)) {
5837         rsptr = "\n\n";
5838         rslen = 2;
5839         rspara = 1;
5840     }
5841     else {
5842         /* Get $/ i.e. PL_rs into same encoding as stream wants */
5843         if (PerlIO_isutf8(fp)) {
5844             rsptr = SvPVutf8(PL_rs, rslen);
5845         }
5846         else {
5847             if (SvUTF8(PL_rs)) {
5848                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
5849                     Perl_croak(aTHX_ "Wide character in $/");
5850                 }
5851             }
5852             rsptr = SvPV_const(PL_rs, rslen);
5853         }
5854     }
5855
5856     rslast = rslen ? rsptr[rslen - 1] : '\0';
5857
5858     if (rspara) {               /* have to do this both before and after */
5859         do {                    /* to make sure file boundaries work right */
5860             if (PerlIO_eof(fp))
5861                 return 0;
5862             i = PerlIO_getc(fp);
5863             if (i != '\n') {
5864                 if (i == -1)
5865                     return 0;
5866                 PerlIO_ungetc(fp,i);
5867                 break;
5868             }
5869         } while (i != EOF);
5870     }
5871
5872     /* See if we know enough about I/O mechanism to cheat it ! */
5873
5874     /* This used to be #ifdef test - it is made run-time test for ease
5875        of abstracting out stdio interface. One call should be cheap
5876        enough here - and may even be a macro allowing compile
5877        time optimization.
5878      */
5879
5880     if (PerlIO_fast_gets(fp)) {
5881
5882     /*
5883      * We're going to steal some values from the stdio struct
5884      * and put EVERYTHING in the innermost loop into registers.
5885      */
5886     register STDCHAR *ptr;
5887     STRLEN bpx;
5888     I32 shortbuffered;
5889
5890 #if defined(VMS) && defined(PERLIO_IS_STDIO)
5891     /* An ungetc()d char is handled separately from the regular
5892      * buffer, so we getc() it back out and stuff it in the buffer.
5893      */
5894     i = PerlIO_getc(fp);
5895     if (i == EOF) return 0;
5896     *(--((*fp)->_ptr)) = (unsigned char) i;
5897     (*fp)->_cnt++;
5898 #endif
5899
5900     /* Here is some breathtakingly efficient cheating */
5901
5902     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
5903     /* make sure we have the room */
5904     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
5905         /* Not room for all of it
5906            if we are looking for a separator and room for some
5907          */
5908         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
5909             /* just process what we have room for */
5910             shortbuffered = cnt - SvLEN(sv) + append + 1;
5911             cnt -= shortbuffered;
5912         }
5913         else {
5914             shortbuffered = 0;
5915             /* remember that cnt can be negative */
5916             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
5917         }
5918     }
5919     else
5920         shortbuffered = 0;
5921     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
5922     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
5923     DEBUG_P(PerlIO_printf(Perl_debug_log,
5924         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
5925     DEBUG_P(PerlIO_printf(Perl_debug_log,
5926         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5927                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5928                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
5929     for (;;) {
5930       screamer:
5931         if (cnt > 0) {
5932             if (rslen) {
5933                 while (cnt > 0) {                    /* this     |  eat */
5934                     cnt--;
5935                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
5936                         goto thats_all_folks;        /* screams  |  sed :-) */
5937                 }
5938             }
5939             else {
5940                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
5941                 bp += cnt;                           /* screams  |  dust */
5942                 ptr += cnt;                          /* louder   |  sed :-) */
5943                 cnt = 0;
5944             }
5945         }
5946         
5947         if (shortbuffered) {            /* oh well, must extend */
5948             cnt = shortbuffered;
5949             shortbuffered = 0;
5950             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
5951             SvCUR_set(sv, bpx);
5952             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
5953             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
5954             continue;
5955         }
5956
5957         DEBUG_P(PerlIO_printf(Perl_debug_log,
5958                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
5959                               PTR2UV(ptr),(long)cnt));
5960         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
5961 #if 0
5962         DEBUG_P(PerlIO_printf(Perl_debug_log,
5963             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5964             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5965             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
5966 #endif
5967         /* This used to call 'filbuf' in stdio form, but as that behaves like
5968            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
5969            another abstraction.  */
5970         i   = PerlIO_getc(fp);          /* get more characters */
5971 #if 0
5972         DEBUG_P(PerlIO_printf(Perl_debug_log,
5973             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5974             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5975             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
5976 #endif
5977         cnt = PerlIO_get_cnt(fp);
5978         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
5979         DEBUG_P(PerlIO_printf(Perl_debug_log,
5980             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
5981
5982         if (i == EOF)                   /* all done for ever? */
5983             goto thats_really_all_folks;
5984
5985         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
5986         SvCUR_set(sv, bpx);
5987         SvGROW(sv, bpx + cnt + 2);
5988         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
5989
5990         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
5991
5992         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
5993             goto thats_all_folks;
5994     }
5995
5996 thats_all_folks:
5997     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
5998           memNE((char*)bp - rslen, rsptr, rslen))
5999         goto screamer;                          /* go back to the fray */
6000 thats_really_all_folks:
6001     if (shortbuffered)
6002         cnt += shortbuffered;
6003         DEBUG_P(PerlIO_printf(Perl_debug_log,
6004             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6005     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6006     DEBUG_P(PerlIO_printf(Perl_debug_log,
6007         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6008         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6009         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6010     *bp = '\0';
6011     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6012     DEBUG_P(PerlIO_printf(Perl_debug_log,
6013         "Screamer: done, len=%ld, string=|%.*s|\n",
6014         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6015     }
6016    else
6017     {
6018        /*The big, slow, and stupid way. */
6019 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6020         STDCHAR *buf = NULL;
6021         Newx(buf, 8192, STDCHAR);
6022         assert(buf);
6023 #else
6024         STDCHAR buf[8192];
6025 #endif
6026
6027 screamer2:
6028         if (rslen) {
6029             register const STDCHAR * const bpe = buf + sizeof(buf);
6030             bp = buf;
6031             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6032                 ; /* keep reading */
6033             cnt = bp - buf;
6034         }
6035         else {
6036             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6037             /* Accomodate broken VAXC compiler, which applies U8 cast to
6038              * both args of ?: operator, causing EOF to change into 255
6039              */
6040             if (cnt > 0)
6041                  i = (U8)buf[cnt - 1];
6042             else
6043                  i = EOF;
6044         }
6045
6046         if (cnt < 0)
6047             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6048         if (append)
6049              sv_catpvn(sv, (char *) buf, cnt);
6050         else
6051              sv_setpvn(sv, (char *) buf, cnt);
6052
6053         if (i != EOF &&                 /* joy */
6054             (!rslen ||
6055              SvCUR(sv) < rslen ||
6056              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6057         {
6058             append = -1;
6059             /*
6060              * If we're reading from a TTY and we get a short read,
6061              * indicating that the user hit his EOF character, we need
6062              * to notice it now, because if we try to read from the TTY
6063              * again, the EOF condition will disappear.
6064              *
6065              * The comparison of cnt to sizeof(buf) is an optimization
6066              * that prevents unnecessary calls to feof().
6067              *
6068              * - jik 9/25/96
6069              */
6070             if (!(cnt < sizeof(buf) && PerlIO_eof(fp)))
6071                 goto screamer2;
6072         }
6073
6074 #ifdef USE_HEAP_INSTEAD_OF_STACK
6075         Safefree(buf);
6076 #endif
6077     }
6078
6079     if (rspara) {               /* have to do this both before and after */
6080         while (i != EOF) {      /* to make sure file boundaries work right */
6081             i = PerlIO_getc(fp);
6082             if (i != '\n') {
6083                 PerlIO_ungetc(fp,i);
6084                 break;
6085             }
6086         }
6087     }
6088
6089 return_string_or_null:
6090     return (SvCUR(sv) - append) ? SvPVX(sv) : Nullch;
6091 }
6092
6093 /*
6094 =for apidoc sv_inc
6095
6096 Auto-increment of the value in the SV, doing string to numeric conversion
6097 if necessary. Handles 'get' magic.
6098
6099 =cut
6100 */
6101
6102 void
6103 Perl_sv_inc(pTHX_ register SV *sv)
6104 {
6105     dVAR;
6106     register char *d;
6107     int flags;
6108
6109     if (!sv)
6110         return;
6111     SvGETMAGIC(sv);
6112     if (SvTHINKFIRST(sv)) {
6113         if (SvIsCOW(sv))
6114             sv_force_normal_flags(sv, 0);
6115         if (SvREADONLY(sv)) {
6116             if (IN_PERL_RUNTIME)
6117                 Perl_croak(aTHX_ PL_no_modify);
6118         }
6119         if (SvROK(sv)) {
6120             IV i;
6121             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6122                 return;
6123             i = PTR2IV(SvRV(sv));
6124             sv_unref(sv);
6125             sv_setiv(sv, i);
6126         }
6127     }
6128     flags = SvFLAGS(sv);
6129     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6130         /* It's (privately or publicly) a float, but not tested as an
6131            integer, so test it to see. */
6132         (void) SvIV(sv);
6133         flags = SvFLAGS(sv);
6134     }
6135     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6136         /* It's publicly an integer, or privately an integer-not-float */
6137 #ifdef PERL_PRESERVE_IVUV
6138       oops_its_int:
6139 #endif
6140         if (SvIsUV(sv)) {
6141             if (SvUVX(sv) == UV_MAX)
6142                 sv_setnv(sv, UV_MAX_P1);
6143             else
6144                 (void)SvIOK_only_UV(sv);
6145                 SvUV_set(sv, SvUVX(sv) + 1);
6146         } else {
6147             if (SvIVX(sv) == IV_MAX)
6148                 sv_setuv(sv, (UV)IV_MAX + 1);
6149             else {
6150                 (void)SvIOK_only(sv);
6151                 SvIV_set(sv, SvIVX(sv) + 1);
6152             }   
6153         }
6154         return;
6155     }
6156     if (flags & SVp_NOK) {
6157         (void)SvNOK_only(sv);
6158         SvNV_set(sv, SvNVX(sv) + 1.0);
6159         return;
6160     }
6161
6162     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6163         if ((flags & SVTYPEMASK) < SVt_PVIV)
6164             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6165         (void)SvIOK_only(sv);
6166         SvIV_set(sv, 1);
6167         return;
6168     }
6169     d = SvPVX(sv);
6170     while (isALPHA(*d)) d++;
6171     while (isDIGIT(*d)) d++;
6172     if (*d) {
6173 #ifdef PERL_PRESERVE_IVUV
6174         /* Got to punt this as an integer if needs be, but we don't issue
6175            warnings. Probably ought to make the sv_iv_please() that does
6176            the conversion if possible, and silently.  */
6177         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6178         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6179             /* Need to try really hard to see if it's an integer.
6180                9.22337203685478e+18 is an integer.
6181                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6182                so $a="9.22337203685478e+18"; $a+0; $a++
6183                needs to be the same as $a="9.22337203685478e+18"; $a++
6184                or we go insane. */
6185         
6186             (void) sv_2iv(sv);
6187             if (SvIOK(sv))
6188                 goto oops_its_int;
6189
6190             /* sv_2iv *should* have made this an NV */
6191             if (flags & SVp_NOK) {
6192                 (void)SvNOK_only(sv);
6193                 SvNV_set(sv, SvNVX(sv) + 1.0);
6194                 return;
6195             }
6196             /* I don't think we can get here. Maybe I should assert this
6197                And if we do get here I suspect that sv_setnv will croak. NWC
6198                Fall through. */
6199 #if defined(USE_LONG_DOUBLE)
6200             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6201                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6202 #else
6203             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6204                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6205 #endif
6206         }
6207 #endif /* PERL_PRESERVE_IVUV */
6208         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6209         return;
6210     }
6211     d--;
6212     while (d >= SvPVX_const(sv)) {
6213         if (isDIGIT(*d)) {
6214             if (++*d <= '9')
6215                 return;
6216             *(d--) = '0';
6217         }
6218         else {
6219 #ifdef EBCDIC
6220             /* MKS: The original code here died if letters weren't consecutive.
6221              * at least it didn't have to worry about non-C locales.  The
6222              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6223              * arranged in order (although not consecutively) and that only
6224              * [A-Za-z] are accepted by isALPHA in the C locale.
6225              */
6226             if (*d != 'z' && *d != 'Z') {
6227                 do { ++*d; } while (!isALPHA(*d));
6228                 return;
6229             }
6230             *(d--) -= 'z' - 'a';
6231 #else
6232             ++*d;
6233             if (isALPHA(*d))
6234                 return;
6235             *(d--) -= 'z' - 'a' + 1;
6236 #endif
6237         }
6238     }
6239     /* oh,oh, the number grew */
6240     SvGROW(sv, SvCUR(sv) + 2);
6241     SvCUR_set(sv, SvCUR(sv) + 1);
6242     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6243         *d = d[-1];
6244     if (isDIGIT(d[1]))
6245         *d = '1';
6246     else
6247         *d = d[1];
6248 }
6249
6250 /*
6251 =for apidoc sv_dec
6252
6253 Auto-decrement of the value in the SV, doing string to numeric conversion
6254 if necessary. Handles 'get' magic.
6255
6256 =cut
6257 */
6258
6259 void
6260 Perl_sv_dec(pTHX_ register SV *sv)
6261 {
6262     dVAR;
6263     int flags;
6264
6265     if (!sv)
6266         return;
6267     SvGETMAGIC(sv);
6268     if (SvTHINKFIRST(sv)) {
6269         if (SvIsCOW(sv))
6270             sv_force_normal_flags(sv, 0);
6271         if (SvREADONLY(sv)) {
6272             if (IN_PERL_RUNTIME)
6273                 Perl_croak(aTHX_ PL_no_modify);
6274         }
6275         if (SvROK(sv)) {
6276             IV i;
6277             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6278                 return;
6279             i = PTR2IV(SvRV(sv));
6280             sv_unref(sv);
6281             sv_setiv(sv, i);
6282         }
6283     }
6284     /* Unlike sv_inc we don't have to worry about string-never-numbers
6285        and keeping them magic. But we mustn't warn on punting */
6286     flags = SvFLAGS(sv);
6287     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6288         /* It's publicly an integer, or privately an integer-not-float */
6289 #ifdef PERL_PRESERVE_IVUV
6290       oops_its_int:
6291 #endif
6292         if (SvIsUV(sv)) {
6293             if (SvUVX(sv) == 0) {
6294                 (void)SvIOK_only(sv);
6295                 SvIV_set(sv, -1);
6296             }
6297             else {
6298                 (void)SvIOK_only_UV(sv);
6299                 SvUV_set(sv, SvUVX(sv) - 1);
6300             }   
6301         } else {
6302             if (SvIVX(sv) == IV_MIN)
6303                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6304             else {
6305                 (void)SvIOK_only(sv);
6306                 SvIV_set(sv, SvIVX(sv) - 1);
6307             }   
6308         }
6309         return;
6310     }
6311     if (flags & SVp_NOK) {
6312         SvNV_set(sv, SvNVX(sv) - 1.0);
6313         (void)SvNOK_only(sv);
6314         return;
6315     }
6316     if (!(flags & SVp_POK)) {
6317         if ((flags & SVTYPEMASK) < SVt_PVIV)
6318             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6319         SvIV_set(sv, -1);
6320         (void)SvIOK_only(sv);
6321         return;
6322     }
6323 #ifdef PERL_PRESERVE_IVUV
6324     {
6325         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6326         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6327             /* Need to try really hard to see if it's an integer.
6328                9.22337203685478e+18 is an integer.
6329                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6330                so $a="9.22337203685478e+18"; $a+0; $a--
6331                needs to be the same as $a="9.22337203685478e+18"; $a--
6332                or we go insane. */
6333         
6334             (void) sv_2iv(sv);
6335             if (SvIOK(sv))
6336                 goto oops_its_int;
6337
6338             /* sv_2iv *should* have made this an NV */
6339             if (flags & SVp_NOK) {
6340                 (void)SvNOK_only(sv);
6341                 SvNV_set(sv, SvNVX(sv) - 1.0);
6342                 return;
6343             }
6344             /* I don't think we can get here. Maybe I should assert this
6345                And if we do get here I suspect that sv_setnv will croak. NWC
6346                Fall through. */
6347 #if defined(USE_LONG_DOUBLE)
6348             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6349                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6350 #else
6351             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6352                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6353 #endif
6354         }
6355     }
6356 #endif /* PERL_PRESERVE_IVUV */
6357     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6358 }
6359
6360 /*
6361 =for apidoc sv_mortalcopy
6362
6363 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6364 The new SV is marked as mortal. It will be destroyed "soon", either by an
6365 explicit call to FREETMPS, or by an implicit call at places such as
6366 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6367
6368 =cut
6369 */
6370
6371 /* Make a string that will exist for the duration of the expression
6372  * evaluation.  Actually, it may have to last longer than that, but
6373  * hopefully we won't free it until it has been assigned to a
6374  * permanent location. */
6375
6376 SV *
6377 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6378 {
6379     dVAR;
6380     register SV *sv;
6381
6382     new_SV(sv);
6383     sv_setsv(sv,oldstr);
6384     EXTEND_MORTAL(1);
6385     PL_tmps_stack[++PL_tmps_ix] = sv;
6386     SvTEMP_on(sv);
6387     return sv;
6388 }
6389
6390 /*
6391 =for apidoc sv_newmortal
6392
6393 Creates a new null SV which is mortal.  The reference count of the SV is
6394 set to 1. It will be destroyed "soon", either by an explicit call to
6395 FREETMPS, or by an implicit call at places such as statement boundaries.
6396 See also C<sv_mortalcopy> and C<sv_2mortal>.
6397
6398 =cut
6399 */
6400
6401 SV *
6402 Perl_sv_newmortal(pTHX)
6403 {
6404     dVAR;
6405     register SV *sv;
6406
6407     new_SV(sv);
6408     SvFLAGS(sv) = SVs_TEMP;
6409     EXTEND_MORTAL(1);
6410     PL_tmps_stack[++PL_tmps_ix] = sv;
6411     return sv;
6412 }
6413
6414 /*
6415 =for apidoc sv_2mortal
6416
6417 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6418 by an explicit call to FREETMPS, or by an implicit call at places such as
6419 statement boundaries.  SvTEMP() is turned on which means that the SV's
6420 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6421 and C<sv_mortalcopy>.
6422
6423 =cut
6424 */
6425
6426 SV *
6427 Perl_sv_2mortal(pTHX_ register SV *sv)
6428 {
6429     dVAR;
6430     if (!sv)
6431         return NULL;
6432     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6433         return sv;
6434     EXTEND_MORTAL(1);
6435     PL_tmps_stack[++PL_tmps_ix] = sv;
6436     SvTEMP_on(sv);
6437     return sv;
6438 }
6439
6440 /*
6441 =for apidoc newSVpv
6442
6443 Creates a new SV and copies a string into it.  The reference count for the
6444 SV is set to 1.  If C<len> is zero, Perl will compute the length using
6445 strlen().  For efficiency, consider using C<newSVpvn> instead.
6446
6447 =cut
6448 */
6449
6450 SV *
6451 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
6452 {
6453     dVAR;
6454     register SV *sv;
6455
6456     new_SV(sv);
6457     sv_setpvn(sv,s,len ? len : strlen(s));
6458     return sv;
6459 }
6460
6461 /*
6462 =for apidoc newSVpvn
6463
6464 Creates a new SV and copies a string into it.  The reference count for the
6465 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
6466 string.  You are responsible for ensuring that the source string is at least
6467 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
6468
6469 =cut
6470 */
6471
6472 SV *
6473 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
6474 {
6475     dVAR;
6476     register SV *sv;
6477
6478     new_SV(sv);
6479     sv_setpvn(sv,s,len);
6480     return sv;
6481 }
6482
6483
6484 /*
6485 =for apidoc newSVhek
6486
6487 Creates a new SV from the hash key structure.  It will generate scalars that
6488 point to the shared string table where possible. Returns a new (undefined)
6489 SV if the hek is NULL.
6490
6491 =cut
6492 */
6493
6494 SV *
6495 Perl_newSVhek(pTHX_ const HEK *hek)
6496 {
6497     dVAR;
6498     if (!hek) {
6499         SV *sv;
6500
6501         new_SV(sv);
6502         return sv;
6503     }
6504
6505     if (HEK_LEN(hek) == HEf_SVKEY) {
6506         return newSVsv(*(SV**)HEK_KEY(hek));
6507     } else {
6508         const int flags = HEK_FLAGS(hek);
6509         if (flags & HVhek_WASUTF8) {
6510             /* Trouble :-)
6511                Andreas would like keys he put in as utf8 to come back as utf8
6512             */
6513             STRLEN utf8_len = HEK_LEN(hek);
6514             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
6515             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
6516
6517             SvUTF8_on (sv);
6518             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
6519             return sv;
6520         } else if (flags & HVhek_REHASH) {
6521             /* We don't have a pointer to the hv, so we have to replicate the
6522                flag into every HEK. This hv is using custom a hasing
6523                algorithm. Hence we can't return a shared string scalar, as
6524                that would contain the (wrong) hash value, and might get passed
6525                into an hv routine with a regular hash  */
6526
6527             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
6528             if (HEK_UTF8(hek))
6529                 SvUTF8_on (sv);
6530             return sv;
6531         }
6532         /* This will be overwhelminly the most common case.  */
6533         return newSVpvn_share(HEK_KEY(hek),
6534                               (HEK_UTF8(hek) ? -HEK_LEN(hek) : HEK_LEN(hek)),
6535                               HEK_HASH(hek));
6536     }
6537 }
6538
6539 /*
6540 =for apidoc newSVpvn_share
6541
6542 Creates a new SV with its SvPVX_const pointing to a shared string in the string
6543 table. If the string does not already exist in the table, it is created
6544 first.  Turns on READONLY and FAKE.  The string's hash is stored in the UV
6545 slot of the SV; if the C<hash> parameter is non-zero, that value is used;
6546 otherwise the hash is computed.  The idea here is that as the string table
6547 is used for shared hash keys these strings will have SvPVX_const == HeKEY and
6548 hash lookup will avoid string compare.
6549
6550 =cut
6551 */
6552
6553 SV *
6554 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
6555 {
6556     dVAR;
6557     register SV *sv;
6558     bool is_utf8 = FALSE;
6559     if (len < 0) {
6560         STRLEN tmplen = -len;
6561         is_utf8 = TRUE;
6562         /* See the note in hv.c:hv_fetch() --jhi */
6563         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
6564         len = tmplen;
6565     }
6566     if (!hash)
6567         PERL_HASH(hash, src, len);
6568     new_SV(sv);
6569     sv_upgrade(sv, SVt_PV);
6570     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
6571     SvCUR_set(sv, len);
6572     SvLEN_set(sv, 0);
6573     SvREADONLY_on(sv);
6574     SvFAKE_on(sv);
6575     SvPOK_on(sv);
6576     if (is_utf8)
6577         SvUTF8_on(sv);
6578     return sv;
6579 }
6580
6581
6582 #if defined(PERL_IMPLICIT_CONTEXT)
6583
6584 /* pTHX_ magic can't cope with varargs, so this is a no-context
6585  * version of the main function, (which may itself be aliased to us).
6586  * Don't access this version directly.
6587  */
6588
6589 SV *
6590 Perl_newSVpvf_nocontext(const char* pat, ...)
6591 {
6592     dTHX;
6593     register SV *sv;
6594     va_list args;
6595     va_start(args, pat);
6596     sv = vnewSVpvf(pat, &args);
6597     va_end(args);
6598     return sv;
6599 }
6600 #endif
6601
6602 /*
6603 =for apidoc newSVpvf
6604
6605 Creates a new SV and initializes it with the string formatted like
6606 C<sprintf>.
6607
6608 =cut
6609 */
6610
6611 SV *
6612 Perl_newSVpvf(pTHX_ const char* pat, ...)
6613 {
6614     register SV *sv;
6615     va_list args;
6616     va_start(args, pat);
6617     sv = vnewSVpvf(pat, &args);
6618     va_end(args);
6619     return sv;
6620 }
6621
6622 /* backend for newSVpvf() and newSVpvf_nocontext() */
6623
6624 SV *
6625 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
6626 {
6627     dVAR;
6628     register SV *sv;
6629     new_SV(sv);
6630     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
6631     return sv;
6632 }
6633
6634 /*
6635 =for apidoc newSVnv
6636
6637 Creates a new SV and copies a floating point value into it.
6638 The reference count for the SV is set to 1.
6639
6640 =cut
6641 */
6642
6643 SV *
6644 Perl_newSVnv(pTHX_ NV n)
6645 {
6646     dVAR;
6647     register SV *sv;
6648
6649     new_SV(sv);
6650     sv_setnv(sv,n);
6651     return sv;
6652 }
6653
6654 /*
6655 =for apidoc newSViv
6656
6657 Creates a new SV and copies an integer into it.  The reference count for the
6658 SV is set to 1.
6659
6660 =cut
6661 */
6662
6663 SV *
6664 Perl_newSViv(pTHX_ IV i)
6665 {
6666     dVAR;
6667     register SV *sv;
6668
6669     new_SV(sv);
6670     sv_setiv(sv,i);
6671     return sv;
6672 }
6673
6674 /*
6675 =for apidoc newSVuv
6676
6677 Creates a new SV and copies an unsigned integer into it.
6678 The reference count for the SV is set to 1.
6679
6680 =cut
6681 */
6682
6683 SV *
6684 Perl_newSVuv(pTHX_ UV u)
6685 {
6686     dVAR;
6687     register SV *sv;
6688
6689     new_SV(sv);
6690     sv_setuv(sv,u);
6691     return sv;
6692 }
6693
6694 /*
6695 =for apidoc newRV_noinc
6696
6697 Creates an RV wrapper for an SV.  The reference count for the original
6698 SV is B<not> incremented.
6699
6700 =cut
6701 */
6702
6703 SV *
6704 Perl_newRV_noinc(pTHX_ SV *tmpRef)
6705 {
6706     dVAR;
6707     register SV *sv;
6708
6709     new_SV(sv);
6710     sv_upgrade(sv, SVt_RV);
6711     SvTEMP_off(tmpRef);
6712     SvRV_set(sv, tmpRef);
6713     SvROK_on(sv);
6714     return sv;
6715 }
6716
6717 /* newRV_inc is the official function name to use now.
6718  * newRV_inc is in fact #defined to newRV in sv.h
6719  */
6720
6721 SV *
6722 Perl_newRV(pTHX_ SV *tmpRef)
6723 {
6724     dVAR;
6725     return newRV_noinc(SvREFCNT_inc(tmpRef));
6726 }
6727
6728 /*
6729 =for apidoc newSVsv
6730
6731 Creates a new SV which is an exact duplicate of the original SV.
6732 (Uses C<sv_setsv>).
6733
6734 =cut
6735 */
6736
6737 SV *
6738 Perl_newSVsv(pTHX_ register SV *old)
6739 {
6740     dVAR;
6741     register SV *sv;
6742
6743     if (!old)
6744         return NULL;
6745     if (SvTYPE(old) == SVTYPEMASK) {
6746         if (ckWARN_d(WARN_INTERNAL))
6747             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
6748         return Nullsv;
6749     }
6750     new_SV(sv);
6751     /* SV_GMAGIC is the default for sv_setv()
6752        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
6753        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
6754     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
6755     return sv;
6756 }
6757
6758 /*
6759 =for apidoc sv_reset
6760
6761 Underlying implementation for the C<reset> Perl function.
6762 Note that the perl-level function is vaguely deprecated.
6763
6764 =cut
6765 */
6766
6767 void
6768 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
6769 {
6770     dVAR;
6771     char todo[PERL_UCHAR_MAX+1];
6772
6773     if (!stash)
6774         return;
6775
6776     if (!*s) {          /* reset ?? searches */
6777         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
6778         if (mg) {
6779             PMOP *pm = (PMOP *) mg->mg_obj;
6780             while (pm) {
6781                 pm->op_pmdynflags &= ~PMdf_USED;
6782                 pm = pm->op_pmnext;
6783             }
6784         }
6785         return;
6786     }
6787
6788     /* reset variables */
6789
6790     if (!HvARRAY(stash))
6791         return;
6792
6793     Zero(todo, 256, char);
6794     while (*s) {
6795         I32 max;
6796         I32 i = (unsigned char)*s;
6797         if (s[1] == '-') {
6798             s += 2;
6799         }
6800         max = (unsigned char)*s++;
6801         for ( ; i <= max; i++) {
6802             todo[i] = 1;
6803         }
6804         for (i = 0; i <= (I32) HvMAX(stash); i++) {
6805             HE *entry;
6806             for (entry = HvARRAY(stash)[i];
6807                  entry;
6808                  entry = HeNEXT(entry))
6809             {
6810                 register GV *gv;
6811                 register SV *sv;
6812
6813                 if (!todo[(U8)*HeKEY(entry)])
6814                     continue;
6815                 gv = (GV*)HeVAL(entry);
6816                 sv = GvSV(gv);
6817                 if (sv) {
6818                     if (SvTHINKFIRST(sv)) {
6819                         if (!SvREADONLY(sv) && SvROK(sv))
6820                             sv_unref(sv);
6821                         /* XXX Is this continue a bug? Why should THINKFIRST
6822                            exempt us from resetting arrays and hashes?  */
6823                         continue;
6824                     }
6825                     SvOK_off(sv);
6826                     if (SvTYPE(sv) >= SVt_PV) {
6827                         SvCUR_set(sv, 0);
6828                         if (SvPVX_const(sv) != Nullch)
6829                             *SvPVX(sv) = '\0';
6830                         SvTAINT(sv);
6831                     }
6832                 }
6833                 if (GvAV(gv)) {
6834                     av_clear(GvAV(gv));
6835                 }
6836                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
6837 #if defined(VMS)
6838                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
6839 #else /* ! VMS */
6840                     hv_clear(GvHV(gv));
6841 #  if defined(USE_ENVIRON_ARRAY)
6842                     if (gv == PL_envgv)
6843                         my_clearenv();
6844 #  endif /* USE_ENVIRON_ARRAY */
6845 #endif /* VMS */
6846                 }
6847             }
6848         }
6849     }
6850 }
6851
6852 /*
6853 =for apidoc sv_2io
6854
6855 Using various gambits, try to get an IO from an SV: the IO slot if its a
6856 GV; or the recursive result if we're an RV; or the IO slot of the symbol
6857 named after the PV if we're a string.
6858
6859 =cut
6860 */
6861
6862 IO*
6863 Perl_sv_2io(pTHX_ SV *sv)
6864 {
6865     IO* io;
6866     GV* gv;
6867
6868     switch (SvTYPE(sv)) {
6869     case SVt_PVIO:
6870         io = (IO*)sv;
6871         break;
6872     case SVt_PVGV:
6873         gv = (GV*)sv;
6874         io = GvIO(gv);
6875         if (!io)
6876             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
6877         break;
6878     default:
6879         if (!SvOK(sv))
6880             Perl_croak(aTHX_ PL_no_usym, "filehandle");
6881         if (SvROK(sv))
6882             return sv_2io(SvRV(sv));
6883         gv = gv_fetchsv(sv, 0, SVt_PVIO);
6884         if (gv)
6885             io = GvIO(gv);
6886         else
6887             io = 0;
6888         if (!io)
6889             Perl_croak(aTHX_ "Bad filehandle: %"SVf, sv);
6890         break;
6891     }
6892     return io;
6893 }
6894
6895 /*
6896 =for apidoc sv_2cv
6897
6898 Using various gambits, try to get a CV from an SV; in addition, try if
6899 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
6900 The flags in C<lref> are passed to sv_fetchsv.
6901
6902 =cut
6903 */
6904
6905 CV *
6906 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
6907 {
6908     dVAR;
6909     GV *gv = Nullgv;
6910     CV *cv = Nullcv;
6911
6912     if (!sv)
6913         return *st = NULL, *gvp = Nullgv, Nullcv;
6914     switch (SvTYPE(sv)) {
6915     case SVt_PVCV:
6916         *st = CvSTASH(sv);
6917         *gvp = Nullgv;
6918         return (CV*)sv;
6919     case SVt_PVHV:
6920     case SVt_PVAV:
6921         *st = NULL;
6922         *gvp = Nullgv;
6923         return Nullcv;
6924     case SVt_PVGV:
6925         gv = (GV*)sv;
6926         *gvp = gv;
6927         *st = GvESTASH(gv);
6928         goto fix_gv;
6929
6930     default:
6931         SvGETMAGIC(sv);
6932         if (SvROK(sv)) {
6933             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
6934             tryAMAGICunDEREF(to_cv);
6935
6936             sv = SvRV(sv);
6937             if (SvTYPE(sv) == SVt_PVCV) {
6938                 cv = (CV*)sv;
6939                 *gvp = Nullgv;
6940                 *st = CvSTASH(cv);
6941                 return cv;
6942             }
6943             else if(isGV(sv))
6944                 gv = (GV*)sv;
6945             else
6946                 Perl_croak(aTHX_ "Not a subroutine reference");
6947         }
6948         else if (isGV(sv))
6949             gv = (GV*)sv;
6950         else
6951             gv = gv_fetchsv(sv, lref, SVt_PVCV);
6952         *gvp = gv;
6953         if (!gv) {
6954             *st = NULL;
6955             return Nullcv;
6956         }
6957         /* Some flags to gv_fetchsv mean don't really create the GV  */
6958         if (SvTYPE(gv) != SVt_PVGV) {
6959             *st = NULL;
6960             return NULL;
6961         }
6962         *st = GvESTASH(gv);
6963     fix_gv:
6964         if (lref && !GvCVu(gv)) {
6965             SV *tmpsv;
6966             ENTER;
6967             tmpsv = newSV(0);
6968             gv_efullname3(tmpsv, gv, Nullch);
6969             /* XXX this is probably not what they think they're getting.
6970              * It has the same effect as "sub name;", i.e. just a forward
6971              * declaration! */
6972             newSUB(start_subparse(FALSE, 0),
6973                    newSVOP(OP_CONST, 0, tmpsv),
6974                    Nullop,
6975                    Nullop);
6976             LEAVE;
6977             if (!GvCVu(gv))
6978                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
6979                            sv);
6980         }
6981         return GvCVu(gv);
6982     }
6983 }
6984
6985 /*
6986 =for apidoc sv_true
6987
6988 Returns true if the SV has a true value by Perl's rules.
6989 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
6990 instead use an in-line version.
6991
6992 =cut
6993 */
6994
6995 I32
6996 Perl_sv_true(pTHX_ register SV *sv)
6997 {
6998     if (!sv)
6999         return 0;
7000     if (SvPOK(sv)) {
7001         register const XPV* const tXpv = (XPV*)SvANY(sv);
7002         if (tXpv &&
7003                 (tXpv->xpv_cur > 1 ||
7004                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7005             return 1;
7006         else
7007             return 0;
7008     }
7009     else {
7010         if (SvIOK(sv))
7011             return SvIVX(sv) != 0;
7012         else {
7013             if (SvNOK(sv))
7014                 return SvNVX(sv) != 0.0;
7015             else
7016                 return sv_2bool(sv);
7017         }
7018     }
7019 }
7020
7021 /*
7022 =for apidoc sv_pvn_force
7023
7024 Get a sensible string out of the SV somehow.
7025 A private implementation of the C<SvPV_force> macro for compilers which
7026 can't cope with complex macro expressions. Always use the macro instead.
7027
7028 =for apidoc sv_pvn_force_flags
7029
7030 Get a sensible string out of the SV somehow.
7031 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7032 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7033 implemented in terms of this function.
7034 You normally want to use the various wrapper macros instead: see
7035 C<SvPV_force> and C<SvPV_force_nomg>
7036
7037 =cut
7038 */
7039
7040 char *
7041 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7042 {
7043     dVAR;
7044     if (SvTHINKFIRST(sv) && !SvROK(sv))
7045         sv_force_normal_flags(sv, 0);
7046
7047     if (SvPOK(sv)) {
7048         if (lp)
7049             *lp = SvCUR(sv);
7050     }
7051     else {
7052         char *s;
7053         STRLEN len;
7054  
7055         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7056             const char * const ref = sv_reftype(sv,0);
7057             if (PL_op)
7058                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7059                            ref, OP_NAME(PL_op));
7060             else
7061                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7062         }
7063         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7064             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7065                 OP_NAME(PL_op));
7066         s = sv_2pv_flags(sv, &len, flags);
7067         if (lp)
7068             *lp = len;
7069
7070         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7071             if (SvROK(sv))
7072                 sv_unref(sv);
7073             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7074             SvGROW(sv, len + 1);
7075             Move(s,SvPVX(sv),len,char);
7076             SvCUR_set(sv, len);
7077             *SvEND(sv) = '\0';
7078         }
7079         if (!SvPOK(sv)) {
7080             SvPOK_on(sv);               /* validate pointer */
7081             SvTAINT(sv);
7082             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7083                                   PTR2UV(sv),SvPVX_const(sv)));
7084         }
7085     }
7086     return SvPVX_mutable(sv);
7087 }
7088
7089 /*
7090 =for apidoc sv_pvbyten_force
7091
7092 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7093
7094 =cut
7095 */
7096
7097 char *
7098 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7099 {
7100     sv_pvn_force(sv,lp);
7101     sv_utf8_downgrade(sv,0);
7102     *lp = SvCUR(sv);
7103     return SvPVX(sv);
7104 }
7105
7106 /*
7107 =for apidoc sv_pvutf8n_force
7108
7109 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7110
7111 =cut
7112 */
7113
7114 char *
7115 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7116 {
7117     sv_pvn_force(sv,lp);
7118     sv_utf8_upgrade(sv);
7119     *lp = SvCUR(sv);
7120     return SvPVX(sv);
7121 }
7122
7123 /*
7124 =for apidoc sv_reftype
7125
7126 Returns a string describing what the SV is a reference to.
7127
7128 =cut
7129 */
7130
7131 char *
7132 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7133 {
7134     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7135        inside return suggests a const propagation bug in g++.  */
7136     if (ob && SvOBJECT(sv)) {
7137         char * const name = HvNAME_get(SvSTASH(sv));
7138         return name ? name : (char *) "__ANON__";
7139     }
7140     else {
7141         switch (SvTYPE(sv)) {
7142         case SVt_NULL:
7143         case SVt_IV:
7144         case SVt_NV:
7145         case SVt_RV:
7146         case SVt_PV:
7147         case SVt_PVIV:
7148         case SVt_PVNV:
7149         case SVt_PVMG:
7150         case SVt_PVBM:
7151                                 if (SvVOK(sv))
7152                                     return "VSTRING";
7153                                 if (SvROK(sv))
7154                                     return "REF";
7155                                 else
7156                                     return "SCALAR";
7157
7158         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7159                                 /* tied lvalues should appear to be
7160                                  * scalars for backwards compatitbility */
7161                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7162                                     ? "SCALAR" : "LVALUE");
7163         case SVt_PVAV:          return "ARRAY";
7164         case SVt_PVHV:          return "HASH";
7165         case SVt_PVCV:          return "CODE";
7166         case SVt_PVGV:          return "GLOB";
7167         case SVt_PVFM:          return "FORMAT";
7168         case SVt_PVIO:          return "IO";
7169         default:                return "UNKNOWN";
7170         }
7171     }
7172 }
7173
7174 /*
7175 =for apidoc sv_isobject
7176
7177 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7178 object.  If the SV is not an RV, or if the object is not blessed, then this
7179 will return false.
7180
7181 =cut
7182 */
7183
7184 int
7185 Perl_sv_isobject(pTHX_ SV *sv)
7186 {
7187     if (!sv)
7188         return 0;
7189     SvGETMAGIC(sv);
7190     if (!SvROK(sv))
7191         return 0;
7192     sv = (SV*)SvRV(sv);
7193     if (!SvOBJECT(sv))
7194         return 0;
7195     return 1;
7196 }
7197
7198 /*
7199 =for apidoc sv_isa
7200
7201 Returns a boolean indicating whether the SV is blessed into the specified
7202 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7203 an inheritance relationship.
7204
7205 =cut
7206 */
7207
7208 int
7209 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7210 {
7211     const char *hvname;
7212     if (!sv)
7213         return 0;
7214     SvGETMAGIC(sv);
7215     if (!SvROK(sv))
7216         return 0;
7217     sv = (SV*)SvRV(sv);
7218     if (!SvOBJECT(sv))
7219         return 0;
7220     hvname = HvNAME_get(SvSTASH(sv));
7221     if (!hvname)
7222         return 0;
7223
7224     return strEQ(hvname, name);
7225 }
7226
7227 /*
7228 =for apidoc newSVrv
7229
7230 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7231 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7232 be blessed in the specified package.  The new SV is returned and its
7233 reference count is 1.
7234
7235 =cut
7236 */
7237
7238 SV*
7239 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7240 {
7241     dVAR;
7242     SV *sv;
7243
7244     new_SV(sv);
7245
7246     SV_CHECK_THINKFIRST_COW_DROP(rv);
7247     SvAMAGIC_off(rv);
7248
7249     if (SvTYPE(rv) >= SVt_PVMG) {
7250         const U32 refcnt = SvREFCNT(rv);
7251         SvREFCNT(rv) = 0;
7252         sv_clear(rv);
7253         SvFLAGS(rv) = 0;
7254         SvREFCNT(rv) = refcnt;
7255     }
7256
7257     if (SvTYPE(rv) < SVt_RV)
7258         sv_upgrade(rv, SVt_RV);
7259     else if (SvTYPE(rv) > SVt_RV) {
7260         SvPV_free(rv);
7261         SvCUR_set(rv, 0);
7262         SvLEN_set(rv, 0);
7263     }
7264
7265     SvOK_off(rv);
7266     SvRV_set(rv, sv);
7267     SvROK_on(rv);
7268
7269     if (classname) {
7270         HV* const stash = gv_stashpv(classname, TRUE);
7271         (void)sv_bless(rv, stash);
7272     }
7273     return sv;
7274 }
7275
7276 /*
7277 =for apidoc sv_setref_pv
7278
7279 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7280 argument will be upgraded to an RV.  That RV will be modified to point to
7281 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7282 into the SV.  The C<classname> argument indicates the package for the
7283 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7284 will have a reference count of 1, and the RV will be returned.
7285
7286 Do not use with other Perl types such as HV, AV, SV, CV, because those
7287 objects will become corrupted by the pointer copy process.
7288
7289 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7290
7291 =cut
7292 */
7293
7294 SV*
7295 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7296 {
7297     dVAR;
7298     if (!pv) {
7299         sv_setsv(rv, &PL_sv_undef);
7300         SvSETMAGIC(rv);
7301     }
7302     else
7303         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7304     return rv;
7305 }
7306
7307 /*
7308 =for apidoc sv_setref_iv
7309
7310 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7311 argument will be upgraded to an RV.  That RV will be modified to point to
7312 the new SV.  The C<classname> argument indicates the package for the
7313 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7314 will have a reference count of 1, and the RV will be returned.
7315
7316 =cut
7317 */
7318
7319 SV*
7320 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7321 {
7322     sv_setiv(newSVrv(rv,classname), iv);
7323     return rv;
7324 }
7325
7326 /*
7327 =for apidoc sv_setref_uv
7328
7329 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7330 argument will be upgraded to an RV.  That RV will be modified to point to
7331 the new SV.  The C<classname> argument indicates the package for the
7332 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7333 will have a reference count of 1, and the RV will be returned.
7334
7335 =cut
7336 */
7337
7338 SV*
7339 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7340 {
7341     sv_setuv(newSVrv(rv,classname), uv);
7342     return rv;
7343 }
7344
7345 /*
7346 =for apidoc sv_setref_nv
7347
7348 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7349 argument will be upgraded to an RV.  That RV will be modified to point to
7350 the new SV.  The C<classname> argument indicates the package for the
7351 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7352 will have a reference count of 1, and the RV will be returned.
7353
7354 =cut
7355 */
7356
7357 SV*
7358 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7359 {
7360     sv_setnv(newSVrv(rv,classname), nv);
7361     return rv;
7362 }
7363
7364 /*
7365 =for apidoc sv_setref_pvn
7366
7367 Copies a string into a new SV, optionally blessing the SV.  The length of the
7368 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7369 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7370 argument indicates the package for the blessing.  Set C<classname> to
7371 C<Nullch> to avoid the blessing.  The new SV will have a reference count
7372 of 1, and the RV will be returned.
7373
7374 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7375
7376 =cut
7377 */
7378
7379 SV*
7380 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7381 {
7382     sv_setpvn(newSVrv(rv,classname), pv, n);
7383     return rv;
7384 }
7385
7386 /*
7387 =for apidoc sv_bless
7388
7389 Blesses an SV into a specified package.  The SV must be an RV.  The package
7390 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7391 of the SV is unaffected.
7392
7393 =cut
7394 */
7395
7396 SV*
7397 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7398 {
7399     dVAR;
7400     SV *tmpRef;
7401     if (!SvROK(sv))
7402         Perl_croak(aTHX_ "Can't bless non-reference value");
7403     tmpRef = SvRV(sv);
7404     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
7405         if (SvREADONLY(tmpRef))
7406             Perl_croak(aTHX_ PL_no_modify);
7407         if (SvOBJECT(tmpRef)) {
7408             if (SvTYPE(tmpRef) != SVt_PVIO)
7409                 --PL_sv_objcount;
7410             SvREFCNT_dec(SvSTASH(tmpRef));
7411         }
7412     }
7413     SvOBJECT_on(tmpRef);
7414     if (SvTYPE(tmpRef) != SVt_PVIO)
7415         ++PL_sv_objcount;
7416     SvUPGRADE(tmpRef, SVt_PVMG);
7417     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc(stash));
7418
7419     if (Gv_AMG(stash))
7420         SvAMAGIC_on(sv);
7421     else
7422         SvAMAGIC_off(sv);
7423
7424     if(SvSMAGICAL(tmpRef))
7425         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
7426             mg_set(tmpRef);
7427
7428
7429
7430     return sv;
7431 }
7432
7433 /* Downgrades a PVGV to a PVMG.
7434  */
7435
7436 STATIC void
7437 S_sv_unglob(pTHX_ SV *sv)
7438 {
7439     dVAR;
7440     void *xpvmg;
7441
7442     assert(SvTYPE(sv) == SVt_PVGV);
7443     SvFAKE_off(sv);
7444     if (GvGP(sv))
7445         gp_free((GV*)sv);
7446     if (GvSTASH(sv)) {
7447         sv_del_backref((SV*)GvSTASH(sv), sv);
7448         GvSTASH(sv) = NULL;
7449     }
7450     sv_unmagic(sv, PERL_MAGIC_glob);
7451     Safefree(GvNAME(sv));
7452     GvMULTI_off(sv);
7453
7454     /* need to keep SvANY(sv) in the right arena */
7455     xpvmg = new_XPVMG();
7456     StructCopy(SvANY(sv), xpvmg, XPVMG);
7457     del_XPVGV(SvANY(sv));
7458     SvANY(sv) = xpvmg;
7459
7460     SvFLAGS(sv) &= ~SVTYPEMASK;
7461     SvFLAGS(sv) |= SVt_PVMG;
7462 }
7463
7464 /*
7465 =for apidoc sv_unref_flags
7466
7467 Unsets the RV status of the SV, and decrements the reference count of
7468 whatever was being referenced by the RV.  This can almost be thought of
7469 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
7470 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
7471 (otherwise the decrementing is conditional on the reference count being
7472 different from one or the reference being a readonly SV).
7473 See C<SvROK_off>.
7474
7475 =cut
7476 */
7477
7478 void
7479 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
7480 {
7481     SV* const target = SvRV(ref);
7482
7483     if (SvWEAKREF(ref)) {
7484         sv_del_backref(target, ref);
7485         SvWEAKREF_off(ref);
7486         SvRV_set(ref, NULL);
7487         return;
7488     }
7489     SvRV_set(ref, NULL);
7490     SvROK_off(ref);
7491     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
7492        assigned to as BEGIN {$a = \"Foo"} will fail.  */
7493     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
7494         SvREFCNT_dec(target);
7495     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
7496         sv_2mortal(target);     /* Schedule for freeing later */
7497 }
7498
7499 /*
7500 =for apidoc sv_untaint
7501
7502 Untaint an SV. Use C<SvTAINTED_off> instead.
7503 =cut
7504 */
7505
7506 void
7507 Perl_sv_untaint(pTHX_ SV *sv)
7508 {
7509     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
7510         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
7511         if (mg)
7512             mg->mg_len &= ~1;
7513     }
7514 }
7515
7516 /*
7517 =for apidoc sv_tainted
7518
7519 Test an SV for taintedness. Use C<SvTAINTED> instead.
7520 =cut
7521 */
7522
7523 bool
7524 Perl_sv_tainted(pTHX_ SV *sv)
7525 {
7526     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
7527         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
7528         if (mg && (mg->mg_len & 1) )
7529             return TRUE;
7530     }
7531     return FALSE;
7532 }
7533
7534 /*
7535 =for apidoc sv_setpviv
7536
7537 Copies an integer into the given SV, also updating its string value.
7538 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
7539
7540 =cut
7541 */
7542
7543 void
7544 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
7545 {
7546     char buf[TYPE_CHARS(UV)];
7547     char *ebuf;
7548     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
7549
7550     sv_setpvn(sv, ptr, ebuf - ptr);
7551 }
7552
7553 /*
7554 =for apidoc sv_setpviv_mg
7555
7556 Like C<sv_setpviv>, but also handles 'set' magic.
7557
7558 =cut
7559 */
7560
7561 void
7562 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
7563 {
7564     sv_setpviv(sv, iv);
7565     SvSETMAGIC(sv);
7566 }
7567
7568 #if defined(PERL_IMPLICIT_CONTEXT)
7569
7570 /* pTHX_ magic can't cope with varargs, so this is a no-context
7571  * version of the main function, (which may itself be aliased to us).
7572  * Don't access this version directly.
7573  */
7574
7575 void
7576 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
7577 {
7578     dTHX;
7579     va_list args;
7580     va_start(args, pat);
7581     sv_vsetpvf(sv, pat, &args);
7582     va_end(args);
7583 }
7584
7585 /* pTHX_ magic can't cope with varargs, so this is a no-context
7586  * version of the main function, (which may itself be aliased to us).
7587  * Don't access this version directly.
7588  */
7589
7590 void
7591 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
7592 {
7593     dTHX;
7594     va_list args;
7595     va_start(args, pat);
7596     sv_vsetpvf_mg(sv, pat, &args);
7597     va_end(args);
7598 }
7599 #endif
7600
7601 /*
7602 =for apidoc sv_setpvf
7603
7604 Works like C<sv_catpvf> but copies the text into the SV instead of
7605 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
7606
7607 =cut
7608 */
7609
7610 void
7611 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
7612 {
7613     va_list args;
7614     va_start(args, pat);
7615     sv_vsetpvf(sv, pat, &args);
7616     va_end(args);
7617 }
7618
7619 /*
7620 =for apidoc sv_vsetpvf
7621
7622 Works like C<sv_vcatpvf> but copies the text into the SV instead of
7623 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
7624
7625 Usually used via its frontend C<sv_setpvf>.
7626
7627 =cut
7628 */
7629
7630 void
7631 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
7632 {
7633     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7634 }
7635
7636 /*
7637 =for apidoc sv_setpvf_mg
7638
7639 Like C<sv_setpvf>, but also handles 'set' magic.
7640
7641 =cut
7642 */
7643
7644 void
7645 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
7646 {
7647     va_list args;
7648     va_start(args, pat);
7649     sv_vsetpvf_mg(sv, pat, &args);
7650     va_end(args);
7651 }
7652
7653 /*
7654 =for apidoc sv_vsetpvf_mg
7655
7656 Like C<sv_vsetpvf>, but also handles 'set' magic.
7657
7658 Usually used via its frontend C<sv_setpvf_mg>.
7659
7660 =cut
7661 */
7662
7663 void
7664 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
7665 {
7666     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7667     SvSETMAGIC(sv);
7668 }
7669
7670 #if defined(PERL_IMPLICIT_CONTEXT)
7671
7672 /* pTHX_ magic can't cope with varargs, so this is a no-context
7673  * version of the main function, (which may itself be aliased to us).
7674  * Don't access this version directly.
7675  */
7676
7677 void
7678 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
7679 {
7680     dTHX;
7681     va_list args;
7682     va_start(args, pat);
7683     sv_vcatpvf(sv, pat, &args);
7684     va_end(args);
7685 }
7686
7687 /* pTHX_ magic can't cope with varargs, so this is a no-context
7688  * version of the main function, (which may itself be aliased to us).
7689  * Don't access this version directly.
7690  */
7691
7692 void
7693 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
7694 {
7695     dTHX;
7696     va_list args;
7697     va_start(args, pat);
7698     sv_vcatpvf_mg(sv, pat, &args);
7699     va_end(args);
7700 }
7701 #endif
7702
7703 /*
7704 =for apidoc sv_catpvf
7705
7706 Processes its arguments like C<sprintf> and appends the formatted
7707 output to an SV.  If the appended data contains "wide" characters
7708 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
7709 and characters >255 formatted with %c), the original SV might get
7710 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
7711 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
7712 valid UTF-8; if the original SV was bytes, the pattern should be too.
7713
7714 =cut */
7715
7716 void
7717 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
7718 {
7719     va_list args;
7720     va_start(args, pat);
7721     sv_vcatpvf(sv, pat, &args);
7722     va_end(args);
7723 }
7724
7725 /*
7726 =for apidoc sv_vcatpvf
7727
7728 Processes its arguments like C<vsprintf> and appends the formatted output
7729 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
7730
7731 Usually used via its frontend C<sv_catpvf>.
7732
7733 =cut
7734 */
7735
7736 void
7737 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
7738 {
7739     sv_vcatpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7740 }
7741
7742 /*
7743 =for apidoc sv_catpvf_mg
7744
7745 Like C<sv_catpvf>, but also handles 'set' magic.
7746
7747 =cut
7748 */
7749
7750 void
7751 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
7752 {
7753     va_list args;
7754     va_start(args, pat);
7755     sv_vcatpvf_mg(sv, pat, &args);
7756     va_end(args);
7757 }
7758
7759 /*
7760 =for apidoc sv_vcatpvf_mg
7761
7762 Like C<sv_vcatpvf>, but also handles 'set' magic.
7763
7764 Usually used via its frontend C<sv_catpvf_mg>.
7765
7766 =cut
7767 */
7768
7769 void
7770 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
7771 {
7772     sv_vcatpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7773     SvSETMAGIC(sv);
7774 }
7775
7776 /*
7777 =for apidoc sv_vsetpvfn
7778
7779 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
7780 appending it.
7781
7782 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
7783
7784 =cut
7785 */
7786
7787 void
7788 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
7789 {
7790     sv_setpvn(sv, "", 0);
7791     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
7792 }
7793
7794 STATIC I32
7795 S_expect_number(pTHX_ char** pattern)
7796 {
7797     dVAR;
7798     I32 var = 0;
7799     switch (**pattern) {
7800     case '1': case '2': case '3':
7801     case '4': case '5': case '6':
7802     case '7': case '8': case '9':
7803         var = *(*pattern)++ - '0';
7804         while (isDIGIT(**pattern)) {
7805             I32 tmp = var * 10 + (*(*pattern)++ - '0');
7806             if (tmp < var)
7807                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
7808             var = tmp;
7809         }
7810     }
7811     return var;
7812 }
7813
7814 STATIC char *
7815 S_F0convert(NV nv, char *endbuf, STRLEN *len)
7816 {
7817     const int neg = nv < 0;
7818     UV uv;
7819
7820     if (neg)
7821         nv = -nv;
7822     if (nv < UV_MAX) {
7823         char *p = endbuf;
7824         nv += 0.5;
7825         uv = (UV)nv;
7826         if (uv & 1 && uv == nv)
7827             uv--;                       /* Round to even */
7828         do {
7829             const unsigned dig = uv % 10;
7830             *--p = '0' + dig;
7831         } while (uv /= 10);
7832         if (neg)
7833             *--p = '-';
7834         *len = endbuf - p;
7835         return p;
7836     }
7837     return Nullch;
7838 }
7839
7840
7841 /*
7842 =for apidoc sv_vcatpvfn
7843
7844 Processes its arguments like C<vsprintf> and appends the formatted output
7845 to an SV.  Uses an array of SVs if the C style variable argument list is
7846 missing (NULL).  When running with taint checks enabled, indicates via
7847 C<maybe_tainted> if results are untrustworthy (often due to the use of
7848 locales).
7849
7850 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
7851
7852 =cut
7853 */
7854
7855
7856 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
7857                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
7858                         vec_utf8 = DO_UTF8(vecsv);
7859
7860 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
7861
7862 void
7863 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
7864 {
7865     dVAR;
7866     char *p;
7867     char *q;
7868     const char *patend;
7869     STRLEN origlen;
7870     I32 svix = 0;
7871     static const char nullstr[] = "(null)";
7872     SV *argsv = Nullsv;
7873     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
7874     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
7875     SV *nsv = Nullsv;
7876     /* Times 4: a decimal digit takes more than 3 binary digits.
7877      * NV_DIG: mantissa takes than many decimal digits.
7878      * Plus 32: Playing safe. */
7879     char ebuf[IV_DIG * 4 + NV_DIG + 32];
7880     /* large enough for "%#.#f" --chip */
7881     /* what about long double NVs? --jhi */
7882
7883     PERL_UNUSED_ARG(maybe_tainted);
7884
7885     /* no matter what, this is a string now */
7886     (void)SvPV_force(sv, origlen);
7887
7888     /* special-case "", "%s", and "%-p" (SVf - see below) */
7889     if (patlen == 0)
7890         return;
7891     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
7892         if (args) {
7893             const char * const s = va_arg(*args, char*);
7894             sv_catpv(sv, s ? s : nullstr);
7895         }
7896         else if (svix < svmax) {
7897             sv_catsv(sv, *svargs);
7898         }
7899         return;
7900     }
7901     if (args && patlen == 3 && pat[0] == '%' &&
7902                 pat[1] == '-' && pat[2] == 'p') {
7903         argsv = va_arg(*args, SV*);
7904         sv_catsv(sv, argsv);
7905         return;
7906     }
7907
7908 #ifndef USE_LONG_DOUBLE
7909     /* special-case "%.<number>[gf]" */
7910     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
7911          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
7912         unsigned digits = 0;
7913         const char *pp;
7914
7915         pp = pat + 2;
7916         while (*pp >= '0' && *pp <= '9')
7917             digits = 10 * digits + (*pp++ - '0');
7918         if (pp - pat == (int)patlen - 1) {
7919             NV nv;
7920
7921             if (svix < svmax)
7922                 nv = SvNV(*svargs);
7923             else
7924                 return;
7925             if (*pp == 'g') {
7926                 /* Add check for digits != 0 because it seems that some
7927                    gconverts are buggy in this case, and we don't yet have
7928                    a Configure test for this.  */
7929                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
7930                      /* 0, point, slack */
7931                     Gconvert(nv, (int)digits, 0, ebuf);
7932                     sv_catpv(sv, ebuf);
7933                     if (*ebuf)  /* May return an empty string for digits==0 */
7934                         return;
7935                 }
7936             } else if (!digits) {
7937                 STRLEN l;
7938
7939                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
7940                     sv_catpvn(sv, p, l);
7941                     return;
7942                 }
7943             }
7944         }
7945     }
7946 #endif /* !USE_LONG_DOUBLE */
7947
7948     if (!args && svix < svmax && DO_UTF8(*svargs))
7949         has_utf8 = TRUE;
7950
7951     patend = (char*)pat + patlen;
7952     for (p = (char*)pat; p < patend; p = q) {
7953         bool alt = FALSE;
7954         bool left = FALSE;
7955         bool vectorize = FALSE;
7956         bool vectorarg = FALSE;
7957         bool vec_utf8 = FALSE;
7958         char fill = ' ';
7959         char plus = 0;
7960         char intsize = 0;
7961         STRLEN width = 0;
7962         STRLEN zeros = 0;
7963         bool has_precis = FALSE;
7964         STRLEN precis = 0;
7965         const I32 osvix = svix;
7966         bool is_utf8 = FALSE;  /* is this item utf8?   */
7967 #ifdef HAS_LDBL_SPRINTF_BUG
7968         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
7969            with sfio - Allen <allens@cpan.org> */
7970         bool fix_ldbl_sprintf_bug = FALSE;
7971 #endif
7972
7973         char esignbuf[4];
7974         U8 utf8buf[UTF8_MAXBYTES+1];
7975         STRLEN esignlen = 0;
7976
7977         const char *eptr = Nullch;
7978         STRLEN elen = 0;
7979         SV *vecsv = Nullsv;
7980         const U8 *vecstr = Null(U8*);
7981         STRLEN veclen = 0;
7982         char c = 0;
7983         int i;
7984         unsigned base = 0;
7985         IV iv = 0;
7986         UV uv = 0;
7987         /* we need a long double target in case HAS_LONG_DOUBLE but
7988            not USE_LONG_DOUBLE
7989         */
7990 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
7991         long double nv;
7992 #else
7993         NV nv;
7994 #endif
7995         STRLEN have;
7996         STRLEN need;
7997         STRLEN gap;
7998         const char *dotstr = ".";
7999         STRLEN dotstrlen = 1;
8000         I32 efix = 0; /* explicit format parameter index */
8001         I32 ewix = 0; /* explicit width index */
8002         I32 epix = 0; /* explicit precision index */
8003         I32 evix = 0; /* explicit vector index */
8004         bool asterisk = FALSE;
8005
8006         /* echo everything up to the next format specification */
8007         for (q = p; q < patend && *q != '%'; ++q) ;
8008         if (q > p) {
8009             if (has_utf8 && !pat_utf8)
8010                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8011             else
8012                 sv_catpvn(sv, p, q - p);
8013             p = q;
8014         }
8015         if (q++ >= patend)
8016             break;
8017
8018 /*
8019     We allow format specification elements in this order:
8020         \d+\$              explicit format parameter index
8021         [-+ 0#]+           flags
8022         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8023         0                  flag (as above): repeated to allow "v02"     
8024         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8025         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8026         [hlqLV]            size
8027     [%bcdefginopsuxDFOUX] format (mandatory)
8028 */
8029
8030         if (args) {
8031 /*  
8032         As of perl5.9.3, printf format checking is on by default.
8033         Internally, perl uses %p formats to provide an escape to
8034         some extended formatting.  This block deals with those
8035         extensions: if it does not match, (char*)q is reset and
8036         the normal format processing code is used.
8037
8038         Currently defined extensions are:
8039                 %p              include pointer address (standard)      
8040                 %-p     (SVf)   include an SV (previously %_)
8041                 %-<num>p        include an SV with precision <num>      
8042                 %1p     (VDf)   include a v-string (as %vd)
8043                 %<num>p         reserved for future extensions
8044
8045         Robin Barker 2005-07-14
8046 */
8047             char* r = q; 
8048             bool sv = FALSE;    
8049             STRLEN n = 0;
8050             if (*q == '-')
8051                 sv = *q++;
8052             n = expect_number(&q);
8053             if (*q++ == 'p') {
8054                 if (sv) {                       /* SVf */
8055                     if (n) {
8056                         precis = n;
8057                         has_precis = TRUE;
8058                     }
8059                     argsv = va_arg(*args, SV*);
8060                     eptr = SvPVx_const(argsv, elen);
8061                     if (DO_UTF8(argsv))
8062                         is_utf8 = TRUE;
8063                     goto string;
8064                 }
8065 #if vdNUMBER
8066                 else if (n == vdNUMBER) {       /* VDf */
8067                     vectorize = TRUE;
8068                     VECTORIZE_ARGS
8069                     goto format_vd;
8070                 }
8071 #endif
8072                 else if (n) {
8073                     if (ckWARN_d(WARN_INTERNAL))
8074                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8075                         "internal %%<num>p might conflict with future printf extensions");
8076                 }
8077             }
8078             q = r; 
8079         }
8080
8081         if ( (width = expect_number(&q)) ) {
8082             if (*q == '$') {
8083                 ++q;
8084                 efix = width;
8085             } else {
8086                 goto gotwidth;
8087             }
8088         }
8089
8090         /* FLAGS */
8091
8092         while (*q) {
8093             switch (*q) {
8094             case ' ':
8095             case '+':
8096                 plus = *q++;
8097                 continue;
8098
8099             case '-':
8100                 left = TRUE;
8101                 q++;
8102                 continue;
8103
8104             case '0':
8105                 fill = *q++;
8106                 continue;
8107
8108             case '#':
8109                 alt = TRUE;
8110                 q++;
8111                 continue;
8112
8113             default:
8114                 break;
8115             }
8116             break;
8117         }
8118
8119       tryasterisk:
8120         if (*q == '*') {
8121             q++;
8122             if ( (ewix = expect_number(&q)) )
8123                 if (*q++ != '$')
8124                     goto unknown;
8125             asterisk = TRUE;
8126         }
8127         if (*q == 'v') {
8128             q++;
8129             if (vectorize)
8130                 goto unknown;
8131             if ((vectorarg = asterisk)) {
8132                 evix = ewix;
8133                 ewix = 0;
8134                 asterisk = FALSE;
8135             }
8136             vectorize = TRUE;
8137             goto tryasterisk;
8138         }
8139
8140         if (!asterisk)
8141         {
8142             if( *q == '0' )
8143                 fill = *q++;
8144             width = expect_number(&q);
8145         }
8146
8147         if (vectorize) {
8148             if (vectorarg) {
8149                 if (args)
8150                     vecsv = va_arg(*args, SV*);
8151                 else if (evix) {
8152                     vecsv = (evix > 0 && evix <= svmax)
8153                         ? svargs[evix-1] : &PL_sv_undef;
8154                 } else {
8155                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8156                 }
8157                 dotstr = SvPV_const(vecsv, dotstrlen);
8158                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8159                    bad with tied or overloaded values that return UTF8.  */
8160                 if (DO_UTF8(vecsv))
8161                     is_utf8 = TRUE;
8162                 else if (has_utf8) {
8163                     vecsv = sv_mortalcopy(vecsv);
8164                     sv_utf8_upgrade(vecsv);
8165                     dotstr = SvPV_const(vecsv, dotstrlen);
8166                     is_utf8 = TRUE;
8167                 }                   
8168             }
8169             if (args) {
8170                 VECTORIZE_ARGS
8171             }
8172             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8173                 vecsv = svargs[efix ? efix-1 : svix++];
8174                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8175                 vec_utf8 = DO_UTF8(vecsv);
8176
8177                 /* if this is a version object, we need to convert
8178                  * back into v-string notation and then let the
8179                  * vectorize happen normally
8180                  */
8181                 if (sv_derived_from(vecsv, "version")) {
8182                     char *version = savesvpv(vecsv);
8183                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8184                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8185                         "vector argument not supported with alpha versions");
8186                         goto unknown;
8187                     }
8188                     vecsv = sv_newmortal();
8189                     /* scan_vstring is expected to be called during
8190                      * tokenization, so we need to fake up the end
8191                      * of the buffer for it
8192                      */
8193                     PL_bufend = version + veclen;
8194                     scan_vstring(version, vecsv);
8195                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8196                     vec_utf8 = DO_UTF8(vecsv);
8197                     Safefree(version);
8198                 }
8199             }
8200             else {
8201                 vecstr = (U8*)"";
8202                 veclen = 0;
8203             }
8204         }
8205
8206         if (asterisk) {
8207             if (args)
8208                 i = va_arg(*args, int);
8209             else
8210                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8211                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8212             left |= (i < 0);
8213             width = (i < 0) ? -i : i;
8214         }
8215       gotwidth:
8216
8217         /* PRECISION */
8218
8219         if (*q == '.') {
8220             q++;
8221             if (*q == '*') {
8222                 q++;
8223                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8224                     goto unknown;
8225                 /* XXX: todo, support specified precision parameter */
8226                 if (epix)
8227                     goto unknown;
8228                 if (args)
8229                     i = va_arg(*args, int);
8230                 else
8231                     i = (ewix ? ewix <= svmax : svix < svmax)
8232                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8233                 precis = (i < 0) ? 0 : i;
8234             }
8235             else {
8236                 precis = 0;
8237                 while (isDIGIT(*q))
8238                     precis = precis * 10 + (*q++ - '0');
8239             }
8240             has_precis = TRUE;
8241         }
8242
8243         /* SIZE */
8244
8245         switch (*q) {
8246 #ifdef WIN32
8247         case 'I':                       /* Ix, I32x, and I64x */
8248 #  ifdef WIN64
8249             if (q[1] == '6' && q[2] == '4') {
8250                 q += 3;
8251                 intsize = 'q';
8252                 break;
8253             }
8254 #  endif
8255             if (q[1] == '3' && q[2] == '2') {
8256                 q += 3;
8257                 break;
8258             }
8259 #  ifdef WIN64
8260             intsize = 'q';
8261 #  endif
8262             q++;
8263             break;
8264 #endif
8265 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8266         case 'L':                       /* Ld */
8267             /* FALL THROUGH */
8268 #ifdef HAS_QUAD
8269         case 'q':                       /* qd */
8270 #endif
8271             intsize = 'q';
8272             q++;
8273             break;
8274 #endif
8275         case 'l':
8276 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8277             if (*(q + 1) == 'l') {      /* lld, llf */
8278                 intsize = 'q';
8279                 q += 2;
8280                 break;
8281              }
8282 #endif
8283             /* FALL THROUGH */
8284         case 'h':
8285             /* FALL THROUGH */
8286         case 'V':
8287             intsize = *q++;
8288             break;
8289         }
8290
8291         /* CONVERSION */
8292
8293         if (*q == '%') {
8294             eptr = q++;
8295             elen = 1;
8296             if (vectorize) {
8297                 c = '%';
8298                 goto unknown;
8299             }
8300             goto string;
8301         }
8302
8303         if (!vectorize && !args) {
8304             if (efix) {
8305                 const I32 i = efix-1;
8306                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8307             } else {
8308                 argsv = (svix >= 0 && svix < svmax)
8309                     ? svargs[svix++] : &PL_sv_undef;
8310             }
8311         }
8312
8313         switch (c = *q++) {
8314
8315             /* STRINGS */
8316
8317         case 'c':
8318             if (vectorize)
8319                 goto unknown;
8320             uv = (args) ? va_arg(*args, int) : SvIVx(argsv);
8321             if ((uv > 255 ||
8322                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8323                 && !IN_BYTES) {
8324                 eptr = (char*)utf8buf;
8325                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8326                 is_utf8 = TRUE;
8327             }
8328             else {
8329                 c = (char)uv;
8330                 eptr = &c;
8331                 elen = 1;
8332             }
8333             goto string;
8334
8335         case 's':
8336             if (vectorize)
8337                 goto unknown;
8338             if (args) {
8339                 eptr = va_arg(*args, char*);
8340                 if (eptr)
8341 #ifdef MACOS_TRADITIONAL
8342                   /* On MacOS, %#s format is used for Pascal strings */
8343                   if (alt)
8344                     elen = *eptr++;
8345                   else
8346 #endif
8347                     elen = strlen(eptr);
8348                 else {
8349                     eptr = (char *)nullstr;
8350                     elen = sizeof nullstr - 1;
8351                 }
8352             }
8353             else {
8354                 eptr = SvPVx_const(argsv, elen);
8355                 if (DO_UTF8(argsv)) {
8356                     if (has_precis && precis < elen) {
8357                         I32 p = precis;
8358                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8359                         precis = p;
8360                     }
8361                     if (width) { /* fudge width (can't fudge elen) */
8362                         width += elen - sv_len_utf8(argsv);
8363                     }
8364                     is_utf8 = TRUE;
8365                 }
8366             }
8367
8368         string:
8369             if (has_precis && elen > precis)
8370                 elen = precis;
8371             break;
8372
8373             /* INTEGERS */
8374
8375         case 'p':
8376             if (alt || vectorize)
8377                 goto unknown;
8378             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8379             base = 16;
8380             goto integer;
8381
8382         case 'D':
8383 #ifdef IV_IS_QUAD
8384             intsize = 'q';
8385 #else
8386             intsize = 'l';
8387 #endif
8388             /* FALL THROUGH */
8389         case 'd':
8390         case 'i':
8391 #if vdNUMBER
8392         format_vd:
8393 #endif
8394             if (vectorize) {
8395                 STRLEN ulen;
8396                 if (!veclen)
8397                     continue;
8398                 if (vec_utf8)
8399                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8400                                         UTF8_ALLOW_ANYUV);
8401                 else {
8402                     uv = *vecstr;
8403                     ulen = 1;
8404                 }
8405                 vecstr += ulen;
8406                 veclen -= ulen;
8407                 if (plus)
8408                      esignbuf[esignlen++] = plus;
8409             }
8410             else if (args) {
8411                 switch (intsize) {
8412                 case 'h':       iv = (short)va_arg(*args, int); break;
8413                 case 'l':       iv = va_arg(*args, long); break;
8414                 case 'V':       iv = va_arg(*args, IV); break;
8415                 default:        iv = va_arg(*args, int); break;
8416 #ifdef HAS_QUAD
8417                 case 'q':       iv = va_arg(*args, Quad_t); break;
8418 #endif
8419                 }
8420             }
8421             else {
8422                 IV tiv = SvIVx(argsv); /* work around GCC bug #13488 */
8423                 switch (intsize) {
8424                 case 'h':       iv = (short)tiv; break;
8425                 case 'l':       iv = (long)tiv; break;
8426                 case 'V':
8427                 default:        iv = tiv; break;
8428 #ifdef HAS_QUAD
8429                 case 'q':       iv = (Quad_t)tiv; break;
8430 #endif
8431                 }
8432             }
8433             if ( !vectorize )   /* we already set uv above */
8434             {
8435                 if (iv >= 0) {
8436                     uv = iv;
8437                     if (plus)
8438                         esignbuf[esignlen++] = plus;
8439                 }
8440                 else {
8441                     uv = -iv;
8442                     esignbuf[esignlen++] = '-';
8443                 }
8444             }
8445             base = 10;
8446             goto integer;
8447
8448         case 'U':
8449 #ifdef IV_IS_QUAD
8450             intsize = 'q';
8451 #else
8452             intsize = 'l';
8453 #endif
8454             /* FALL THROUGH */
8455         case 'u':
8456             base = 10;
8457             goto uns_integer;
8458
8459         case 'b':
8460             base = 2;
8461             goto uns_integer;
8462
8463         case 'O':
8464 #ifdef IV_IS_QUAD
8465             intsize = 'q';
8466 #else
8467             intsize = 'l';
8468 #endif
8469             /* FALL THROUGH */
8470         case 'o':
8471             base = 8;
8472             goto uns_integer;
8473
8474         case 'X':
8475         case 'x':
8476             base = 16;
8477
8478         uns_integer:
8479             if (vectorize) {
8480                 STRLEN ulen;
8481         vector:
8482                 if (!veclen)
8483                     continue;
8484                 if (vec_utf8)
8485                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8486                                         UTF8_ALLOW_ANYUV);
8487                 else {
8488                     uv = *vecstr;
8489                     ulen = 1;
8490                 }
8491                 vecstr += ulen;
8492                 veclen -= ulen;
8493             }
8494             else if (args) {
8495                 switch (intsize) {
8496                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
8497                 case 'l':  uv = va_arg(*args, unsigned long); break;
8498                 case 'V':  uv = va_arg(*args, UV); break;
8499                 default:   uv = va_arg(*args, unsigned); break;
8500 #ifdef HAS_QUAD
8501                 case 'q':  uv = va_arg(*args, Uquad_t); break;
8502 #endif
8503                 }
8504             }
8505             else {
8506                 UV tuv = SvUVx(argsv); /* work around GCC bug #13488 */
8507                 switch (intsize) {
8508                 case 'h':       uv = (unsigned short)tuv; break;
8509                 case 'l':       uv = (unsigned long)tuv; break;
8510                 case 'V':
8511                 default:        uv = tuv; break;
8512 #ifdef HAS_QUAD
8513                 case 'q':       uv = (Uquad_t)tuv; break;
8514 #endif
8515                 }
8516             }
8517
8518         integer:
8519             {
8520                 char *ptr = ebuf + sizeof ebuf;
8521                 switch (base) {
8522                     unsigned dig;
8523                 case 16:
8524                     if (!uv)
8525                         alt = FALSE;
8526                     p = (char*)((c == 'X')
8527                                 ? "0123456789ABCDEF" : "0123456789abcdef");
8528                     do {
8529                         dig = uv & 15;
8530                         *--ptr = p[dig];
8531                     } while (uv >>= 4);
8532                     if (alt) {
8533                         esignbuf[esignlen++] = '0';
8534                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
8535                     }
8536                     break;
8537                 case 8:
8538                     do {
8539                         dig = uv & 7;
8540                         *--ptr = '0' + dig;
8541                     } while (uv >>= 3);
8542                     if (alt && *ptr != '0')
8543                         *--ptr = '0';
8544                     break;
8545                 case 2:
8546                     if (!uv)
8547                         alt = FALSE;
8548                     do {
8549                         dig = uv & 1;
8550                         *--ptr = '0' + dig;
8551                     } while (uv >>= 1);
8552                     if (alt) {
8553                         esignbuf[esignlen++] = '0';
8554                         esignbuf[esignlen++] = 'b';
8555                     }
8556                     break;
8557                 default:                /* it had better be ten or less */
8558                     do {
8559                         dig = uv % base;
8560                         *--ptr = '0' + dig;
8561                     } while (uv /= base);
8562                     break;
8563                 }
8564                 elen = (ebuf + sizeof ebuf) - ptr;
8565                 eptr = ptr;
8566                 if (has_precis) {
8567                     if (precis > elen)
8568                         zeros = precis - elen;
8569                     else if (precis == 0 && elen == 1 && *eptr == '0')
8570                         elen = 0;
8571                 }
8572             }
8573             break;
8574
8575             /* FLOATING POINT */
8576
8577         case 'F':
8578             c = 'f';            /* maybe %F isn't supported here */
8579             /* FALL THROUGH */
8580         case 'e': case 'E':
8581         case 'f':
8582         case 'g': case 'G':
8583             if (vectorize)
8584                 goto unknown;
8585
8586             /* This is evil, but floating point is even more evil */
8587
8588             /* for SV-style calling, we can only get NV
8589                for C-style calling, we assume %f is double;
8590                for simplicity we allow any of %Lf, %llf, %qf for long double
8591             */
8592             switch (intsize) {
8593             case 'V':
8594 #if defined(USE_LONG_DOUBLE)
8595                 intsize = 'q';
8596 #endif
8597                 break;
8598 /* [perl #20339] - we should accept and ignore %lf rather than die */
8599             case 'l':
8600                 /* FALL THROUGH */
8601             default:
8602 #if defined(USE_LONG_DOUBLE)
8603                 intsize = args ? 0 : 'q';
8604 #endif
8605                 break;
8606             case 'q':
8607 #if defined(HAS_LONG_DOUBLE)
8608                 break;
8609 #else
8610                 /* FALL THROUGH */
8611 #endif
8612             case 'h':
8613                 goto unknown;
8614             }
8615
8616             /* now we need (long double) if intsize == 'q', else (double) */
8617             nv = (args) ?
8618 #if LONG_DOUBLESIZE > DOUBLESIZE
8619                 intsize == 'q' ?
8620                     va_arg(*args, long double) :
8621                     va_arg(*args, double)
8622 #else
8623                     va_arg(*args, double)
8624 #endif
8625                 : SvNVx(argsv);
8626
8627             need = 0;
8628             if (c != 'e' && c != 'E') {
8629                 i = PERL_INT_MIN;
8630                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
8631                    will cast our (long double) to (double) */
8632                 (void)Perl_frexp(nv, &i);
8633                 if (i == PERL_INT_MIN)
8634                     Perl_die(aTHX_ "panic: frexp");
8635                 if (i > 0)
8636                     need = BIT_DIGITS(i);
8637             }
8638             need += has_precis ? precis : 6; /* known default */
8639
8640             if (need < width)
8641                 need = width;
8642
8643 #ifdef HAS_LDBL_SPRINTF_BUG
8644             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8645                with sfio - Allen <allens@cpan.org> */
8646
8647 #  ifdef DBL_MAX
8648 #    define MY_DBL_MAX DBL_MAX
8649 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
8650 #    if DOUBLESIZE >= 8
8651 #      define MY_DBL_MAX 1.7976931348623157E+308L
8652 #    else
8653 #      define MY_DBL_MAX 3.40282347E+38L
8654 #    endif
8655 #  endif
8656
8657 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
8658 #    define MY_DBL_MAX_BUG 1L
8659 #  else
8660 #    define MY_DBL_MAX_BUG MY_DBL_MAX
8661 #  endif
8662
8663 #  ifdef DBL_MIN
8664 #    define MY_DBL_MIN DBL_MIN
8665 #  else  /* XXX guessing! -Allen */
8666 #    if DOUBLESIZE >= 8
8667 #      define MY_DBL_MIN 2.2250738585072014E-308L
8668 #    else
8669 #      define MY_DBL_MIN 1.17549435E-38L
8670 #    endif
8671 #  endif
8672
8673             if ((intsize == 'q') && (c == 'f') &&
8674                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
8675                 (need < DBL_DIG)) {
8676                 /* it's going to be short enough that
8677                  * long double precision is not needed */
8678
8679                 if ((nv <= 0L) && (nv >= -0L))
8680                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
8681                 else {
8682                     /* would use Perl_fp_class as a double-check but not
8683                      * functional on IRIX - see perl.h comments */
8684
8685                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
8686                         /* It's within the range that a double can represent */
8687 #if defined(DBL_MAX) && !defined(DBL_MIN)
8688                         if ((nv >= ((long double)1/DBL_MAX)) ||
8689                             (nv <= (-(long double)1/DBL_MAX)))
8690 #endif
8691                         fix_ldbl_sprintf_bug = TRUE;
8692                     }
8693                 }
8694                 if (fix_ldbl_sprintf_bug == TRUE) {
8695                     double temp;
8696
8697                     intsize = 0;
8698                     temp = (double)nv;
8699                     nv = (NV)temp;
8700                 }
8701             }
8702
8703 #  undef MY_DBL_MAX
8704 #  undef MY_DBL_MAX_BUG
8705 #  undef MY_DBL_MIN
8706
8707 #endif /* HAS_LDBL_SPRINTF_BUG */
8708
8709             need += 20; /* fudge factor */
8710             if (PL_efloatsize < need) {
8711                 Safefree(PL_efloatbuf);
8712                 PL_efloatsize = need + 20; /* more fudge */
8713                 Newx(PL_efloatbuf, PL_efloatsize, char);
8714                 PL_efloatbuf[0] = '\0';
8715             }
8716
8717             if ( !(width || left || plus || alt) && fill != '0'
8718                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
8719                 /* See earlier comment about buggy Gconvert when digits,
8720                    aka precis is 0  */
8721                 if ( c == 'g' && precis) {
8722                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
8723                     /* May return an empty string for digits==0 */
8724                     if (*PL_efloatbuf) {
8725                         elen = strlen(PL_efloatbuf);
8726                         goto float_converted;
8727                     }
8728                 } else if ( c == 'f' && !precis) {
8729                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
8730                         break;
8731                 }
8732             }
8733             {
8734                 char *ptr = ebuf + sizeof ebuf;
8735                 *--ptr = '\0';
8736                 *--ptr = c;
8737                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
8738 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
8739                 if (intsize == 'q') {
8740                     /* Copy the one or more characters in a long double
8741                      * format before the 'base' ([efgEFG]) character to
8742                      * the format string. */
8743                     static char const prifldbl[] = PERL_PRIfldbl;
8744                     char const *p = prifldbl + sizeof(prifldbl) - 3;
8745                     while (p >= prifldbl) { *--ptr = *p--; }
8746                 }
8747 #endif
8748                 if (has_precis) {
8749                     base = precis;
8750                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
8751                     *--ptr = '.';
8752                 }
8753                 if (width) {
8754                     base = width;
8755                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
8756                 }
8757                 if (fill == '0')
8758                     *--ptr = fill;
8759                 if (left)
8760                     *--ptr = '-';
8761                 if (plus)
8762                     *--ptr = plus;
8763                 if (alt)
8764                     *--ptr = '#';
8765                 *--ptr = '%';
8766
8767                 /* No taint.  Otherwise we are in the strange situation
8768                  * where printf() taints but print($float) doesn't.
8769                  * --jhi */
8770 #if defined(HAS_LONG_DOUBLE)
8771                 elen = ((intsize == 'q')
8772                         ? my_sprintf(PL_efloatbuf, ptr, nv)
8773                         : my_sprintf(PL_efloatbuf, ptr, (double)nv));
8774 #else
8775                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
8776 #endif
8777             }
8778         float_converted:
8779             eptr = PL_efloatbuf;
8780             break;
8781
8782             /* SPECIAL */
8783
8784         case 'n':
8785             if (vectorize)
8786                 goto unknown;
8787             i = SvCUR(sv) - origlen;
8788             if (args) {
8789                 switch (intsize) {
8790                 case 'h':       *(va_arg(*args, short*)) = i; break;
8791                 default:        *(va_arg(*args, int*)) = i; break;
8792                 case 'l':       *(va_arg(*args, long*)) = i; break;
8793                 case 'V':       *(va_arg(*args, IV*)) = i; break;
8794 #ifdef HAS_QUAD
8795                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
8796 #endif
8797                 }
8798             }
8799             else
8800                 sv_setuv_mg(argsv, (UV)i);
8801             continue;   /* not "break" */
8802
8803             /* UNKNOWN */
8804
8805         default:
8806       unknown:
8807             if (!args
8808                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
8809                 && ckWARN(WARN_PRINTF))
8810             {
8811                 SV * const msg = sv_newmortal();
8812                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
8813                           (PL_op->op_type == OP_PRTF) ? "" : "s");
8814                 if (c) {
8815                     if (isPRINT(c))
8816                         Perl_sv_catpvf(aTHX_ msg,
8817                                        "\"%%%c\"", c & 0xFF);
8818                     else
8819                         Perl_sv_catpvf(aTHX_ msg,
8820                                        "\"%%\\%03"UVof"\"",
8821                                        (UV)c & 0xFF);
8822                 } else
8823                     sv_catpvs(msg, "end of string");
8824                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, msg); /* yes, this is reentrant */
8825             }
8826
8827             /* output mangled stuff ... */
8828             if (c == '\0')
8829                 --q;
8830             eptr = p;
8831             elen = q - p;
8832
8833             /* ... right here, because formatting flags should not apply */
8834             SvGROW(sv, SvCUR(sv) + elen + 1);
8835             p = SvEND(sv);
8836             Copy(eptr, p, elen, char);
8837             p += elen;
8838             *p = '\0';
8839             SvCUR_set(sv, p - SvPVX_const(sv));
8840             svix = osvix;
8841             continue;   /* not "break" */
8842         }
8843
8844         /* calculate width before utf8_upgrade changes it */
8845         have = esignlen + zeros + elen;
8846         if (have < zeros)
8847             Perl_croak_nocontext(PL_memory_wrap);
8848
8849         if (is_utf8 != has_utf8) {
8850              if (is_utf8) {
8851                   if (SvCUR(sv))
8852                        sv_utf8_upgrade(sv);
8853              }
8854              else {
8855                   SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
8856                   sv_utf8_upgrade(nsv);
8857                   eptr = SvPVX_const(nsv);
8858                   elen = SvCUR(nsv);
8859              }
8860              SvGROW(sv, SvCUR(sv) + elen + 1);
8861              p = SvEND(sv);
8862              *p = '\0';
8863         }
8864
8865         need = (have > width ? have : width);
8866         gap = need - have;
8867
8868         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
8869             Perl_croak_nocontext(PL_memory_wrap);
8870         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
8871         p = SvEND(sv);
8872         if (esignlen && fill == '0') {
8873             int i;
8874             for (i = 0; i < (int)esignlen; i++)
8875                 *p++ = esignbuf[i];
8876         }
8877         if (gap && !left) {
8878             memset(p, fill, gap);
8879             p += gap;
8880         }
8881         if (esignlen && fill != '0') {
8882             int i;
8883             for (i = 0; i < (int)esignlen; i++)
8884                 *p++ = esignbuf[i];
8885         }
8886         if (zeros) {
8887             int i;
8888             for (i = zeros; i; i--)
8889                 *p++ = '0';
8890         }
8891         if (elen) {
8892             Copy(eptr, p, elen, char);
8893             p += elen;
8894         }
8895         if (gap && left) {
8896             memset(p, ' ', gap);
8897             p += gap;
8898         }
8899         if (vectorize) {
8900             if (veclen) {
8901                 Copy(dotstr, p, dotstrlen, char);
8902                 p += dotstrlen;
8903             }
8904             else
8905                 vectorize = FALSE;              /* done iterating over vecstr */
8906         }
8907         if (is_utf8)
8908             has_utf8 = TRUE;
8909         if (has_utf8)
8910             SvUTF8_on(sv);
8911         *p = '\0';
8912         SvCUR_set(sv, p - SvPVX_const(sv));
8913         if (vectorize) {
8914             esignlen = 0;
8915             goto vector;
8916         }
8917     }
8918 }
8919
8920 /* =========================================================================
8921
8922 =head1 Cloning an interpreter
8923
8924 All the macros and functions in this section are for the private use of
8925 the main function, perl_clone().
8926
8927 The foo_dup() functions make an exact copy of an existing foo thinngy.
8928 During the course of a cloning, a hash table is used to map old addresses
8929 to new addresses. The table is created and manipulated with the
8930 ptr_table_* functions.
8931
8932 =cut
8933
8934 ============================================================================*/
8935
8936
8937 #if defined(USE_ITHREADS)
8938
8939 #ifndef GpREFCNT_inc
8940 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
8941 #endif
8942
8943
8944 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
8945 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
8946 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8947 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
8948 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8949 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
8950 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8951 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
8952 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
8953 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
8954 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8955 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
8956 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
8957
8958
8959 /* Duplicate a regexp. Required reading: pregcomp() and pregfree() in
8960    regcomp.c. AMS 20010712 */
8961
8962 REGEXP *
8963 Perl_re_dup(pTHX_ const REGEXP *r, CLONE_PARAMS *param)
8964 {
8965     dVAR;
8966     REGEXP *ret;
8967     int i, len, npar;
8968     struct reg_substr_datum *s;
8969
8970     if (!r)
8971         return (REGEXP *)NULL;
8972
8973     if ((ret = (REGEXP *)ptr_table_fetch(PL_ptr_table, r)))
8974         return ret;
8975
8976     len = r->offsets[0];
8977     npar = r->nparens+1;
8978
8979     Newxc(ret, sizeof(regexp) + (len+1)*sizeof(regnode), char, regexp);
8980     Copy(r->program, ret->program, len+1, regnode);
8981
8982     Newx(ret->startp, npar, I32);
8983     Copy(r->startp, ret->startp, npar, I32);
8984     Newx(ret->endp, npar, I32);
8985     Copy(r->startp, ret->startp, npar, I32);
8986
8987     Newx(ret->substrs, 1, struct reg_substr_data);
8988     for (s = ret->substrs->data, i = 0; i < 3; i++, s++) {
8989         s->min_offset = r->substrs->data[i].min_offset;
8990         s->max_offset = r->substrs->data[i].max_offset;
8991         s->substr     = sv_dup_inc(r->substrs->data[i].substr, param);
8992         s->utf8_substr = sv_dup_inc(r->substrs->data[i].utf8_substr, param);
8993     }
8994
8995     ret->regstclass = NULL;
8996     if (r->data) {
8997         struct reg_data *d;
8998         const int count = r->data->count;
8999         int i;
9000
9001         Newxc(d, sizeof(struct reg_data) + count*sizeof(void *),
9002                 char, struct reg_data);
9003         Newx(d->what, count, U8);
9004
9005         d->count = count;
9006         for (i = 0; i < count; i++) {
9007             d->what[i] = r->data->what[i];
9008             switch (d->what[i]) {
9009                 /* legal options are one of: sfpont
9010                    see also regcomp.h and pregfree() */
9011             case 's':
9012                 d->data[i] = sv_dup_inc((SV *)r->data->data[i], param);
9013                 break;
9014             case 'p':
9015                 d->data[i] = av_dup_inc((AV *)r->data->data[i], param);
9016                 break;
9017             case 'f':
9018                 /* This is cheating. */
9019                 Newx(d->data[i], 1, struct regnode_charclass_class);
9020                 StructCopy(r->data->data[i], d->data[i],
9021                             struct regnode_charclass_class);
9022                 ret->regstclass = (regnode*)d->data[i];
9023                 break;
9024             case 'o':
9025                 /* Compiled op trees are readonly, and can thus be
9026                    shared without duplication. */
9027                 OP_REFCNT_LOCK;
9028                 d->data[i] = (void*)OpREFCNT_inc((OP*)r->data->data[i]);
9029                 OP_REFCNT_UNLOCK;
9030                 break;
9031             case 'n':
9032                 d->data[i] = r->data->data[i];
9033                 break;
9034             case 't':
9035                 d->data[i] = r->data->data[i];
9036                 OP_REFCNT_LOCK;
9037                 ((reg_trie_data*)d->data[i])->refcount++;
9038                 OP_REFCNT_UNLOCK;
9039                 break;
9040             default:
9041                 Perl_croak(aTHX_ "panic: re_dup unknown data code '%c'", r->data->what[i]);
9042             }
9043         }
9044
9045         ret->data = d;
9046     }
9047     else
9048         ret->data = NULL;
9049
9050     Newx(ret->offsets, 2*len+1, U32);
9051     Copy(r->offsets, ret->offsets, 2*len+1, U32);
9052
9053     ret->precomp        = SAVEPVN(r->precomp, r->prelen);
9054     ret->refcnt         = r->refcnt;
9055     ret->minlen         = r->minlen;
9056     ret->prelen         = r->prelen;
9057     ret->nparens        = r->nparens;
9058     ret->lastparen      = r->lastparen;
9059     ret->lastcloseparen = r->lastcloseparen;
9060     ret->reganch        = r->reganch;
9061
9062     ret->sublen         = r->sublen;
9063
9064     if (RX_MATCH_COPIED(ret))
9065         ret->subbeg  = SAVEPVN(r->subbeg, r->sublen);
9066     else
9067         ret->subbeg = Nullch;
9068 #ifdef PERL_OLD_COPY_ON_WRITE
9069     ret->saved_copy = Nullsv;
9070 #endif
9071
9072     ptr_table_store(PL_ptr_table, r, ret);
9073     return ret;
9074 }
9075
9076 /* duplicate a file handle */
9077
9078 PerlIO *
9079 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9080 {
9081     PerlIO *ret;
9082
9083     PERL_UNUSED_ARG(type);
9084
9085     if (!fp)
9086         return (PerlIO*)NULL;
9087
9088     /* look for it in the table first */
9089     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9090     if (ret)
9091         return ret;
9092
9093     /* create anew and remember what it is */
9094     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9095     ptr_table_store(PL_ptr_table, fp, ret);
9096     return ret;
9097 }
9098
9099 /* duplicate a directory handle */
9100
9101 DIR *
9102 Perl_dirp_dup(pTHX_ DIR *dp)
9103 {
9104     if (!dp)
9105         return (DIR*)NULL;
9106     /* XXX TODO */
9107     return dp;
9108 }
9109
9110 /* duplicate a typeglob */
9111
9112 GP *
9113 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9114 {
9115     GP *ret;
9116     if (!gp)
9117         return (GP*)NULL;
9118     /* look for it in the table first */
9119     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9120     if (ret)
9121         return ret;
9122
9123     /* create anew and remember what it is */
9124     Newxz(ret, 1, GP);
9125     ptr_table_store(PL_ptr_table, gp, ret);
9126
9127     /* clone */
9128     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9129     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9130     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9131     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9132     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9133     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9134     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9135     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9136     ret->gp_cvgen       = gp->gp_cvgen;
9137     ret->gp_line        = gp->gp_line;
9138     ret->gp_file        = gp->gp_file;          /* points to COP.cop_file */
9139     return ret;
9140 }
9141
9142 /* duplicate a chain of magic */
9143
9144 MAGIC *
9145 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9146 {
9147     MAGIC *mgprev = (MAGIC*)NULL;
9148     MAGIC *mgret;
9149     if (!mg)
9150         return (MAGIC*)NULL;
9151     /* look for it in the table first */
9152     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9153     if (mgret)
9154         return mgret;
9155
9156     for (; mg; mg = mg->mg_moremagic) {
9157         MAGIC *nmg;
9158         Newxz(nmg, 1, MAGIC);
9159         if (mgprev)
9160             mgprev->mg_moremagic = nmg;
9161         else
9162             mgret = nmg;
9163         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9164         nmg->mg_private = mg->mg_private;
9165         nmg->mg_type    = mg->mg_type;
9166         nmg->mg_flags   = mg->mg_flags;
9167         if (mg->mg_type == PERL_MAGIC_qr) {
9168             nmg->mg_obj = (SV*)re_dup((REGEXP*)mg->mg_obj, param);
9169         }
9170         else if(mg->mg_type == PERL_MAGIC_backref) {
9171             /* The backref AV has its reference count deliberately bumped by
9172                1.  */
9173             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9174         }
9175         else if (mg->mg_type == PERL_MAGIC_symtab) {
9176             nmg->mg_obj = mg->mg_obj;
9177         }
9178         else {
9179             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9180                               ? sv_dup_inc(mg->mg_obj, param)
9181                               : sv_dup(mg->mg_obj, param);
9182         }
9183         nmg->mg_len     = mg->mg_len;
9184         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9185         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9186             if (mg->mg_len > 0) {
9187                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9188                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9189                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9190                 {
9191                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9192                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9193                     I32 i;
9194                     for (i = 1; i < NofAMmeth; i++) {
9195                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9196                     }
9197                 }
9198             }
9199             else if (mg->mg_len == HEf_SVKEY)
9200                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9201         }
9202         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9203             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9204         }
9205         mgprev = nmg;
9206     }
9207     return mgret;
9208 }
9209
9210 /* create a new pointer-mapping table */
9211
9212 PTR_TBL_t *
9213 Perl_ptr_table_new(pTHX)
9214 {
9215     PTR_TBL_t *tbl;
9216     Newxz(tbl, 1, PTR_TBL_t);
9217     tbl->tbl_max        = 511;
9218     tbl->tbl_items      = 0;
9219     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9220     return tbl;
9221 }
9222
9223 #define PTR_TABLE_HASH(ptr) \
9224   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9225
9226 /* 
9227    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9228    following define) and at call to new_body_inline made below in 
9229    Perl_ptr_table_store()
9230  */
9231
9232 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9233
9234 /* map an existing pointer using a table */
9235
9236 STATIC PTR_TBL_ENT_t *
9237 S_ptr_table_find(pTHX_ PTR_TBL_t *tbl, const void *sv) {
9238     PTR_TBL_ENT_t *tblent;
9239     const UV hash = PTR_TABLE_HASH(sv);
9240     assert(tbl);
9241     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9242     for (; tblent; tblent = tblent->next) {
9243         if (tblent->oldval == sv)
9244             return tblent;
9245     }
9246     return 0;
9247 }
9248
9249 void *
9250 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9251 {
9252     PTR_TBL_ENT_t const *const tblent = S_ptr_table_find(aTHX_ tbl, sv);
9253     return tblent ? tblent->newval : (void *) 0;
9254 }
9255
9256 /* add a new entry to a pointer-mapping table */
9257
9258 void
9259 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9260 {
9261     PTR_TBL_ENT_t *tblent = S_ptr_table_find(aTHX_ tbl, oldsv);
9262
9263     if (tblent) {
9264         tblent->newval = newsv;
9265     } else {
9266         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9267
9268         new_body_inline(tblent, sizeof(struct ptr_tbl_ent), PTE_SVSLOT);
9269         tblent->oldval = oldsv;
9270         tblent->newval = newsv;
9271         tblent->next = tbl->tbl_ary[entry];
9272         tbl->tbl_ary[entry] = tblent;
9273         tbl->tbl_items++;
9274         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9275             ptr_table_split(tbl);
9276     }
9277 }
9278
9279 /* double the hash bucket size of an existing ptr table */
9280
9281 void
9282 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9283 {
9284     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9285     const UV oldsize = tbl->tbl_max + 1;
9286     UV newsize = oldsize * 2;
9287     UV i;
9288
9289     Renew(ary, newsize, PTR_TBL_ENT_t*);
9290     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9291     tbl->tbl_max = --newsize;
9292     tbl->tbl_ary = ary;
9293     for (i=0; i < oldsize; i++, ary++) {
9294         PTR_TBL_ENT_t **curentp, **entp, *ent;
9295         if (!*ary)
9296             continue;
9297         curentp = ary + oldsize;
9298         for (entp = ary, ent = *ary; ent; ent = *entp) {
9299             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9300                 *entp = ent->next;
9301                 ent->next = *curentp;
9302                 *curentp = ent;
9303                 continue;
9304             }
9305             else
9306                 entp = &ent->next;
9307         }
9308     }
9309 }
9310
9311 /* remove all the entries from a ptr table */
9312
9313 void
9314 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9315 {
9316     if (tbl && tbl->tbl_items) {
9317         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9318         UV riter = tbl->tbl_max;
9319
9320         do {
9321             PTR_TBL_ENT_t *entry = array[riter];
9322
9323             while (entry) {
9324                 PTR_TBL_ENT_t * const oentry = entry;
9325                 entry = entry->next;
9326                 del_pte(oentry);
9327             }
9328         } while (riter--);
9329
9330         tbl->tbl_items = 0;
9331     }
9332 }
9333
9334 /* clear and free a ptr table */
9335
9336 void
9337 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9338 {
9339     if (!tbl) {
9340         return;
9341     }
9342     ptr_table_clear(tbl);
9343     Safefree(tbl->tbl_ary);
9344     Safefree(tbl);
9345 }
9346
9347
9348 void
9349 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9350 {
9351     if (SvROK(sstr)) {
9352         SvRV_set(dstr, SvWEAKREF(sstr)
9353                        ? sv_dup(SvRV(sstr), param)
9354                        : sv_dup_inc(SvRV(sstr), param));
9355
9356     }
9357     else if (SvPVX_const(sstr)) {
9358         /* Has something there */
9359         if (SvLEN(sstr)) {
9360             /* Normal PV - clone whole allocated space */
9361             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9362             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9363                 /* Not that normal - actually sstr is copy on write.
9364                    But we are a true, independant SV, so:  */
9365                 SvREADONLY_off(dstr);
9366                 SvFAKE_off(dstr);
9367             }
9368         }
9369         else {
9370             /* Special case - not normally malloced for some reason */
9371             if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
9372                 /* A "shared" PV - clone it as "shared" PV */
9373                 SvPV_set(dstr,
9374                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
9375                                          param)));
9376             }
9377             else {
9378                 /* Some other special case - random pointer */
9379                 SvPV_set(dstr, SvPVX(sstr));            
9380             }
9381         }
9382     }
9383     else {
9384         /* Copy the Null */
9385         if (SvTYPE(dstr) == SVt_RV)
9386             SvRV_set(dstr, NULL);
9387         else
9388             SvPV_set(dstr, NULL);
9389     }
9390 }
9391
9392 /* duplicate an SV of any type (including AV, HV etc) */
9393
9394 SV *
9395 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
9396 {
9397     dVAR;
9398     SV *dstr;
9399
9400     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
9401         return NULL;
9402     /* look for it in the table first */
9403     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
9404     if (dstr)
9405         return dstr;
9406
9407     if(param->flags & CLONEf_JOIN_IN) {
9408         /** We are joining here so we don't want do clone
9409             something that is bad **/
9410         if (SvTYPE(sstr) == SVt_PVHV) {
9411             const char * const hvname = HvNAME_get(sstr);
9412             if (hvname)
9413                 /** don't clone stashes if they already exist **/
9414                 return (SV*)gv_stashpv(hvname,0);
9415         }
9416     }
9417
9418     /* create anew and remember what it is */
9419     new_SV(dstr);
9420
9421 #ifdef DEBUG_LEAKING_SCALARS
9422     dstr->sv_debug_optype = sstr->sv_debug_optype;
9423     dstr->sv_debug_line = sstr->sv_debug_line;
9424     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
9425     dstr->sv_debug_cloned = 1;
9426     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
9427 #endif
9428
9429     ptr_table_store(PL_ptr_table, sstr, dstr);
9430
9431     /* clone */
9432     SvFLAGS(dstr)       = SvFLAGS(sstr);
9433     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
9434     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
9435
9436 #ifdef DEBUGGING
9437     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
9438         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
9439                       PL_watch_pvx, SvPVX_const(sstr));
9440 #endif
9441
9442     /* don't clone objects whose class has asked us not to */
9443     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
9444         SvFLAGS(dstr) &= ~SVTYPEMASK;
9445         SvOBJECT_off(dstr);
9446         return dstr;
9447     }
9448
9449     switch (SvTYPE(sstr)) {
9450     case SVt_NULL:
9451         SvANY(dstr)     = NULL;
9452         break;
9453     case SVt_IV:
9454         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
9455         SvIV_set(dstr, SvIVX(sstr));
9456         break;
9457     case SVt_NV:
9458         SvANY(dstr)     = new_XNV();
9459         SvNV_set(dstr, SvNVX(sstr));
9460         break;
9461     case SVt_RV:
9462         SvANY(dstr)     = &(dstr->sv_u.svu_rv);
9463         Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9464         break;
9465     default:
9466         {
9467             /* These are all the types that need complex bodies allocating.  */
9468             void *new_body;
9469             const svtype sv_type = SvTYPE(sstr);
9470             const struct body_details *const sv_type_details
9471                 = bodies_by_type + sv_type;
9472
9473             switch (sv_type) {
9474             default:
9475                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]",
9476                            (IV)SvTYPE(sstr));
9477                 break;
9478
9479             case SVt_PVGV:
9480                 if (GvUNIQUE((GV*)sstr)) {
9481                     /* Do sharing here, and fall through */
9482                 }
9483             case SVt_PVIO:
9484             case SVt_PVFM:
9485             case SVt_PVHV:
9486             case SVt_PVAV:
9487             case SVt_PVBM:
9488             case SVt_PVCV:
9489             case SVt_PVLV:
9490             case SVt_PVMG:
9491             case SVt_PVNV:
9492             case SVt_PVIV:
9493             case SVt_PV:
9494                 assert(sv_type_details->size);
9495                 if (sv_type_details->arena) {
9496                     new_body_inline(new_body, sv_type_details->size, sv_type);
9497                     new_body
9498                         = (void*)((char*)new_body - sv_type_details->offset);
9499                 } else {
9500                     new_body = new_NOARENA(sv_type_details);
9501                 }
9502             }
9503             assert(new_body);
9504             SvANY(dstr) = new_body;
9505
9506 #ifndef PURIFY
9507             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
9508                  ((char*)SvANY(dstr)) + sv_type_details->offset,
9509                  sv_type_details->copy, char);
9510 #else
9511             Copy(((char*)SvANY(sstr)),
9512                  ((char*)SvANY(dstr)),
9513                  sv_type_details->size + sv_type_details->offset, char);
9514 #endif
9515
9516             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV)
9517                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9518
9519             /* The Copy above means that all the source (unduplicated) pointers
9520                are now in the destination.  We can check the flags and the
9521                pointers in either, but it's possible that there's less cache
9522                missing by always going for the destination.
9523                FIXME - instrument and check that assumption  */
9524             if (sv_type >= SVt_PVMG) {
9525                 if (SvMAGIC(dstr))
9526                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
9527                 if (SvSTASH(dstr))
9528                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
9529             }
9530
9531             /* The cast silences a GCC warning about unhandled types.  */
9532             switch ((int)sv_type) {
9533             case SVt_PV:
9534                 break;
9535             case SVt_PVIV:
9536                 break;
9537             case SVt_PVNV:
9538                 break;
9539             case SVt_PVMG:
9540                 break;
9541             case SVt_PVBM:
9542                 break;
9543             case SVt_PVLV:
9544                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
9545                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
9546                     LvTARG(dstr) = dstr;
9547                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
9548                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
9549                 else
9550                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
9551                 break;
9552             case SVt_PVGV:
9553                 GvNAME(dstr)    = SAVEPVN(GvNAME(dstr), GvNAMELEN(dstr));
9554                 GvSTASH(dstr)   = hv_dup(GvSTASH(dstr), param);
9555                 /* Don't call sv_add_backref here as it's going to be created
9556                    as part of the magic cloning of the symbol table.  */
9557                 GvGP(dstr)      = gp_dup(GvGP(dstr), param);
9558                 (void)GpREFCNT_inc(GvGP(dstr));
9559                 break;
9560             case SVt_PVIO:
9561                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
9562                 if (IoOFP(dstr) == IoIFP(sstr))
9563                     IoOFP(dstr) = IoIFP(dstr);
9564                 else
9565                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
9566                 /* PL_rsfp_filters entries have fake IoDIRP() */
9567                 if (IoDIRP(dstr) && !(IoFLAGS(dstr) & IOf_FAKE_DIRP))
9568                     IoDIRP(dstr)        = dirp_dup(IoDIRP(dstr));
9569                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
9570                     /* I have no idea why fake dirp (rsfps)
9571                        should be treated differently but otherwise
9572                        we end up with leaks -- sky*/
9573                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
9574                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
9575                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
9576                 } else {
9577                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
9578                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
9579                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
9580                 }
9581                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
9582                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
9583                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
9584                 break;
9585             case SVt_PVAV:
9586                 if (AvARRAY((AV*)sstr)) {
9587                     SV **dst_ary, **src_ary;
9588                     SSize_t items = AvFILLp((AV*)sstr) + 1;
9589
9590                     src_ary = AvARRAY((AV*)sstr);
9591                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
9592                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
9593                     SvPV_set(dstr, (char*)dst_ary);
9594                     AvALLOC((AV*)dstr) = dst_ary;
9595                     if (AvREAL((AV*)sstr)) {
9596                         while (items-- > 0)
9597                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
9598                     }
9599                     else {
9600                         while (items-- > 0)
9601                             *dst_ary++ = sv_dup(*src_ary++, param);
9602                     }
9603                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
9604                     while (items-- > 0) {
9605                         *dst_ary++ = &PL_sv_undef;
9606                     }
9607                 }
9608                 else {
9609                     SvPV_set(dstr, Nullch);
9610                     AvALLOC((AV*)dstr)  = (SV**)NULL;
9611                 }
9612                 break;
9613             case SVt_PVHV:
9614                 {
9615                     HEK *hvname = NULL;
9616
9617                     if (HvARRAY((HV*)sstr)) {
9618                         STRLEN i = 0;
9619                         const bool sharekeys = !!HvSHAREKEYS(sstr);
9620                         XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
9621                         XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
9622                         char *darray;
9623                         Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
9624                             + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
9625                             char);
9626                         HvARRAY(dstr) = (HE**)darray;
9627                         while (i <= sxhv->xhv_max) {
9628                             const HE *source = HvARRAY(sstr)[i];
9629                             HvARRAY(dstr)[i] = source
9630                                 ? he_dup(source, sharekeys, param) : 0;
9631                             ++i;
9632                         }
9633                         if (SvOOK(sstr)) {
9634                             struct xpvhv_aux * const saux = HvAUX(sstr);
9635                             struct xpvhv_aux * const daux = HvAUX(dstr);
9636                             /* This flag isn't copied.  */
9637                             /* SvOOK_on(hv) attacks the IV flags.  */
9638                             SvFLAGS(dstr) |= SVf_OOK;
9639
9640                             hvname = saux->xhv_name;
9641                             daux->xhv_name
9642                                 = hvname ? hek_dup(hvname, param) : hvname;
9643
9644                             daux->xhv_riter = saux->xhv_riter;
9645                             daux->xhv_eiter = saux->xhv_eiter
9646                                 ? he_dup(saux->xhv_eiter,
9647                                          (bool)!!HvSHAREKEYS(sstr), param) : 0;
9648                             daux->xhv_backreferences = saux->xhv_backreferences
9649                                 ? (AV*) SvREFCNT_inc(
9650                                                      sv_dup((SV*)saux->
9651                                                             xhv_backreferences,
9652                                                             param))
9653                                 : 0;
9654                         }
9655                     }
9656                     else {
9657                         SvPV_set(dstr, Nullch);
9658                     }
9659                     /* Record stashes for possible cloning in Perl_clone(). */
9660                     if(hvname)
9661                         av_push(param->stashes, dstr);
9662                 }
9663                 break;
9664             case SVt_PVFM:
9665             case SVt_PVCV:
9666                 /* NOTE: not refcounted */
9667                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
9668                 OP_REFCNT_LOCK;
9669                 CvROOT(dstr)    = OpREFCNT_inc(CvROOT(dstr));
9670                 OP_REFCNT_UNLOCK;
9671                 if (CvCONST(dstr)) {
9672                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
9673                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
9674                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
9675                 }
9676                 /* don't dup if copying back - CvGV isn't refcounted, so the
9677                  * duped GV may never be freed. A bit of a hack! DAPM */
9678                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
9679                     Nullgv : gv_dup(CvGV(dstr), param) ;
9680                 if (!(param->flags & CLONEf_COPY_STACKS)) {
9681                     CvDEPTH(dstr) = 0;
9682                 }
9683                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
9684                 CvOUTSIDE(dstr) =
9685                     CvWEAKOUTSIDE(sstr)
9686                     ? cv_dup(    CvOUTSIDE(dstr), param)
9687                     : cv_dup_inc(CvOUTSIDE(dstr), param);
9688                 if (!CvXSUB(dstr))
9689                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
9690                 break;
9691             }
9692         }
9693     }
9694
9695     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
9696         ++PL_sv_objcount;
9697
9698     return dstr;
9699  }
9700
9701 /* duplicate a context */
9702
9703 PERL_CONTEXT *
9704 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
9705 {
9706     PERL_CONTEXT *ncxs;
9707
9708     if (!cxs)
9709         return (PERL_CONTEXT*)NULL;
9710
9711     /* look for it in the table first */
9712     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
9713     if (ncxs)
9714         return ncxs;
9715
9716     /* create anew and remember what it is */
9717     Newxz(ncxs, max + 1, PERL_CONTEXT);
9718     ptr_table_store(PL_ptr_table, cxs, ncxs);
9719
9720     while (ix >= 0) {
9721         PERL_CONTEXT * const cx = &cxs[ix];
9722         PERL_CONTEXT * const ncx = &ncxs[ix];
9723         ncx->cx_type    = cx->cx_type;
9724         if (CxTYPE(cx) == CXt_SUBST) {
9725             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
9726         }
9727         else {
9728             ncx->blk_oldsp      = cx->blk_oldsp;
9729             ncx->blk_oldcop     = cx->blk_oldcop;
9730             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
9731             ncx->blk_oldscopesp = cx->blk_oldscopesp;
9732             ncx->blk_oldpm      = cx->blk_oldpm;
9733             ncx->blk_gimme      = cx->blk_gimme;
9734             switch (CxTYPE(cx)) {
9735             case CXt_SUB:
9736                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
9737                                            ? cv_dup_inc(cx->blk_sub.cv, param)
9738                                            : cv_dup(cx->blk_sub.cv,param));
9739                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
9740                                            ? av_dup_inc(cx->blk_sub.argarray, param)
9741                                            : NULL);
9742                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
9743                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
9744                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
9745                 ncx->blk_sub.lval       = cx->blk_sub.lval;
9746                 ncx->blk_sub.retop      = cx->blk_sub.retop;
9747                 break;
9748             case CXt_EVAL:
9749                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
9750                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
9751                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
9752                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
9753                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
9754                 ncx->blk_eval.retop = cx->blk_eval.retop;
9755                 break;
9756             case CXt_LOOP:
9757                 ncx->blk_loop.label     = cx->blk_loop.label;
9758                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
9759                 ncx->blk_loop.redo_op   = cx->blk_loop.redo_op;
9760                 ncx->blk_loop.next_op   = cx->blk_loop.next_op;
9761                 ncx->blk_loop.last_op   = cx->blk_loop.last_op;
9762                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
9763                                            ? cx->blk_loop.iterdata
9764                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
9765                 ncx->blk_loop.oldcomppad
9766                     = (PAD*)ptr_table_fetch(PL_ptr_table,
9767                                             cx->blk_loop.oldcomppad);
9768                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
9769                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
9770                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
9771                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
9772                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
9773                 break;
9774             case CXt_FORMAT:
9775                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
9776                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
9777                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
9778                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
9779                 ncx->blk_sub.retop      = cx->blk_sub.retop;
9780                 break;
9781             case CXt_BLOCK:
9782             case CXt_NULL:
9783                 break;
9784             }
9785         }
9786         --ix;
9787     }
9788     return ncxs;
9789 }
9790
9791 /* duplicate a stack info structure */
9792
9793 PERL_SI *
9794 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
9795 {
9796     PERL_SI *nsi;
9797
9798     if (!si)
9799         return (PERL_SI*)NULL;
9800
9801     /* look for it in the table first */
9802     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
9803     if (nsi)
9804         return nsi;
9805
9806     /* create anew and remember what it is */
9807     Newxz(nsi, 1, PERL_SI);
9808     ptr_table_store(PL_ptr_table, si, nsi);
9809
9810     nsi->si_stack       = av_dup_inc(si->si_stack, param);
9811     nsi->si_cxix        = si->si_cxix;
9812     nsi->si_cxmax       = si->si_cxmax;
9813     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
9814     nsi->si_type        = si->si_type;
9815     nsi->si_prev        = si_dup(si->si_prev, param);
9816     nsi->si_next        = si_dup(si->si_next, param);
9817     nsi->si_markoff     = si->si_markoff;
9818
9819     return nsi;
9820 }
9821
9822 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
9823 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
9824 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
9825 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
9826 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
9827 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
9828 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
9829 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
9830 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
9831 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
9832 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
9833 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
9834 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
9835 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
9836
9837 /* XXXXX todo */
9838 #define pv_dup_inc(p)   SAVEPV(p)
9839 #define pv_dup(p)       SAVEPV(p)
9840 #define svp_dup_inc(p,pp)       any_dup(p,pp)
9841
9842 /* map any object to the new equivent - either something in the
9843  * ptr table, or something in the interpreter structure
9844  */
9845
9846 void *
9847 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
9848 {
9849     void *ret;
9850
9851     if (!v)
9852         return (void*)NULL;
9853
9854     /* look for it in the table first */
9855     ret = ptr_table_fetch(PL_ptr_table, v);
9856     if (ret)
9857         return ret;
9858
9859     /* see if it is part of the interpreter structure */
9860     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
9861         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
9862     else {
9863         ret = v;
9864     }
9865
9866     return ret;
9867 }
9868
9869 /* duplicate the save stack */
9870
9871 ANY *
9872 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
9873 {
9874     ANY * const ss      = proto_perl->Tsavestack;
9875     const I32 max       = proto_perl->Tsavestack_max;
9876     I32 ix              = proto_perl->Tsavestack_ix;
9877     ANY *nss;
9878     SV *sv;
9879     GV *gv;
9880     AV *av;
9881     HV *hv;
9882     void* ptr;
9883     int intval;
9884     long longval;
9885     GP *gp;
9886     IV iv;
9887     char *c = NULL;
9888     void (*dptr) (void*);
9889     void (*dxptr) (pTHX_ void*);
9890
9891     Newxz(nss, max, ANY);
9892
9893     while (ix > 0) {
9894         I32 i = POPINT(ss,ix);
9895         TOPINT(nss,ix) = i;
9896         switch (i) {
9897         case SAVEt_ITEM:                        /* normal string */
9898             sv = (SV*)POPPTR(ss,ix);
9899             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9900             sv = (SV*)POPPTR(ss,ix);
9901             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9902             break;
9903         case SAVEt_SV:                          /* scalar reference */
9904             sv = (SV*)POPPTR(ss,ix);
9905             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9906             gv = (GV*)POPPTR(ss,ix);
9907             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
9908             break;
9909         case SAVEt_GENERIC_PVREF:               /* generic char* */
9910             c = (char*)POPPTR(ss,ix);
9911             TOPPTR(nss,ix) = pv_dup(c);
9912             ptr = POPPTR(ss,ix);
9913             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9914             break;
9915         case SAVEt_SHARED_PVREF:                /* char* in shared space */
9916             c = (char*)POPPTR(ss,ix);
9917             TOPPTR(nss,ix) = savesharedpv(c);
9918             ptr = POPPTR(ss,ix);
9919             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9920             break;
9921         case SAVEt_GENERIC_SVREF:               /* generic sv */
9922         case SAVEt_SVREF:                       /* scalar reference */
9923             sv = (SV*)POPPTR(ss,ix);
9924             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9925             ptr = POPPTR(ss,ix);
9926             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
9927             break;
9928         case SAVEt_AV:                          /* array reference */
9929             av = (AV*)POPPTR(ss,ix);
9930             TOPPTR(nss,ix) = av_dup_inc(av, param);
9931             gv = (GV*)POPPTR(ss,ix);
9932             TOPPTR(nss,ix) = gv_dup(gv, param);
9933             break;
9934         case SAVEt_HV:                          /* hash reference */
9935             hv = (HV*)POPPTR(ss,ix);
9936             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
9937             gv = (GV*)POPPTR(ss,ix);
9938             TOPPTR(nss,ix) = gv_dup(gv, param);
9939             break;
9940         case SAVEt_INT:                         /* int reference */
9941             ptr = POPPTR(ss,ix);
9942             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9943             intval = (int)POPINT(ss,ix);
9944             TOPINT(nss,ix) = intval;
9945             break;
9946         case SAVEt_LONG:                        /* long reference */
9947             ptr = POPPTR(ss,ix);
9948             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9949             longval = (long)POPLONG(ss,ix);
9950             TOPLONG(nss,ix) = longval;
9951             break;
9952         case SAVEt_I32:                         /* I32 reference */
9953         case SAVEt_I16:                         /* I16 reference */
9954         case SAVEt_I8:                          /* I8 reference */
9955             ptr = POPPTR(ss,ix);
9956             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9957             i = POPINT(ss,ix);
9958             TOPINT(nss,ix) = i;
9959             break;
9960         case SAVEt_IV:                          /* IV reference */
9961             ptr = POPPTR(ss,ix);
9962             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9963             iv = POPIV(ss,ix);
9964             TOPIV(nss,ix) = iv;
9965             break;
9966         case SAVEt_SPTR:                        /* SV* reference */
9967             ptr = POPPTR(ss,ix);
9968             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9969             sv = (SV*)POPPTR(ss,ix);
9970             TOPPTR(nss,ix) = sv_dup(sv, param);
9971             break;
9972         case SAVEt_VPTR:                        /* random* reference */
9973             ptr = POPPTR(ss,ix);
9974             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9975             ptr = POPPTR(ss,ix);
9976             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9977             break;
9978         case SAVEt_PPTR:                        /* char* reference */
9979             ptr = POPPTR(ss,ix);
9980             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9981             c = (char*)POPPTR(ss,ix);
9982             TOPPTR(nss,ix) = pv_dup(c);
9983             break;
9984         case SAVEt_HPTR:                        /* HV* reference */
9985             ptr = POPPTR(ss,ix);
9986             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9987             hv = (HV*)POPPTR(ss,ix);
9988             TOPPTR(nss,ix) = hv_dup(hv, param);
9989             break;
9990         case SAVEt_APTR:                        /* AV* reference */
9991             ptr = POPPTR(ss,ix);
9992             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9993             av = (AV*)POPPTR(ss,ix);
9994             TOPPTR(nss,ix) = av_dup(av, param);
9995             break;
9996         case SAVEt_NSTAB:
9997             gv = (GV*)POPPTR(ss,ix);
9998             TOPPTR(nss,ix) = gv_dup(gv, param);
9999             break;
10000         case SAVEt_GP:                          /* scalar reference */
10001             gp = (GP*)POPPTR(ss,ix);
10002             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10003             (void)GpREFCNT_inc(gp);
10004             gv = (GV*)POPPTR(ss,ix);
10005             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10006             c = (char*)POPPTR(ss,ix);
10007             TOPPTR(nss,ix) = pv_dup(c);
10008             iv = POPIV(ss,ix);
10009             TOPIV(nss,ix) = iv;
10010             iv = POPIV(ss,ix);
10011             TOPIV(nss,ix) = iv;
10012             break;
10013         case SAVEt_FREESV:
10014         case SAVEt_MORTALIZESV:
10015             sv = (SV*)POPPTR(ss,ix);
10016             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10017             break;
10018         case SAVEt_FREEOP:
10019             ptr = POPPTR(ss,ix);
10020             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10021                 /* these are assumed to be refcounted properly */
10022                 OP *o;
10023                 switch (((OP*)ptr)->op_type) {
10024                 case OP_LEAVESUB:
10025                 case OP_LEAVESUBLV:
10026                 case OP_LEAVEEVAL:
10027                 case OP_LEAVE:
10028                 case OP_SCOPE:
10029                 case OP_LEAVEWRITE:
10030                     TOPPTR(nss,ix) = ptr;
10031                     o = (OP*)ptr;
10032                     OpREFCNT_inc(o);
10033                     break;
10034                 default:
10035                     TOPPTR(nss,ix) = Nullop;
10036                     break;
10037                 }
10038             }
10039             else
10040                 TOPPTR(nss,ix) = Nullop;
10041             break;
10042         case SAVEt_FREEPV:
10043             c = (char*)POPPTR(ss,ix);
10044             TOPPTR(nss,ix) = pv_dup_inc(c);
10045             break;
10046         case SAVEt_CLEARSV:
10047             longval = POPLONG(ss,ix);
10048             TOPLONG(nss,ix) = longval;
10049             break;
10050         case SAVEt_DELETE:
10051             hv = (HV*)POPPTR(ss,ix);
10052             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10053             c = (char*)POPPTR(ss,ix);
10054             TOPPTR(nss,ix) = pv_dup_inc(c);
10055             i = POPINT(ss,ix);
10056             TOPINT(nss,ix) = i;
10057             break;
10058         case SAVEt_DESTRUCTOR:
10059             ptr = POPPTR(ss,ix);
10060             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10061             dptr = POPDPTR(ss,ix);
10062             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10063                                         any_dup(FPTR2DPTR(void *, dptr),
10064                                                 proto_perl));
10065             break;
10066         case SAVEt_DESTRUCTOR_X:
10067             ptr = POPPTR(ss,ix);
10068             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10069             dxptr = POPDXPTR(ss,ix);
10070             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10071                                          any_dup(FPTR2DPTR(void *, dxptr),
10072                                                  proto_perl));
10073             break;
10074         case SAVEt_REGCONTEXT:
10075         case SAVEt_ALLOC:
10076             i = POPINT(ss,ix);
10077             TOPINT(nss,ix) = i;
10078             ix -= i;
10079             break;
10080         case SAVEt_STACK_POS:           /* Position on Perl stack */
10081             i = POPINT(ss,ix);
10082             TOPINT(nss,ix) = i;
10083             break;
10084         case SAVEt_AELEM:               /* array element */
10085             sv = (SV*)POPPTR(ss,ix);
10086             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10087             i = POPINT(ss,ix);
10088             TOPINT(nss,ix) = i;
10089             av = (AV*)POPPTR(ss,ix);
10090             TOPPTR(nss,ix) = av_dup_inc(av, param);
10091             break;
10092         case SAVEt_HELEM:               /* hash element */
10093             sv = (SV*)POPPTR(ss,ix);
10094             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10095             sv = (SV*)POPPTR(ss,ix);
10096             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10097             hv = (HV*)POPPTR(ss,ix);
10098             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10099             break;
10100         case SAVEt_OP:
10101             ptr = POPPTR(ss,ix);
10102             TOPPTR(nss,ix) = ptr;
10103             break;
10104         case SAVEt_HINTS:
10105             i = POPINT(ss,ix);
10106             TOPINT(nss,ix) = i;
10107             break;
10108         case SAVEt_COMPPAD:
10109             av = (AV*)POPPTR(ss,ix);
10110             TOPPTR(nss,ix) = av_dup(av, param);
10111             break;
10112         case SAVEt_PADSV:
10113             longval = (long)POPLONG(ss,ix);
10114             TOPLONG(nss,ix) = longval;
10115             ptr = POPPTR(ss,ix);
10116             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10117             sv = (SV*)POPPTR(ss,ix);
10118             TOPPTR(nss,ix) = sv_dup(sv, param);
10119             break;
10120         case SAVEt_BOOL:
10121             ptr = POPPTR(ss,ix);
10122             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10123             longval = (long)POPBOOL(ss,ix);
10124             TOPBOOL(nss,ix) = (bool)longval;
10125             break;
10126         case SAVEt_SET_SVFLAGS:
10127             i = POPINT(ss,ix);
10128             TOPINT(nss,ix) = i;
10129             i = POPINT(ss,ix);
10130             TOPINT(nss,ix) = i;
10131             sv = (SV*)POPPTR(ss,ix);
10132             TOPPTR(nss,ix) = sv_dup(sv, param);
10133             break;
10134         default:
10135             Perl_croak(aTHX_ "panic: ss_dup inconsistency");
10136         }
10137     }
10138
10139     return nss;
10140 }
10141
10142
10143 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10144  * flag to the result. This is done for each stash before cloning starts,
10145  * so we know which stashes want their objects cloned */
10146
10147 static void
10148 do_mark_cloneable_stash(pTHX_ SV *sv)
10149 {
10150     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10151     if (hvname) {
10152         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10153         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10154         if (cloner && GvCV(cloner)) {
10155             dSP;
10156             UV status;
10157
10158             ENTER;
10159             SAVETMPS;
10160             PUSHMARK(SP);
10161             XPUSHs(sv_2mortal(newSVhek(hvname)));
10162             PUTBACK;
10163             call_sv((SV*)GvCV(cloner), G_SCALAR);
10164             SPAGAIN;
10165             status = POPu;
10166             PUTBACK;
10167             FREETMPS;
10168             LEAVE;
10169             if (status)
10170                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10171         }
10172     }
10173 }
10174
10175
10176
10177 /*
10178 =for apidoc perl_clone
10179
10180 Create and return a new interpreter by cloning the current one.
10181
10182 perl_clone takes these flags as parameters:
10183
10184 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10185 without it we only clone the data and zero the stacks,
10186 with it we copy the stacks and the new perl interpreter is
10187 ready to run at the exact same point as the previous one.
10188 The pseudo-fork code uses COPY_STACKS while the
10189 threads->new doesn't.
10190
10191 CLONEf_KEEP_PTR_TABLE
10192 perl_clone keeps a ptr_table with the pointer of the old
10193 variable as a key and the new variable as a value,
10194 this allows it to check if something has been cloned and not
10195 clone it again but rather just use the value and increase the
10196 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10197 the ptr_table using the function
10198 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10199 reason to keep it around is if you want to dup some of your own
10200 variable who are outside the graph perl scans, example of this
10201 code is in threads.xs create
10202
10203 CLONEf_CLONE_HOST
10204 This is a win32 thing, it is ignored on unix, it tells perls
10205 win32host code (which is c++) to clone itself, this is needed on
10206 win32 if you want to run two threads at the same time,
10207 if you just want to do some stuff in a separate perl interpreter
10208 and then throw it away and return to the original one,
10209 you don't need to do anything.
10210
10211 =cut
10212 */
10213
10214 /* XXX the above needs expanding by someone who actually understands it ! */
10215 EXTERN_C PerlInterpreter *
10216 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10217
10218 PerlInterpreter *
10219 perl_clone(PerlInterpreter *proto_perl, UV flags)
10220 {
10221    dVAR;
10222 #ifdef PERL_IMPLICIT_SYS
10223
10224    /* perlhost.h so we need to call into it
10225    to clone the host, CPerlHost should have a c interface, sky */
10226
10227    if (flags & CLONEf_CLONE_HOST) {
10228        return perl_clone_host(proto_perl,flags);
10229    }
10230    return perl_clone_using(proto_perl, flags,
10231                             proto_perl->IMem,
10232                             proto_perl->IMemShared,
10233                             proto_perl->IMemParse,
10234                             proto_perl->IEnv,
10235                             proto_perl->IStdIO,
10236                             proto_perl->ILIO,
10237                             proto_perl->IDir,
10238                             proto_perl->ISock,
10239                             proto_perl->IProc);
10240 }
10241
10242 PerlInterpreter *
10243 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10244                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10245                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10246                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10247                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10248                  struct IPerlProc* ipP)
10249 {
10250     /* XXX many of the string copies here can be optimized if they're
10251      * constants; they need to be allocated as common memory and just
10252      * their pointers copied. */
10253
10254     IV i;
10255     CLONE_PARAMS clone_params;
10256     CLONE_PARAMS* param = &clone_params;
10257
10258     PerlInterpreter *my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10259     /* for each stash, determine whether its objects should be cloned */
10260     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10261     PERL_SET_THX(my_perl);
10262
10263 #  ifdef DEBUGGING
10264     Poison(my_perl, 1, PerlInterpreter);
10265     PL_op = Nullop;
10266     PL_curcop = (COP *)Nullop;
10267     PL_markstack = 0;
10268     PL_scopestack = 0;
10269     PL_savestack = 0;
10270     PL_savestack_ix = 0;
10271     PL_savestack_max = -1;
10272     PL_sig_pending = 0;
10273     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10274 #  else /* !DEBUGGING */
10275     Zero(my_perl, 1, PerlInterpreter);
10276 #  endif        /* DEBUGGING */
10277
10278     /* host pointers */
10279     PL_Mem              = ipM;
10280     PL_MemShared        = ipMS;
10281     PL_MemParse         = ipMP;
10282     PL_Env              = ipE;
10283     PL_StdIO            = ipStd;
10284     PL_LIO              = ipLIO;
10285     PL_Dir              = ipD;
10286     PL_Sock             = ipS;
10287     PL_Proc             = ipP;
10288 #else           /* !PERL_IMPLICIT_SYS */
10289     IV i;
10290     CLONE_PARAMS clone_params;
10291     CLONE_PARAMS* param = &clone_params;
10292     PerlInterpreter *my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10293     /* for each stash, determine whether its objects should be cloned */
10294     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10295     PERL_SET_THX(my_perl);
10296
10297 #    ifdef DEBUGGING
10298     Poison(my_perl, 1, PerlInterpreter);
10299     PL_op = Nullop;
10300     PL_curcop = (COP *)Nullop;
10301     PL_markstack = 0;
10302     PL_scopestack = 0;
10303     PL_savestack = 0;
10304     PL_savestack_ix = 0;
10305     PL_savestack_max = -1;
10306     PL_sig_pending = 0;
10307     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10308 #    else       /* !DEBUGGING */
10309     Zero(my_perl, 1, PerlInterpreter);
10310 #    endif      /* DEBUGGING */
10311 #endif          /* PERL_IMPLICIT_SYS */
10312     param->flags = flags;
10313     param->proto_perl = proto_perl;
10314
10315     Zero(&PL_body_arenaroots, 1, PL_body_arenaroots);
10316     Zero(&PL_body_roots, 1, PL_body_roots);
10317     
10318     PL_nice_chunk       = NULL;
10319     PL_nice_chunk_size  = 0;
10320     PL_sv_count         = 0;
10321     PL_sv_objcount      = 0;
10322     PL_sv_root          = Nullsv;
10323     PL_sv_arenaroot     = Nullsv;
10324
10325     PL_debug            = proto_perl->Idebug;
10326
10327     PL_hash_seed        = proto_perl->Ihash_seed;
10328     PL_rehash_seed      = proto_perl->Irehash_seed;
10329
10330 #ifdef USE_REENTRANT_API
10331     /* XXX: things like -Dm will segfault here in perlio, but doing
10332      *  PERL_SET_CONTEXT(proto_perl);
10333      * breaks too many other things
10334      */
10335     Perl_reentrant_init(aTHX);
10336 #endif
10337
10338     /* create SV map for pointer relocation */
10339     PL_ptr_table = ptr_table_new();
10340
10341     /* initialize these special pointers as early as possible */
10342     SvANY(&PL_sv_undef)         = NULL;
10343     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
10344     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
10345     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
10346
10347     SvANY(&PL_sv_no)            = new_XPVNV();
10348     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
10349     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10350                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10351     SvPV_set(&PL_sv_no, SAVEPVN(PL_No, 0));
10352     SvCUR_set(&PL_sv_no, 0);
10353     SvLEN_set(&PL_sv_no, 1);
10354     SvIV_set(&PL_sv_no, 0);
10355     SvNV_set(&PL_sv_no, 0);
10356     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
10357
10358     SvANY(&PL_sv_yes)           = new_XPVNV();
10359     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
10360     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10361                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10362     SvPV_set(&PL_sv_yes, SAVEPVN(PL_Yes, 1));
10363     SvCUR_set(&PL_sv_yes, 1);
10364     SvLEN_set(&PL_sv_yes, 2);
10365     SvIV_set(&PL_sv_yes, 1);
10366     SvNV_set(&PL_sv_yes, 1);
10367     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
10368
10369     /* create (a non-shared!) shared string table */
10370     PL_strtab           = newHV();
10371     HvSHAREKEYS_off(PL_strtab);
10372     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
10373     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
10374
10375     PL_compiling = proto_perl->Icompiling;
10376
10377     /* These two PVs will be free'd special way so must set them same way op.c does */
10378     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
10379     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
10380
10381     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
10382     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
10383
10384     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
10385     if (!specialWARN(PL_compiling.cop_warnings))
10386         PL_compiling.cop_warnings = sv_dup_inc(PL_compiling.cop_warnings, param);
10387     if (!specialCopIO(PL_compiling.cop_io))
10388         PL_compiling.cop_io = sv_dup_inc(PL_compiling.cop_io, param);
10389     PL_curcop           = (COP*)any_dup(proto_perl->Tcurcop, proto_perl);
10390
10391     /* pseudo environmental stuff */
10392     PL_origargc         = proto_perl->Iorigargc;
10393     PL_origargv         = proto_perl->Iorigargv;
10394
10395     param->stashes      = newAV();  /* Setup array of objects to call clone on */
10396
10397     /* Set tainting stuff before PerlIO_debug can possibly get called */
10398     PL_tainting         = proto_perl->Itainting;
10399     PL_taint_warn       = proto_perl->Itaint_warn;
10400
10401 #ifdef PERLIO_LAYERS
10402     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
10403     PerlIO_clone(aTHX_ proto_perl, param);
10404 #endif
10405
10406     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
10407     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
10408     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
10409     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
10410     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
10411     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
10412
10413     /* switches */
10414     PL_minus_c          = proto_perl->Iminus_c;
10415     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
10416     PL_localpatches     = proto_perl->Ilocalpatches;
10417     PL_splitstr         = proto_perl->Isplitstr;
10418     PL_preprocess       = proto_perl->Ipreprocess;
10419     PL_minus_n          = proto_perl->Iminus_n;
10420     PL_minus_p          = proto_perl->Iminus_p;
10421     PL_minus_l          = proto_perl->Iminus_l;
10422     PL_minus_a          = proto_perl->Iminus_a;
10423     PL_minus_E          = proto_perl->Iminus_E;
10424     PL_minus_F          = proto_perl->Iminus_F;
10425     PL_doswitches       = proto_perl->Idoswitches;
10426     PL_dowarn           = proto_perl->Idowarn;
10427     PL_doextract        = proto_perl->Idoextract;
10428     PL_sawampersand     = proto_perl->Isawampersand;
10429     PL_unsafe           = proto_perl->Iunsafe;
10430     PL_inplace          = SAVEPV(proto_perl->Iinplace);
10431     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
10432     PL_perldb           = proto_perl->Iperldb;
10433     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
10434     PL_exit_flags       = proto_perl->Iexit_flags;
10435
10436     /* magical thingies */
10437     /* XXX time(&PL_basetime) when asked for? */
10438     PL_basetime         = proto_perl->Ibasetime;
10439     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
10440
10441     PL_maxsysfd         = proto_perl->Imaxsysfd;
10442     PL_multiline        = proto_perl->Imultiline;
10443     PL_statusvalue      = proto_perl->Istatusvalue;
10444 #ifdef VMS
10445     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
10446 #else
10447     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
10448 #endif
10449     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
10450
10451     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
10452     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
10453     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
10454
10455     /* Clone the regex array */
10456     PL_regex_padav = newAV();
10457     {
10458         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
10459         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
10460         IV i;
10461         av_push(PL_regex_padav,
10462                 sv_dup_inc(regexen[0],param));
10463         for(i = 1; i <= len; i++) {
10464             const SV * const regex = regexen[i];
10465             SV * const sv =
10466                 SvREPADTMP(regex)
10467                     ? sv_dup_inc(regex, param)
10468                     : SvREFCNT_inc(
10469                         newSViv(PTR2IV(re_dup(
10470                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
10471                 ;
10472             av_push(PL_regex_padav, sv);
10473         }
10474     }
10475     PL_regex_pad = AvARRAY(PL_regex_padav);
10476
10477     /* shortcuts to various I/O objects */
10478     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
10479     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
10480     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
10481     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
10482     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
10483     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
10484
10485     /* shortcuts to regexp stuff */
10486     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
10487
10488     /* shortcuts to misc objects */
10489     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
10490
10491     /* shortcuts to debugging objects */
10492     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
10493     PL_DBline           = gv_dup(proto_perl->IDBline, param);
10494     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
10495     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
10496     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
10497     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
10498     PL_DBassertion      = sv_dup(proto_perl->IDBassertion, param);
10499     PL_lineary          = av_dup(proto_perl->Ilineary, param);
10500     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
10501
10502     /* symbol tables */
10503     PL_defstash         = hv_dup_inc(proto_perl->Tdefstash, param);
10504     PL_curstash         = hv_dup(proto_perl->Tcurstash, param);
10505     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
10506     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
10507     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
10508
10509     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
10510     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
10511     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
10512     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
10513     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
10514     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
10515
10516     PL_sub_generation   = proto_perl->Isub_generation;
10517
10518     /* funky return mechanisms */
10519     PL_forkprocess      = proto_perl->Iforkprocess;
10520
10521     /* subprocess state */
10522     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
10523
10524     /* internal state */
10525     PL_maxo             = proto_perl->Imaxo;
10526     if (proto_perl->Iop_mask)
10527         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
10528     else
10529         PL_op_mask      = Nullch;
10530     /* PL_asserting        = proto_perl->Iasserting; */
10531
10532     /* current interpreter roots */
10533     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
10534     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
10535     PL_main_start       = proto_perl->Imain_start;
10536     PL_eval_root        = proto_perl->Ieval_root;
10537     PL_eval_start       = proto_perl->Ieval_start;
10538
10539     /* runtime control stuff */
10540     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
10541     PL_copline          = proto_perl->Icopline;
10542
10543     PL_filemode         = proto_perl->Ifilemode;
10544     PL_lastfd           = proto_perl->Ilastfd;
10545     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
10546     PL_Argv             = NULL;
10547     PL_Cmd              = Nullch;
10548     PL_gensym           = proto_perl->Igensym;
10549     PL_preambled        = proto_perl->Ipreambled;
10550     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
10551     PL_laststatval      = proto_perl->Ilaststatval;
10552     PL_laststype        = proto_perl->Ilaststype;
10553     PL_mess_sv          = Nullsv;
10554
10555     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
10556
10557     /* interpreter atexit processing */
10558     PL_exitlistlen      = proto_perl->Iexitlistlen;
10559     if (PL_exitlistlen) {
10560         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
10561         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
10562     }
10563     else
10564         PL_exitlist     = (PerlExitListEntry*)NULL;
10565
10566     PL_my_cxt_size = proto_perl->Imy_cxt_size;
10567     if (PL_my_cxt_size) {
10568         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
10569         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
10570     }
10571     else
10572         PL_my_cxt_list  = (void**)NULL;
10573     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
10574     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
10575     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
10576
10577     PL_profiledata      = NULL;
10578     PL_rsfp             = fp_dup(proto_perl->Irsfp, '<', param);
10579     /* PL_rsfp_filters entries have fake IoDIRP() */
10580     PL_rsfp_filters     = av_dup_inc(proto_perl->Irsfp_filters, param);
10581
10582     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
10583
10584     PAD_CLONE_VARS(proto_perl, param);
10585
10586 #ifdef HAVE_INTERP_INTERN
10587     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
10588 #endif
10589
10590     /* more statics moved here */
10591     PL_generation       = proto_perl->Igeneration;
10592     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
10593
10594     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
10595     PL_in_clean_all     = proto_perl->Iin_clean_all;
10596
10597     PL_uid              = proto_perl->Iuid;
10598     PL_euid             = proto_perl->Ieuid;
10599     PL_gid              = proto_perl->Igid;
10600     PL_egid             = proto_perl->Iegid;
10601     PL_nomemok          = proto_perl->Inomemok;
10602     PL_an               = proto_perl->Ian;
10603     PL_evalseq          = proto_perl->Ievalseq;
10604     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
10605     PL_origalen         = proto_perl->Iorigalen;
10606 #ifdef PERL_USES_PL_PIDSTATUS
10607     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
10608 #endif
10609     PL_osname           = SAVEPV(proto_perl->Iosname);
10610     PL_sighandlerp      = proto_perl->Isighandlerp;
10611
10612     PL_runops           = proto_perl->Irunops;
10613
10614     Copy(proto_perl->Itokenbuf, PL_tokenbuf, 256, char);
10615
10616 #ifdef CSH
10617     PL_cshlen           = proto_perl->Icshlen;
10618     PL_cshname          = proto_perl->Icshname; /* XXX never deallocated */
10619 #endif
10620
10621     PL_lex_state        = proto_perl->Ilex_state;
10622     PL_lex_defer        = proto_perl->Ilex_defer;
10623     PL_lex_expect       = proto_perl->Ilex_expect;
10624     PL_lex_formbrack    = proto_perl->Ilex_formbrack;
10625     PL_lex_dojoin       = proto_perl->Ilex_dojoin;
10626     PL_lex_starts       = proto_perl->Ilex_starts;
10627     PL_lex_stuff        = sv_dup_inc(proto_perl->Ilex_stuff, param);
10628     PL_lex_repl         = sv_dup_inc(proto_perl->Ilex_repl, param);
10629     PL_lex_op           = proto_perl->Ilex_op;
10630     PL_lex_inpat        = proto_perl->Ilex_inpat;
10631     PL_lex_inwhat       = proto_perl->Ilex_inwhat;
10632     PL_lex_brackets     = proto_perl->Ilex_brackets;
10633     i = (PL_lex_brackets < 120 ? 120 : PL_lex_brackets);
10634     PL_lex_brackstack   = SAVEPVN(proto_perl->Ilex_brackstack,i);
10635     PL_lex_casemods     = proto_perl->Ilex_casemods;
10636     i = (PL_lex_casemods < 12 ? 12 : PL_lex_casemods);
10637     PL_lex_casestack    = SAVEPVN(proto_perl->Ilex_casestack,i);
10638
10639     Copy(proto_perl->Inextval, PL_nextval, 5, YYSTYPE);
10640     Copy(proto_perl->Inexttype, PL_nexttype, 5, I32);
10641     PL_nexttoke         = proto_perl->Inexttoke;
10642
10643     /* XXX This is probably masking the deeper issue of why
10644      * SvANY(proto_perl->Ilinestr) can be NULL at this point. For test case:
10645      * http://archive.develooper.com/perl5-porters%40perl.org/msg83298.html
10646      * (A little debugging with a watchpoint on it may help.)
10647      */
10648     if (SvANY(proto_perl->Ilinestr)) {
10649         PL_linestr              = sv_dup_inc(proto_perl->Ilinestr, param);
10650         i = proto_perl->Ibufptr - SvPVX_const(proto_perl->Ilinestr);
10651         PL_bufptr               = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10652         i = proto_perl->Ioldbufptr - SvPVX_const(proto_perl->Ilinestr);
10653         PL_oldbufptr    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10654         i = proto_perl->Ioldoldbufptr - SvPVX_const(proto_perl->Ilinestr);
10655         PL_oldoldbufptr = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10656         i = proto_perl->Ilinestart - SvPVX_const(proto_perl->Ilinestr);
10657         PL_linestart    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10658     }
10659     else {
10660         PL_linestr = newSV(79);
10661         sv_upgrade(PL_linestr,SVt_PVIV);
10662         sv_setpvn(PL_linestr,"",0);
10663         PL_bufptr = PL_oldbufptr = PL_oldoldbufptr = PL_linestart = SvPVX(PL_linestr);
10664     }
10665     PL_bufend           = SvPVX(PL_linestr) + SvCUR(PL_linestr);
10666     PL_pending_ident    = proto_perl->Ipending_ident;
10667     PL_sublex_info      = proto_perl->Isublex_info;     /* XXX not quite right */
10668
10669     PL_expect           = proto_perl->Iexpect;
10670
10671     PL_multi_start      = proto_perl->Imulti_start;
10672     PL_multi_end        = proto_perl->Imulti_end;
10673     PL_multi_open       = proto_perl->Imulti_open;
10674     PL_multi_close      = proto_perl->Imulti_close;
10675
10676     PL_error_count      = proto_perl->Ierror_count;
10677     PL_subline          = proto_perl->Isubline;
10678     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
10679
10680     /* XXX See comment on SvANY(proto_perl->Ilinestr) above */
10681     if (SvANY(proto_perl->Ilinestr)) {
10682         i = proto_perl->Ilast_uni - SvPVX_const(proto_perl->Ilinestr);
10683         PL_last_uni             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10684         i = proto_perl->Ilast_lop - SvPVX_const(proto_perl->Ilinestr);
10685         PL_last_lop             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10686         PL_last_lop_op  = proto_perl->Ilast_lop_op;
10687     }
10688     else {
10689         PL_last_uni     = SvPVX(PL_linestr);
10690         PL_last_lop     = SvPVX(PL_linestr);
10691         PL_last_lop_op  = 0;
10692     }
10693     PL_in_my            = proto_perl->Iin_my;
10694     PL_in_my_stash      = hv_dup(proto_perl->Iin_my_stash, param);
10695 #ifdef FCRYPT
10696     PL_cryptseen        = proto_perl->Icryptseen;
10697 #endif
10698
10699     PL_hints            = proto_perl->Ihints;
10700
10701     PL_amagic_generation        = proto_perl->Iamagic_generation;
10702
10703 #ifdef USE_LOCALE_COLLATE
10704     PL_collation_ix     = proto_perl->Icollation_ix;
10705     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
10706     PL_collation_standard       = proto_perl->Icollation_standard;
10707     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
10708     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
10709 #endif /* USE_LOCALE_COLLATE */
10710
10711 #ifdef USE_LOCALE_NUMERIC
10712     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
10713     PL_numeric_standard = proto_perl->Inumeric_standard;
10714     PL_numeric_local    = proto_perl->Inumeric_local;
10715     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
10716 #endif /* !USE_LOCALE_NUMERIC */
10717
10718     /* utf8 character classes */
10719     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
10720     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
10721     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
10722     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
10723     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
10724     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
10725     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
10726     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
10727     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
10728     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
10729     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
10730     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
10731     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
10732     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
10733     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
10734     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
10735     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
10736     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
10737     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
10738     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
10739
10740     /* Did the locale setup indicate UTF-8? */
10741     PL_utf8locale       = proto_perl->Iutf8locale;
10742     /* Unicode features (see perlrun/-C) */
10743     PL_unicode          = proto_perl->Iunicode;
10744
10745     /* Pre-5.8 signals control */
10746     PL_signals          = proto_perl->Isignals;
10747
10748     /* times() ticks per second */
10749     PL_clocktick        = proto_perl->Iclocktick;
10750
10751     /* Recursion stopper for PerlIO_find_layer */
10752     PL_in_load_module   = proto_perl->Iin_load_module;
10753
10754     /* sort() routine */
10755     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
10756
10757     /* Not really needed/useful since the reenrant_retint is "volatile",
10758      * but do it for consistency's sake. */
10759     PL_reentrant_retint = proto_perl->Ireentrant_retint;
10760
10761     /* Hooks to shared SVs and locks. */
10762     PL_sharehook        = proto_perl->Isharehook;
10763     PL_lockhook         = proto_perl->Ilockhook;
10764     PL_unlockhook       = proto_perl->Iunlockhook;
10765     PL_threadhook       = proto_perl->Ithreadhook;
10766
10767     PL_runops_std       = proto_perl->Irunops_std;
10768     PL_runops_dbg       = proto_perl->Irunops_dbg;
10769
10770 #ifdef THREADS_HAVE_PIDS
10771     PL_ppid             = proto_perl->Ippid;
10772 #endif
10773
10774     /* swatch cache */
10775     PL_last_swash_hv    = NULL; /* reinits on demand */
10776     PL_last_swash_klen  = 0;
10777     PL_last_swash_key[0]= '\0';
10778     PL_last_swash_tmps  = (U8*)NULL;
10779     PL_last_swash_slen  = 0;
10780
10781     PL_glob_index       = proto_perl->Iglob_index;
10782     PL_srand_called     = proto_perl->Isrand_called;
10783     PL_uudmap['M']      = 0;            /* reinits on demand */
10784     PL_bitcount         = Nullch;       /* reinits on demand */
10785
10786     if (proto_perl->Ipsig_pend) {
10787         Newxz(PL_psig_pend, SIG_SIZE, int);
10788     }
10789     else {
10790         PL_psig_pend    = (int*)NULL;
10791     }
10792
10793     if (proto_perl->Ipsig_ptr) {
10794         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
10795         Newxz(PL_psig_name, SIG_SIZE, SV*);
10796         for (i = 1; i < SIG_SIZE; i++) {
10797             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
10798             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
10799         }
10800     }
10801     else {
10802         PL_psig_ptr     = (SV**)NULL;
10803         PL_psig_name    = (SV**)NULL;
10804     }
10805
10806     /* thrdvar.h stuff */
10807
10808     if (flags & CLONEf_COPY_STACKS) {
10809         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
10810         PL_tmps_ix              = proto_perl->Ttmps_ix;
10811         PL_tmps_max             = proto_perl->Ttmps_max;
10812         PL_tmps_floor           = proto_perl->Ttmps_floor;
10813         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
10814         i = 0;
10815         while (i <= PL_tmps_ix) {
10816             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Ttmps_stack[i], param);
10817             ++i;
10818         }
10819
10820         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
10821         i = proto_perl->Tmarkstack_max - proto_perl->Tmarkstack;
10822         Newxz(PL_markstack, i, I32);
10823         PL_markstack_max        = PL_markstack + (proto_perl->Tmarkstack_max
10824                                                   - proto_perl->Tmarkstack);
10825         PL_markstack_ptr        = PL_markstack + (proto_perl->Tmarkstack_ptr
10826                                                   - proto_perl->Tmarkstack);
10827         Copy(proto_perl->Tmarkstack, PL_markstack,
10828              PL_markstack_ptr - PL_markstack + 1, I32);
10829
10830         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
10831          * NOTE: unlike the others! */
10832         PL_scopestack_ix        = proto_perl->Tscopestack_ix;
10833         PL_scopestack_max       = proto_perl->Tscopestack_max;
10834         Newxz(PL_scopestack, PL_scopestack_max, I32);
10835         Copy(proto_perl->Tscopestack, PL_scopestack, PL_scopestack_ix, I32);
10836
10837         /* NOTE: si_dup() looks at PL_markstack */
10838         PL_curstackinfo         = si_dup(proto_perl->Tcurstackinfo, param);
10839
10840         /* PL_curstack          = PL_curstackinfo->si_stack; */
10841         PL_curstack             = av_dup(proto_perl->Tcurstack, param);
10842         PL_mainstack            = av_dup(proto_perl->Tmainstack, param);
10843
10844         /* next PUSHs() etc. set *(PL_stack_sp+1) */
10845         PL_stack_base           = AvARRAY(PL_curstack);
10846         PL_stack_sp             = PL_stack_base + (proto_perl->Tstack_sp
10847                                                    - proto_perl->Tstack_base);
10848         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
10849
10850         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
10851          * NOTE: unlike the others! */
10852         PL_savestack_ix         = proto_perl->Tsavestack_ix;
10853         PL_savestack_max        = proto_perl->Tsavestack_max;
10854         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
10855         PL_savestack            = ss_dup(proto_perl, param);
10856     }
10857     else {
10858         init_stacks();
10859         ENTER;                  /* perl_destruct() wants to LEAVE; */
10860
10861         /* although we're not duplicating the tmps stack, we should still
10862          * add entries for any SVs on the tmps stack that got cloned by a
10863          * non-refcount means (eg a temp in @_); otherwise they will be
10864          * orphaned
10865          */
10866         for (i = 0; i<= proto_perl->Ttmps_ix; i++) {
10867             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
10868                     proto_perl->Ttmps_stack[i]);
10869             if (nsv && !SvREFCNT(nsv)) {
10870                 EXTEND_MORTAL(1);
10871                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc(nsv);
10872             }
10873         }
10874     }
10875
10876     PL_start_env        = proto_perl->Tstart_env;       /* XXXXXX */
10877     PL_top_env          = &PL_start_env;
10878
10879     PL_op               = proto_perl->Top;
10880
10881     PL_Sv               = Nullsv;
10882     PL_Xpv              = (XPV*)NULL;
10883     PL_na               = proto_perl->Tna;
10884
10885     PL_statbuf          = proto_perl->Tstatbuf;
10886     PL_statcache        = proto_perl->Tstatcache;
10887     PL_statgv           = gv_dup(proto_perl->Tstatgv, param);
10888     PL_statname         = sv_dup_inc(proto_perl->Tstatname, param);
10889 #ifdef HAS_TIMES
10890     PL_timesbuf         = proto_perl->Ttimesbuf;
10891 #endif
10892
10893     PL_tainted          = proto_perl->Ttainted;
10894     PL_curpm            = proto_perl->Tcurpm;   /* XXX No PMOP ref count */
10895     PL_rs               = sv_dup_inc(proto_perl->Trs, param);
10896     PL_last_in_gv       = gv_dup(proto_perl->Tlast_in_gv, param);
10897     PL_ofs_sv           = sv_dup_inc(proto_perl->Tofs_sv, param);
10898     PL_defoutgv         = gv_dup_inc(proto_perl->Tdefoutgv, param);
10899     PL_chopset          = proto_perl->Tchopset; /* XXX never deallocated */
10900     PL_toptarget        = sv_dup_inc(proto_perl->Ttoptarget, param);
10901     PL_bodytarget       = sv_dup_inc(proto_perl->Tbodytarget, param);
10902     PL_formtarget       = sv_dup(proto_perl->Tformtarget, param);
10903
10904     PL_restartop        = proto_perl->Trestartop;
10905     PL_in_eval          = proto_perl->Tin_eval;
10906     PL_delaymagic       = proto_perl->Tdelaymagic;
10907     PL_dirty            = proto_perl->Tdirty;
10908     PL_localizing       = proto_perl->Tlocalizing;
10909
10910     PL_errors           = sv_dup_inc(proto_perl->Terrors, param);
10911     PL_hv_fetch_ent_mh  = Nullhe;
10912     PL_modcount         = proto_perl->Tmodcount;
10913     PL_lastgotoprobe    = Nullop;
10914     PL_dumpindent       = proto_perl->Tdumpindent;
10915
10916     PL_sortcop          = (OP*)any_dup(proto_perl->Tsortcop, proto_perl);
10917     PL_sortstash        = hv_dup(proto_perl->Tsortstash, param);
10918     PL_firstgv          = gv_dup(proto_perl->Tfirstgv, param);
10919     PL_secondgv         = gv_dup(proto_perl->Tsecondgv, param);
10920     PL_efloatbuf        = Nullch;               /* reinits on demand */
10921     PL_efloatsize       = 0;                    /* reinits on demand */
10922
10923     /* regex stuff */
10924
10925     PL_screamfirst      = NULL;
10926     PL_screamnext       = NULL;
10927     PL_maxscream        = -1;                   /* reinits on demand */
10928     PL_lastscream       = Nullsv;
10929
10930     PL_watchaddr        = NULL;
10931     PL_watchok          = Nullch;
10932
10933     PL_regdummy         = proto_perl->Tregdummy;
10934     PL_regprecomp       = Nullch;
10935     PL_regnpar          = 0;
10936     PL_regsize          = 0;
10937     PL_colorset         = 0;            /* reinits PL_colors[] */
10938     /*PL_colors[6]      = {0,0,0,0,0,0};*/
10939     PL_reginput         = Nullch;
10940     PL_regbol           = Nullch;
10941     PL_regeol           = Nullch;
10942     PL_regstartp        = (I32*)NULL;
10943     PL_regendp          = (I32*)NULL;
10944     PL_reglastparen     = (U32*)NULL;
10945     PL_reglastcloseparen        = (U32*)NULL;
10946     PL_regtill          = Nullch;
10947     PL_reg_start_tmp    = (char**)NULL;
10948     PL_reg_start_tmpl   = 0;
10949     PL_regdata          = (struct reg_data*)NULL;
10950     PL_bostr            = Nullch;
10951     PL_reg_flags        = 0;
10952     PL_reg_eval_set     = 0;
10953     PL_regnarrate       = 0;
10954     PL_regprogram       = (regnode*)NULL;
10955     PL_regindent        = 0;
10956     PL_regcc            = (CURCUR*)NULL;
10957     PL_reg_call_cc      = (struct re_cc_state*)NULL;
10958     PL_reg_re           = (regexp*)NULL;
10959     PL_reg_ganch        = Nullch;
10960     PL_reg_sv           = Nullsv;
10961     PL_reg_match_utf8   = FALSE;
10962     PL_reg_magic        = (MAGIC*)NULL;
10963     PL_reg_oldpos       = 0;
10964     PL_reg_oldcurpm     = (PMOP*)NULL;
10965     PL_reg_curpm        = (PMOP*)NULL;
10966     PL_reg_oldsaved     = Nullch;
10967     PL_reg_oldsavedlen  = 0;
10968 #ifdef PERL_OLD_COPY_ON_WRITE
10969     PL_nrs              = Nullsv;
10970 #endif
10971     PL_reg_maxiter      = 0;
10972     PL_reg_leftiter     = 0;
10973     PL_reg_poscache     = Nullch;
10974     PL_reg_poscache_size= 0;
10975
10976     /* RE engine - function pointers */
10977     PL_regcompp         = proto_perl->Tregcompp;
10978     PL_regexecp         = proto_perl->Tregexecp;
10979     PL_regint_start     = proto_perl->Tregint_start;
10980     PL_regint_string    = proto_perl->Tregint_string;
10981     PL_regfree          = proto_perl->Tregfree;
10982
10983     PL_reginterp_cnt    = 0;
10984     PL_reg_starttry     = 0;
10985
10986     /* Pluggable optimizer */
10987     PL_peepp            = proto_perl->Tpeepp;
10988
10989     PL_stashcache       = newHV();
10990
10991     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
10992         ptr_table_free(PL_ptr_table);
10993         PL_ptr_table = NULL;
10994     }
10995
10996     /* Call the ->CLONE method, if it exists, for each of the stashes
10997        identified by sv_dup() above.
10998     */
10999     while(av_len(param->stashes) != -1) {
11000         HV* const stash = (HV*) av_shift(param->stashes);
11001         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11002         if (cloner && GvCV(cloner)) {
11003             dSP;
11004             ENTER;
11005             SAVETMPS;
11006             PUSHMARK(SP);
11007             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11008             PUTBACK;
11009             call_sv((SV*)GvCV(cloner), G_DISCARD);
11010             FREETMPS;
11011             LEAVE;
11012         }
11013     }
11014
11015     SvREFCNT_dec(param->stashes);
11016
11017     /* orphaned? eg threads->new inside BEGIN or use */
11018     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11019         (void)SvREFCNT_inc(PL_compcv);
11020         SAVEFREESV(PL_compcv);
11021     }
11022
11023     return my_perl;
11024 }
11025
11026 #endif /* USE_ITHREADS */
11027
11028 /*
11029 =head1 Unicode Support
11030
11031 =for apidoc sv_recode_to_utf8
11032
11033 The encoding is assumed to be an Encode object, on entry the PV
11034 of the sv is assumed to be octets in that encoding, and the sv
11035 will be converted into Unicode (and UTF-8).
11036
11037 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11038 is not a reference, nothing is done to the sv.  If the encoding is not
11039 an C<Encode::XS> Encoding object, bad things will happen.
11040 (See F<lib/encoding.pm> and L<Encode>).
11041
11042 The PV of the sv is returned.
11043
11044 =cut */
11045
11046 char *
11047 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11048 {
11049     dVAR;
11050     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11051         SV *uni;
11052         STRLEN len;
11053         const char *s;
11054         dSP;
11055         ENTER;
11056         SAVETMPS;
11057         save_re_context();
11058         PUSHMARK(sp);
11059         EXTEND(SP, 3);
11060         XPUSHs(encoding);
11061         XPUSHs(sv);
11062 /*
11063   NI-S 2002/07/09
11064   Passing sv_yes is wrong - it needs to be or'ed set of constants
11065   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11066   remove converted chars from source.
11067
11068   Both will default the value - let them.
11069
11070         XPUSHs(&PL_sv_yes);
11071 */
11072         PUTBACK;
11073         call_method("decode", G_SCALAR);
11074         SPAGAIN;
11075         uni = POPs;
11076         PUTBACK;
11077         s = SvPV_const(uni, len);
11078         if (s != SvPVX_const(sv)) {
11079             SvGROW(sv, len + 1);
11080             Move(s, SvPVX(sv), len + 1, char);
11081             SvCUR_set(sv, len);
11082         }
11083         FREETMPS;
11084         LEAVE;
11085         SvUTF8_on(sv);
11086         return SvPVX(sv);
11087     }
11088     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11089 }
11090
11091 /*
11092 =for apidoc sv_cat_decode
11093
11094 The encoding is assumed to be an Encode object, the PV of the ssv is
11095 assumed to be octets in that encoding and decoding the input starts
11096 from the position which (PV + *offset) pointed to.  The dsv will be
11097 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11098 when the string tstr appears in decoding output or the input ends on
11099 the PV of the ssv. The value which the offset points will be modified
11100 to the last input position on the ssv.
11101
11102 Returns TRUE if the terminator was found, else returns FALSE.
11103
11104 =cut */
11105
11106 bool
11107 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11108                    SV *ssv, int *offset, char *tstr, int tlen)
11109 {
11110     dVAR;
11111     bool ret = FALSE;
11112     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11113         SV *offsv;
11114         dSP;
11115         ENTER;
11116         SAVETMPS;
11117         save_re_context();
11118         PUSHMARK(sp);
11119         EXTEND(SP, 6);
11120         XPUSHs(encoding);
11121         XPUSHs(dsv);
11122         XPUSHs(ssv);
11123         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11124         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11125         PUTBACK;
11126         call_method("cat_decode", G_SCALAR);
11127         SPAGAIN;
11128         ret = SvTRUE(TOPs);
11129         *offset = SvIV(offsv);
11130         PUTBACK;
11131         FREETMPS;
11132         LEAVE;
11133     }
11134     else
11135         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11136     return ret;
11137
11138 }
11139
11140 /* ---------------------------------------------------------------------
11141  *
11142  * support functions for report_uninit()
11143  */
11144
11145 /* the maxiumum size of array or hash where we will scan looking
11146  * for the undefined element that triggered the warning */
11147
11148 #define FUV_MAX_SEARCH_SIZE 1000
11149
11150 /* Look for an entry in the hash whose value has the same SV as val;
11151  * If so, return a mortal copy of the key. */
11152
11153 STATIC SV*
11154 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11155 {
11156     dVAR;
11157     register HE **array;
11158     I32 i;
11159
11160     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11161                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11162         return Nullsv;
11163
11164     array = HvARRAY(hv);
11165
11166     for (i=HvMAX(hv); i>0; i--) {
11167         register HE *entry;
11168         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11169             if (HeVAL(entry) != val)
11170                 continue;
11171             if (    HeVAL(entry) == &PL_sv_undef ||
11172                     HeVAL(entry) == &PL_sv_placeholder)
11173                 continue;
11174             if (!HeKEY(entry))
11175                 return Nullsv;
11176             if (HeKLEN(entry) == HEf_SVKEY)
11177                 return sv_mortalcopy(HeKEY_sv(entry));
11178             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11179         }
11180     }
11181     return Nullsv;
11182 }
11183
11184 /* Look for an entry in the array whose value has the same SV as val;
11185  * If so, return the index, otherwise return -1. */
11186
11187 STATIC I32
11188 S_find_array_subscript(pTHX_ AV *av, SV* val)
11189 {
11190     dVAR;
11191     SV** svp;
11192     I32 i;
11193     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11194                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11195         return -1;
11196
11197     svp = AvARRAY(av);
11198     for (i=AvFILLp(av); i>=0; i--) {
11199         if (svp[i] == val && svp[i] != &PL_sv_undef)
11200             return i;
11201     }
11202     return -1;
11203 }
11204
11205 /* S_varname(): return the name of a variable, optionally with a subscript.
11206  * If gv is non-zero, use the name of that global, along with gvtype (one
11207  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11208  * targ.  Depending on the value of the subscript_type flag, return:
11209  */
11210
11211 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11212 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11213 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11214 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11215
11216 STATIC SV*
11217 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11218         SV* keyname, I32 aindex, int subscript_type)
11219 {
11220
11221     SV * const name = sv_newmortal();
11222     if (gv) {
11223         char buffer[2];
11224         buffer[0] = gvtype;
11225         buffer[1] = 0;
11226
11227         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11228
11229         gv_fullname4(name, gv, buffer, 0);
11230
11231         if ((unsigned int)SvPVX(name)[1] <= 26) {
11232             buffer[0] = '^';
11233             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11234
11235             /* Swap the 1 unprintable control character for the 2 byte pretty
11236                version - ie substr($name, 1, 1) = $buffer; */
11237             sv_insert(name, 1, 1, buffer, 2);
11238         }
11239     }
11240     else {
11241         U32 unused;
11242         CV * const cv = find_runcv(&unused);
11243         SV *sv;
11244         AV *av;
11245
11246         if (!cv || !CvPADLIST(cv))
11247             return Nullsv;
11248         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11249         sv = *av_fetch(av, targ, FALSE);
11250         /* SvLEN in a pad name is not to be trusted */
11251         sv_setpv(name, SvPV_nolen_const(sv));
11252     }
11253
11254     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11255         SV * const sv = newSV(0);
11256         *SvPVX(name) = '$';
11257         Perl_sv_catpvf(aTHX_ name, "{%s}",
11258             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11259         SvREFCNT_dec(sv);
11260     }
11261     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11262         *SvPVX(name) = '$';
11263         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11264     }
11265     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11266         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11267
11268     return name;
11269 }
11270
11271
11272 /*
11273 =for apidoc find_uninit_var
11274
11275 Find the name of the undefined variable (if any) that caused the operator o
11276 to issue a "Use of uninitialized value" warning.
11277 If match is true, only return a name if it's value matches uninit_sv.
11278 So roughly speaking, if a unary operator (such as OP_COS) generates a
11279 warning, then following the direct child of the op may yield an
11280 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11281 other hand, with OP_ADD there are two branches to follow, so we only print
11282 the variable name if we get an exact match.
11283
11284 The name is returned as a mortal SV.
11285
11286 Assumes that PL_op is the op that originally triggered the error, and that
11287 PL_comppad/PL_curpad points to the currently executing pad.
11288
11289 =cut
11290 */
11291
11292 STATIC SV *
11293 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11294 {
11295     dVAR;
11296     SV *sv;
11297     AV *av;
11298     GV *gv;
11299     OP *o, *o2, *kid;
11300
11301     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11302                             uninit_sv == &PL_sv_placeholder)))
11303         return Nullsv;
11304
11305     switch (obase->op_type) {
11306
11307     case OP_RV2AV:
11308     case OP_RV2HV:
11309     case OP_PADAV:
11310     case OP_PADHV:
11311       {
11312         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11313         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11314         I32 index = 0;
11315         SV *keysv = Nullsv;
11316         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11317
11318         if (pad) { /* @lex, %lex */
11319             sv = PAD_SVl(obase->op_targ);
11320             gv = Nullgv;
11321         }
11322         else {
11323             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11324             /* @global, %global */
11325                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11326                 if (!gv)
11327                     break;
11328                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11329             }
11330             else /* @{expr}, %{expr} */
11331                 return find_uninit_var(cUNOPx(obase)->op_first,
11332                                                     uninit_sv, match);
11333         }
11334
11335         /* attempt to find a match within the aggregate */
11336         if (hash) {
11337             keysv = S_find_hash_subscript(aTHX_ (HV*)sv, uninit_sv);
11338             if (keysv)
11339                 subscript_type = FUV_SUBSCRIPT_HASH;
11340         }
11341         else {
11342             index = S_find_array_subscript(aTHX_ (AV*)sv, uninit_sv);
11343             if (index >= 0)
11344                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11345         }
11346
11347         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11348             break;
11349
11350         return varname(gv, hash ? '%' : '@', obase->op_targ,
11351                                     keysv, index, subscript_type);
11352       }
11353
11354     case OP_PADSV:
11355         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11356             break;
11357         return varname(Nullgv, '$', obase->op_targ,
11358                                     Nullsv, 0, FUV_SUBSCRIPT_NONE);
11359
11360     case OP_GVSV:
11361         gv = cGVOPx_gv(obase);
11362         if (!gv || (match && GvSV(gv) != uninit_sv))
11363             break;
11364         return varname(gv, '$', 0, Nullsv, 0, FUV_SUBSCRIPT_NONE);
11365
11366     case OP_AELEMFAST:
11367         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11368             if (match) {
11369                 SV **svp;
11370                 av = (AV*)PAD_SV(obase->op_targ);
11371                 if (!av || SvRMAGICAL(av))
11372                     break;
11373                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11374                 if (!svp || *svp != uninit_sv)
11375                     break;
11376             }
11377             return varname(Nullgv, '$', obase->op_targ,
11378                     Nullsv, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11379         }
11380         else {
11381             gv = cGVOPx_gv(obase);
11382             if (!gv)
11383                 break;
11384             if (match) {
11385                 SV **svp;
11386                 av = GvAV(gv);
11387                 if (!av || SvRMAGICAL(av))
11388                     break;
11389                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11390                 if (!svp || *svp != uninit_sv)
11391                     break;
11392             }
11393             return varname(gv, '$', 0,
11394                     Nullsv, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11395         }
11396         break;
11397
11398     case OP_EXISTS:
11399         o = cUNOPx(obase)->op_first;
11400         if (!o || o->op_type != OP_NULL ||
11401                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11402             break;
11403         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11404
11405     case OP_AELEM:
11406     case OP_HELEM:
11407         if (PL_op == obase)
11408             /* $a[uninit_expr] or $h{uninit_expr} */
11409             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11410
11411         gv = Nullgv;
11412         o = cBINOPx(obase)->op_first;
11413         kid = cBINOPx(obase)->op_last;
11414
11415         /* get the av or hv, and optionally the gv */
11416         sv = Nullsv;
11417         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
11418             sv = PAD_SV(o->op_targ);
11419         }
11420         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
11421                 && cUNOPo->op_first->op_type == OP_GV)
11422         {
11423             gv = cGVOPx_gv(cUNOPo->op_first);
11424             if (!gv)
11425                 break;
11426             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
11427         }
11428         if (!sv)
11429             break;
11430
11431         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
11432             /* index is constant */
11433             if (match) {
11434                 if (SvMAGICAL(sv))
11435                     break;
11436                 if (obase->op_type == OP_HELEM) {
11437                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
11438                     if (!he || HeVAL(he) != uninit_sv)
11439                         break;
11440                 }
11441                 else {
11442                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
11443                     if (!svp || *svp != uninit_sv)
11444                         break;
11445                 }
11446             }
11447             if (obase->op_type == OP_HELEM)
11448                 return varname(gv, '%', o->op_targ,
11449                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
11450             else
11451                 return varname(gv, '@', o->op_targ, Nullsv,
11452                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
11453         }
11454         else  {
11455             /* index is an expression;
11456              * attempt to find a match within the aggregate */
11457             if (obase->op_type == OP_HELEM) {
11458                 SV * const keysv = S_find_hash_subscript(aTHX_ (HV*)sv, uninit_sv);
11459                 if (keysv)
11460                     return varname(gv, '%', o->op_targ,
11461                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
11462             }
11463             else {
11464                 const I32 index = S_find_array_subscript(aTHX_ (AV*)sv, uninit_sv);
11465                 if (index >= 0)
11466                     return varname(gv, '@', o->op_targ,
11467                                         Nullsv, index, FUV_SUBSCRIPT_ARRAY);
11468             }
11469             if (match)
11470                 break;
11471             return varname(gv,
11472                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
11473                 ? '@' : '%',
11474                 o->op_targ, Nullsv, 0, FUV_SUBSCRIPT_WITHIN);
11475         }
11476
11477         break;
11478
11479     case OP_AASSIGN:
11480         /* only examine RHS */
11481         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
11482
11483     case OP_OPEN:
11484         o = cUNOPx(obase)->op_first;
11485         if (o->op_type == OP_PUSHMARK)
11486             o = o->op_sibling;
11487
11488         if (!o->op_sibling) {
11489             /* one-arg version of open is highly magical */
11490
11491             if (o->op_type == OP_GV) { /* open FOO; */
11492                 gv = cGVOPx_gv(o);
11493                 if (match && GvSV(gv) != uninit_sv)
11494                     break;
11495                 return varname(gv, '$', 0,
11496                             Nullsv, 0, FUV_SUBSCRIPT_NONE);
11497             }
11498             /* other possibilities not handled are:
11499              * open $x; or open my $x;  should return '${*$x}'
11500              * open expr;               should return '$'.expr ideally
11501              */
11502              break;
11503         }
11504         goto do_op;
11505
11506     /* ops where $_ may be an implicit arg */
11507     case OP_TRANS:
11508     case OP_SUBST:
11509     case OP_MATCH:
11510         if ( !(obase->op_flags & OPf_STACKED)) {
11511             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
11512                                  ? PAD_SVl(obase->op_targ)
11513                                  : DEFSV))
11514             {
11515                 sv = sv_newmortal();
11516                 sv_setpvn(sv, "$_", 2);
11517                 return sv;
11518             }
11519         }
11520         goto do_op;
11521
11522     case OP_PRTF:
11523     case OP_PRINT:
11524         /* skip filehandle as it can't produce 'undef' warning  */
11525         o = cUNOPx(obase)->op_first;
11526         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
11527             o = o->op_sibling->op_sibling;
11528         goto do_op2;
11529
11530
11531     case OP_RV2SV:
11532     case OP_CUSTOM:
11533     case OP_ENTERSUB:
11534         match = 1; /* XS or custom code could trigger random warnings */
11535         goto do_op;
11536
11537     case OP_SCHOMP:
11538     case OP_CHOMP:
11539         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
11540             return sv_2mortal(newSVpvs("${$/}"));
11541         /* FALL THROUGH */
11542
11543     default:
11544     do_op:
11545         if (!(obase->op_flags & OPf_KIDS))
11546             break;
11547         o = cUNOPx(obase)->op_first;
11548         
11549     do_op2:
11550         if (!o)
11551             break;
11552
11553         /* if all except one arg are constant, or have no side-effects,
11554          * or are optimized away, then it's unambiguous */
11555         o2 = Nullop;
11556         for (kid=o; kid; kid = kid->op_sibling) {
11557             if (kid &&
11558                 (    (kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid)))
11559                   || (kid->op_type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
11560                   || (kid->op_type == OP_PUSHMARK)
11561                 )
11562             )
11563                 continue;
11564             if (o2) { /* more than one found */
11565                 o2 = Nullop;
11566                 break;
11567             }
11568             o2 = kid;
11569         }
11570         if (o2)
11571             return find_uninit_var(o2, uninit_sv, match);
11572
11573         /* scan all args */
11574         while (o) {
11575             sv = find_uninit_var(o, uninit_sv, 1);
11576             if (sv)
11577                 return sv;
11578             o = o->op_sibling;
11579         }
11580         break;
11581     }
11582     return Nullsv;
11583 }
11584
11585
11586 /*
11587 =for apidoc report_uninit
11588
11589 Print appropriate "Use of uninitialized variable" warning
11590
11591 =cut
11592 */
11593
11594 void
11595 Perl_report_uninit(pTHX_ SV* uninit_sv)
11596 {
11597     dVAR;
11598     if (PL_op) {
11599         SV* varname = Nullsv;
11600         if (uninit_sv) {
11601             varname = find_uninit_var(PL_op, uninit_sv,0);
11602             if (varname)
11603                 sv_insert(varname, 0, 0, " ", 1);
11604         }
11605         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
11606                 varname ? SvPV_nolen_const(varname) : "",
11607                 " in ", OP_DESC(PL_op));
11608     }
11609     else
11610         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
11611                     "", "", "");
11612 }
11613
11614 /*
11615  * Local variables:
11616  * c-indentation-style: bsd
11617  * c-basic-offset: 4
11618  * indent-tabs-mode: t
11619  * End:
11620  *
11621  * ex: set ts=8 sts=4 sw=4 noet:
11622  */