6895df4e8c21341d2faeeffd7837c93eb946a4bc
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, 2006, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* The cache element 0 is the Unicode offset;
34  * the cache element 1 is the byte offset of the element 0;
35  * the cache element 2 is the Unicode length of the substring;
36  * the cache element 3 is the byte length of the substring;
37  * The checking of the substring side would be good
38  * but substr() has enough code paths to make my head spin;
39  * if adding more checks watch out for the following tests:
40  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
41  *   lib/utf8.t lib/Unicode/Collate/t/index.t
42  * --jhi
43  */
44 #define ASSERT_UTF8_CACHE(cache) \
45         STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); } } STMT_END
46 #else
47 #define ASSERT_UTF8_CACHE(cache) NOOP
48 #endif
49
50 #ifdef PERL_OLD_COPY_ON_WRITE
51 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
52 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
53 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
54    on-write.  */
55 #endif
56
57 /* ============================================================================
58
59 =head1 Allocation and deallocation of SVs.
60
61 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct sv,
62 av, hv...) contains type and reference count information, as well as a
63 pointer to the body (struct xrv, xpv, xpviv...), which contains fields
64 specific to each type.
65
66 In all but the most memory-paranoid configuations (ex: PURIFY), this
67 allocation is done using arenas, which by default are approximately 4K
68 chunks of memory parcelled up into N heads or bodies (of same size).
69 Sv-bodies are allocated by their sv-type, guaranteeing size
70 consistency needed to allocate safely from arrays.
71
72 The first slot in each arena is reserved, and is used to hold a link
73 to the next arena.  In the case of heads, the unused first slot also
74 contains some flags and a note of the number of slots.  Snaked through
75 each arena chain is a linked list of free items; when this becomes
76 empty, an extra arena is allocated and divided up into N items which
77 are threaded into the free list.
78
79 The following global variables are associated with arenas:
80
81     PL_sv_arenaroot     pointer to list of SV arenas
82     PL_sv_root          pointer to list of free SV structures
83
84     PL_body_arenaroots[]  array of pointers to list of arenas, 1 per svtype
85     PL_body_roots[]       array of pointers to list of free bodies of svtype
86                           arrays are indexed by the svtype needed
87
88 Note that some of the larger and more rarely used body types (eg
89 xpvio) are not allocated using arenas, but are instead just
90 malloc()/free()ed as required.
91
92 In addition, a few SV heads are not allocated from an arena, but are
93 instead directly created as static or auto variables, eg PL_sv_undef.
94 The size of arenas can be changed from the default by setting
95 PERL_ARENA_SIZE appropriately at compile time.
96
97 The SV arena serves the secondary purpose of allowing still-live SVs
98 to be located and destroyed during final cleanup.
99
100 At the lowest level, the macros new_SV() and del_SV() grab and free
101 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
102 to return the SV to the free list with error checking.) new_SV() calls
103 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
104 SVs in the free list have their SvTYPE field set to all ones.
105
106 Similarly, there are macros new_XIV()/del_XIV(), new_XNV()/del_XNV() etc
107 that allocate and return individual body types. Normally these are mapped
108 to the arena-manipulating functions new_xiv()/del_xiv() etc, but may be
109 instead mapped directly to malloc()/free() if PURIFY is defined. The
110 new/del functions remove from, or add to, the appropriate PL_foo_root
111 list, and call more_xiv() etc to add a new arena if the list is empty.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 Manipulation of any of the PL_*root pointers is protected by enclosing
118 LOCK_SV_MUTEX; ... UNLOCK_SV_MUTEX calls which should Do the Right Thing
119 if threads are enabled.
120
121 The function visit() scans the SV arenas list, and calls a specified
122 function for each SV it finds which is still live - ie which has an SvTYPE
123 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
124 following functions (specified as [function that calls visit()] / [function
125 called by visit() for each SV]):
126
127     sv_report_used() / do_report_used()
128                         dump all remaining SVs (debugging aid)
129
130     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
131                         Attempt to free all objects pointed to by RVs,
132                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
133                         try to do the same for all objects indirectly
134                         referenced by typeglobs too.  Called once from
135                         perl_destruct(), prior to calling sv_clean_all()
136                         below.
137
138     sv_clean_all() / do_clean_all()
139                         SvREFCNT_dec(sv) each remaining SV, possibly
140                         triggering an sv_free(). It also sets the
141                         SVf_BREAK flag on the SV to indicate that the
142                         refcnt has been artificially lowered, and thus
143                         stopping sv_free() from giving spurious warnings
144                         about SVs which unexpectedly have a refcnt
145                         of zero.  called repeatedly from perl_destruct()
146                         until there are no SVs left.
147
148 =head2 Arena allocator API Summary
149
150 Private API to rest of sv.c
151
152     new_SV(),  del_SV(),
153
154     new_XIV(), del_XIV(),
155     new_XNV(), del_XNV(),
156     etc
157
158 Public API:
159
160     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
161
162
163 =cut
164
165 ============================================================================ */
166
167
168
169 /*
170  * "A time to plant, and a time to uproot what was planted..."
171  */
172
173 /*
174  * nice_chunk and nice_chunk size need to be set
175  * and queried under the protection of sv_mutex
176  */
177 void
178 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
179 {
180     dVAR;
181     void *new_chunk;
182     U32 new_chunk_size;
183     LOCK_SV_MUTEX;
184     new_chunk = (void *)(chunk);
185     new_chunk_size = (chunk_size);
186     if (new_chunk_size > PL_nice_chunk_size) {
187         Safefree(PL_nice_chunk);
188         PL_nice_chunk = (char *) new_chunk;
189         PL_nice_chunk_size = new_chunk_size;
190     } else {
191         Safefree(chunk);
192     }
193     UNLOCK_SV_MUTEX;
194 }
195
196 #ifdef DEBUG_LEAKING_SCALARS
197 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
198 #else
199 #  define FREE_SV_DEBUG_FILE(sv)
200 #endif
201
202 #ifdef PERL_POISON
203 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
204 /* Whilst I'd love to do this, it seems that things like to check on
205    unreferenced scalars
206 #  define POSION_SV_HEAD(sv)    Poison(sv, 1, struct STRUCT_SV)
207 */
208 #  define POSION_SV_HEAD(sv)    Poison(&SvANY(sv), 1, void *), \
209                                 Poison(&SvREFCNT(sv), 1, U32)
210 #else
211 #  define SvARENA_CHAIN(sv)     SvANY(sv)
212 #  define POSION_SV_HEAD(sv)
213 #endif
214
215 #define plant_SV(p) \
216     STMT_START {                                        \
217         FREE_SV_DEBUG_FILE(p);                          \
218         POSION_SV_HEAD(p);                              \
219         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
220         SvFLAGS(p) = SVTYPEMASK;                        \
221         PL_sv_root = (p);                               \
222         --PL_sv_count;                                  \
223     } STMT_END
224
225 /* sv_mutex must be held while calling uproot_SV() */
226 #define uproot_SV(p) \
227     STMT_START {                                        \
228         (p) = PL_sv_root;                               \
229         PL_sv_root = (SV*)SvARENA_CHAIN(p);                     \
230         ++PL_sv_count;                                  \
231     } STMT_END
232
233
234 /* make some more SVs by adding another arena */
235
236 /* sv_mutex must be held while calling more_sv() */
237 STATIC SV*
238 S_more_sv(pTHX)
239 {
240     dVAR;
241     SV* sv;
242
243     if (PL_nice_chunk) {
244         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
245         PL_nice_chunk = Nullch;
246         PL_nice_chunk_size = 0;
247     }
248     else {
249         char *chunk;                /* must use New here to match call to */
250         Newx(chunk,PERL_ARENA_SIZE,char);   /* Safefree() in sv_free_arenas()     */
251         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
252     }
253     uproot_SV(sv);
254     return sv;
255 }
256
257 /* new_SV(): return a new, empty SV head */
258
259 #ifdef DEBUG_LEAKING_SCALARS
260 /* provide a real function for a debugger to play with */
261 STATIC SV*
262 S_new_SV(pTHX)
263 {
264     SV* sv;
265
266     LOCK_SV_MUTEX;
267     if (PL_sv_root)
268         uproot_SV(sv);
269     else
270         sv = S_more_sv(aTHX);
271     UNLOCK_SV_MUTEX;
272     SvANY(sv) = 0;
273     SvREFCNT(sv) = 1;
274     SvFLAGS(sv) = 0;
275     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
276     sv->sv_debug_line = (U16) ((PL_copline == NOLINE) ?
277         (PL_curcop ? CopLINE(PL_curcop) : 0) : PL_copline);
278     sv->sv_debug_inpad = 0;
279     sv->sv_debug_cloned = 0;
280     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
281     
282     return sv;
283 }
284 #  define new_SV(p) (p)=S_new_SV(aTHX)
285
286 #else
287 #  define new_SV(p) \
288     STMT_START {                                        \
289         LOCK_SV_MUTEX;                                  \
290         if (PL_sv_root)                                 \
291             uproot_SV(p);                               \
292         else                                            \
293             (p) = S_more_sv(aTHX);                      \
294         UNLOCK_SV_MUTEX;                                \
295         SvANY(p) = 0;                                   \
296         SvREFCNT(p) = 1;                                \
297         SvFLAGS(p) = 0;                                 \
298     } STMT_END
299 #endif
300
301
302 /* del_SV(): return an empty SV head to the free list */
303
304 #ifdef DEBUGGING
305
306 #define del_SV(p) \
307     STMT_START {                                        \
308         LOCK_SV_MUTEX;                                  \
309         if (DEBUG_D_TEST)                               \
310             del_sv(p);                                  \
311         else                                            \
312             plant_SV(p);                                \
313         UNLOCK_SV_MUTEX;                                \
314     } STMT_END
315
316 STATIC void
317 S_del_sv(pTHX_ SV *p)
318 {
319     dVAR;
320     if (DEBUG_D_TEST) {
321         SV* sva;
322         bool ok = 0;
323         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
324             const SV * const sv = sva + 1;
325             const SV * const svend = &sva[SvREFCNT(sva)];
326             if (p >= sv && p < svend) {
327                 ok = 1;
328                 break;
329             }
330         }
331         if (!ok) {
332             if (ckWARN_d(WARN_INTERNAL))        
333                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
334                             "Attempt to free non-arena SV: 0x%"UVxf
335                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
336             return;
337         }
338     }
339     plant_SV(p);
340 }
341
342 #else /* ! DEBUGGING */
343
344 #define del_SV(p)   plant_SV(p)
345
346 #endif /* DEBUGGING */
347
348
349 /*
350 =head1 SV Manipulation Functions
351
352 =for apidoc sv_add_arena
353
354 Given a chunk of memory, link it to the head of the list of arenas,
355 and split it into a list of free SVs.
356
357 =cut
358 */
359
360 void
361 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
362 {
363     dVAR;
364     SV* const sva = (SV*)ptr;
365     register SV* sv;
366     register SV* svend;
367
368     /* The first SV in an arena isn't an SV. */
369     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
370     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
371     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
372
373     PL_sv_arenaroot = sva;
374     PL_sv_root = sva + 1;
375
376     svend = &sva[SvREFCNT(sva) - 1];
377     sv = sva + 1;
378     while (sv < svend) {
379         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
380 #ifdef DEBUGGING
381         SvREFCNT(sv) = 0;
382 #endif
383         /* Must always set typemask because it's awlays checked in on cleanup
384            when the arenas are walked looking for objects.  */
385         SvFLAGS(sv) = SVTYPEMASK;
386         sv++;
387     }
388     SvARENA_CHAIN(sv) = 0;
389 #ifdef DEBUGGING
390     SvREFCNT(sv) = 0;
391 #endif
392     SvFLAGS(sv) = SVTYPEMASK;
393 }
394
395 /* visit(): call the named function for each non-free SV in the arenas
396  * whose flags field matches the flags/mask args. */
397
398 STATIC I32
399 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
400 {
401     dVAR;
402     SV* sva;
403     I32 visited = 0;
404
405     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
406         register const SV * const svend = &sva[SvREFCNT(sva)];
407         register SV* sv;
408         for (sv = sva + 1; sv < svend; ++sv) {
409             if (SvTYPE(sv) != SVTYPEMASK
410                     && (sv->sv_flags & mask) == flags
411                     && SvREFCNT(sv))
412             {
413                 (FCALL)(aTHX_ sv);
414                 ++visited;
415             }
416         }
417     }
418     return visited;
419 }
420
421 #ifdef DEBUGGING
422
423 /* called by sv_report_used() for each live SV */
424
425 static void
426 do_report_used(pTHX_ SV *sv)
427 {
428     if (SvTYPE(sv) != SVTYPEMASK) {
429         PerlIO_printf(Perl_debug_log, "****\n");
430         sv_dump(sv);
431     }
432 }
433 #endif
434
435 /*
436 =for apidoc sv_report_used
437
438 Dump the contents of all SVs not yet freed. (Debugging aid).
439
440 =cut
441 */
442
443 void
444 Perl_sv_report_used(pTHX)
445 {
446 #ifdef DEBUGGING
447     visit(do_report_used, 0, 0);
448 #endif
449 }
450
451 /* called by sv_clean_objs() for each live SV */
452
453 static void
454 do_clean_objs(pTHX_ SV *ref)
455 {
456     dVAR;
457     if (SvROK(ref)) {
458         SV * const target = SvRV(ref);
459         if (SvOBJECT(target)) {
460             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
461             if (SvWEAKREF(ref)) {
462                 sv_del_backref(target, ref);
463                 SvWEAKREF_off(ref);
464                 SvRV_set(ref, NULL);
465             } else {
466                 SvROK_off(ref);
467                 SvRV_set(ref, NULL);
468                 SvREFCNT_dec(target);
469             }
470         }
471     }
472
473     /* XXX Might want to check arrays, etc. */
474 }
475
476 /* called by sv_clean_objs() for each live SV */
477
478 #ifndef DISABLE_DESTRUCTOR_KLUDGE
479 static void
480 do_clean_named_objs(pTHX_ SV *sv)
481 {
482     dVAR;
483     if (SvTYPE(sv) == SVt_PVGV && GvGP(sv)) {
484         if ((
485 #ifdef PERL_DONT_CREATE_GVSV
486              GvSV(sv) &&
487 #endif
488              SvOBJECT(GvSV(sv))) ||
489              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
490              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
491              (GvIO(sv) && SvOBJECT(GvIO(sv))) ||
492              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
493         {
494             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
495             SvFLAGS(sv) |= SVf_BREAK;
496             SvREFCNT_dec(sv);
497         }
498     }
499 }
500 #endif
501
502 /*
503 =for apidoc sv_clean_objs
504
505 Attempt to destroy all objects not yet freed
506
507 =cut
508 */
509
510 void
511 Perl_sv_clean_objs(pTHX)
512 {
513     dVAR;
514     PL_in_clean_objs = TRUE;
515     visit(do_clean_objs, SVf_ROK, SVf_ROK);
516 #ifndef DISABLE_DESTRUCTOR_KLUDGE
517     /* some barnacles may yet remain, clinging to typeglobs */
518     visit(do_clean_named_objs, SVt_PVGV, SVTYPEMASK);
519 #endif
520     PL_in_clean_objs = FALSE;
521 }
522
523 /* called by sv_clean_all() for each live SV */
524
525 static void
526 do_clean_all(pTHX_ SV *sv)
527 {
528     dVAR;
529     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
530     SvFLAGS(sv) |= SVf_BREAK;
531     if (PL_comppad == (AV*)sv) {
532         PL_comppad = NULL;
533         PL_curpad = Null(SV**);
534     }
535     SvREFCNT_dec(sv);
536 }
537
538 /*
539 =for apidoc sv_clean_all
540
541 Decrement the refcnt of each remaining SV, possibly triggering a
542 cleanup. This function may have to be called multiple times to free
543 SVs which are in complex self-referential hierarchies.
544
545 =cut
546 */
547
548 I32
549 Perl_sv_clean_all(pTHX)
550 {
551     dVAR;
552     I32 cleaned;
553     PL_in_clean_all = TRUE;
554     cleaned = visit(do_clean_all, 0,0);
555     PL_in_clean_all = FALSE;
556     return cleaned;
557 }
558
559 static void 
560 S_free_arena(pTHX_ void **root) {
561     while (root) {
562         void ** const next = *(void **)root;
563         Safefree(root);
564         root = next;
565     }
566 }
567     
568 /*
569 =for apidoc sv_free_arenas
570
571 Deallocate the memory used by all arenas. Note that all the individual SV
572 heads and bodies within the arenas must already have been freed.
573
574 =cut
575 */
576 #define free_arena(name)                                        \
577     STMT_START {                                                \
578         S_free_arena(aTHX_ (void**) PL_ ## name ## _arenaroot); \
579         PL_ ## name ## _arenaroot = 0;                          \
580         PL_ ## name ## _root = 0;                               \
581     } STMT_END
582
583 void
584 Perl_sv_free_arenas(pTHX)
585 {
586     dVAR;
587     SV* sva;
588     SV* svanext;
589     int i;
590
591     /* Free arenas here, but be careful about fake ones.  (We assume
592        contiguity of the fake ones with the corresponding real ones.) */
593
594     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
595         svanext = (SV*) SvANY(sva);
596         while (svanext && SvFAKE(svanext))
597             svanext = (SV*) SvANY(svanext);
598
599         if (!SvFAKE(sva))
600             Safefree(sva);
601     }
602
603     for (i=0; i<SVt_LAST; i++) {
604         S_free_arena(aTHX_ (void**) PL_body_arenaroots[i]);
605         PL_body_arenaroots[i] = 0;
606         PL_body_roots[i] = 0;
607     }
608
609     Safefree(PL_nice_chunk);
610     PL_nice_chunk = Nullch;
611     PL_nice_chunk_size = 0;
612     PL_sv_arenaroot = 0;
613     PL_sv_root = 0;
614 }
615
616 /*
617   Here are mid-level routines that manage the allocation of bodies out
618   of the various arenas.  There are 5 kinds of arenas:
619
620   1. SV-head arenas, which are discussed and handled above
621   2. regular body arenas
622   3. arenas for reduced-size bodies
623   4. Hash-Entry arenas
624   5. pte arenas (thread related)
625
626   Arena types 2 & 3 are chained by body-type off an array of
627   arena-root pointers, which is indexed by svtype.  Some of the
628   larger/less used body types are malloced singly, since a large
629   unused block of them is wasteful.  Also, several svtypes dont have
630   bodies; the data fits into the sv-head itself.  The arena-root
631   pointer thus has a few unused root-pointers (which may be hijacked
632   later for arena types 4,5)
633
634   3 differs from 2 as an optimization; some body types have several
635   unused fields in the front of the structure (which are kept in-place
636   for consistency).  These bodies can be allocated in smaller chunks,
637   because the leading fields arent accessed.  Pointers to such bodies
638   are decremented to point at the unused 'ghost' memory, knowing that
639   the pointers are used with offsets to the real memory.
640
641   HE, HEK arenas are managed separately, with separate code, but may
642   be merge-able later..
643
644   PTE arenas are not sv-bodies, but they share these mid-level
645   mechanics, so are considered here.  The new mid-level mechanics rely
646   on the sv_type of the body being allocated, so we just reserve one
647   of the unused body-slots for PTEs, then use it in those (2) PTE
648   contexts below (line ~10k)
649 */
650
651 STATIC void *
652 S_more_bodies (pTHX_ size_t size, svtype sv_type)
653 {
654     dVAR;
655     void ** const arena_root    = &PL_body_arenaroots[sv_type];
656     void ** const root          = &PL_body_roots[sv_type];
657     char *start;
658     const char *end;
659     const size_t count = PERL_ARENA_SIZE / size;
660
661     Newx(start, count*size, char);
662     *((void **) start) = *arena_root;
663     *arena_root = (void *)start;
664
665     end = start + (count-1) * size;
666
667     /* The initial slot is used to link the arenas together, so it isn't to be
668        linked into the list of ready-to-use bodies.  */
669
670     start += size;
671
672     *root = (void *)start;
673
674     while (start < end) {
675         char * const next = start + size;
676         *(void**) start = (void *)next;
677         start = next;
678     }
679     *(void **)start = 0;
680
681     return *root;
682 }
683
684 /* grab a new thing from the free list, allocating more if necessary */
685
686 /* 1st, the inline version  */
687
688 #define new_body_inline(xpv, size, sv_type) \
689     STMT_START { \
690         void ** const r3wt = &PL_body_roots[sv_type]; \
691         LOCK_SV_MUTEX; \
692         xpv = *((void **)(r3wt)) \
693           ? *((void **)(r3wt)) : S_more_bodies(aTHX_ size, sv_type); \
694         *(r3wt) = *(void**)(xpv); \
695         UNLOCK_SV_MUTEX; \
696     } STMT_END
697
698 /* now use the inline version in the proper function */
699
700 #ifndef PURIFY
701
702 /* This isn't being used with -DPURIFY, so don't declare it. Otherwise
703    compilers issue warnings.  */
704
705 STATIC void *
706 S_new_body(pTHX_ size_t size, svtype sv_type)
707 {
708     dVAR;
709     void *xpv;
710     new_body_inline(xpv, size, sv_type);
711     return xpv;
712 }
713
714 #endif
715
716 /* return a thing to the free list */
717
718 #define del_body(thing, root)                   \
719     STMT_START {                                \
720         void ** const thing_copy = (void **)thing;\
721         LOCK_SV_MUTEX;                          \
722         *thing_copy = *root;                    \
723         *root = (void*)thing_copy;              \
724         UNLOCK_SV_MUTEX;                        \
725     } STMT_END
726
727 /* 
728    Revisiting type 3 arenas, there are 4 body-types which have some
729    members that are never accessed.  They are XPV, XPVIV, XPVAV,
730    XPVHV, which have corresponding types: xpv_allocated,
731    xpviv_allocated, xpvav_allocated, xpvhv_allocated,
732
733    For these types, the arenas are carved up into *_allocated size
734    chunks, we thus avoid wasted memory for those unaccessed members.
735    When bodies are allocated, we adjust the pointer back in memory by
736    the size of the bit not allocated, so it's as if we allocated the
737    full structure.  (But things will all go boom if you write to the
738    part that is "not there", because you'll be overwriting the last
739    members of the preceding structure in memory.)
740
741    We calculate the correction using the STRUCT_OFFSET macro. For example, if
742    xpv_allocated is the same structure as XPV then the two OFFSETs sum to zero,
743    and the pointer is unchanged. If the allocated structure is smaller (no
744    initial NV actually allocated) then the net effect is to subtract the size
745    of the NV from the pointer, to return a new pointer as if an initial NV were
746    actually allocated.
747
748    This is the same trick as was used for NV and IV bodies. Ironically it
749    doesn't need to be used for NV bodies any more, because NV is now at the
750    start of the structure. IV bodies don't need it either, because they are
751    no longer allocated.  */
752
753 /* The following 2 arrays hide the above details in a pair of
754    lookup-tables, allowing us to be body-type agnostic.
755
756    size maps svtype to its body's allocated size.
757    offset maps svtype to the body-pointer adjustment needed
758
759    NB: elements in latter are 0 or <0, and are added during
760    allocation, and subtracted during deallocation.  It may be clearer
761    to invert the values, and call it shrinkage_by_svtype.
762 */
763
764 struct body_details {
765     size_t size;        /* Size to allocate  */
766     size_t copy;        /* Size of structure to copy (may be shorter)  */
767     size_t offset;
768     bool cant_upgrade;  /* Can upgrade this type */
769     bool zero_nv;       /* zero the NV when upgrading from this */
770     bool arena;         /* Allocated from an arena */
771 };
772
773 #define HADNV FALSE
774 #define NONV TRUE
775
776 #ifdef PURIFY
777 /* With -DPURFIY we allocate everything directly, and don't use arenas.
778    This seems a rather elegant way to simplify some of the code below.  */
779 #define HASARENA FALSE
780 #else
781 #define HASARENA TRUE
782 #endif
783 #define NOARENA FALSE
784
785 /* A macro to work out the offset needed to subtract from a pointer to (say)
786
787 typedef struct {
788     STRLEN      xpv_cur;
789     STRLEN      xpv_len;
790 } xpv_allocated;
791
792 to make its members accessible via a pointer to (say)
793
794 struct xpv {
795     NV          xnv_nv;
796     STRLEN      xpv_cur;
797     STRLEN      xpv_len;
798 };
799
800 */
801
802 #define relative_STRUCT_OFFSET(longer, shorter, member) \
803     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
804
805 /* Calculate the length to copy. Specifically work out the length less any
806    final padding the compiler needed to add.  See the comment in sv_upgrade
807    for why copying the padding proved to be a bug.  */
808
809 #define copy_length(type, last_member) \
810         STRUCT_OFFSET(type, last_member) \
811         + sizeof (((type*)SvANY((SV*)0))->last_member)
812
813 static const struct body_details bodies_by_type[] = {
814     {0, 0, 0, FALSE, NONV, NOARENA},
815     /* IVs are in the head, so the allocation size is 0  */
816     {0, sizeof(IV), STRUCT_OFFSET(XPVIV, xiv_iv), FALSE, NONV, NOARENA},
817     /* 8 bytes on most ILP32 with IEEE doubles */
818     {sizeof(NV), sizeof(NV), 0, FALSE, HADNV, HASARENA},
819     /* RVs are in the head now */
820     /* However, this slot is overloaded and used by the pte  */
821     {0, 0, 0, FALSE, NONV, NOARENA},
822     /* 8 bytes on most ILP32 with IEEE doubles */
823     {sizeof(xpv_allocated),
824      copy_length(XPV, xpv_len)
825      - relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
826      + relative_STRUCT_OFFSET(xpv_allocated, XPV, xpv_cur),
827      FALSE, NONV, HASARENA},
828     /* 12 */
829     {sizeof(xpviv_allocated),
830      copy_length(XPVIV, xiv_u)
831      - relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
832      + relative_STRUCT_OFFSET(xpviv_allocated, XPVIV, xpv_cur),
833      FALSE, NONV, HASARENA},
834     /* 20 */
835     {sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, FALSE, HADNV, HASARENA},
836     /* 28 */
837     {sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, FALSE, HADNV, HASARENA},
838     /* 36 */
839     {sizeof(XPVBM), sizeof(XPVBM), 0, TRUE, HADNV, HASARENA},
840     /* 48 */
841     {sizeof(XPVGV), sizeof(XPVGV), 0, TRUE, HADNV, HASARENA},
842     /* 64 */
843     {sizeof(XPVLV), sizeof(XPVLV), 0, TRUE, HADNV, HASARENA},
844     /* 20 */
845     {sizeof(xpvav_allocated),
846      copy_length(XPVAV, xmg_stash)
847      - relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
848      + relative_STRUCT_OFFSET(xpvav_allocated, XPVAV, xav_fill),
849      TRUE, HADNV, HASARENA},
850     /* 20 */
851     {sizeof(xpvhv_allocated),
852      copy_length(XPVHV, xmg_stash)
853      - relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
854      + relative_STRUCT_OFFSET(xpvhv_allocated, XPVHV, xhv_fill),
855      TRUE, HADNV, HASARENA},
856     /* 76 */
857     {sizeof(XPVCV), sizeof(XPVCV), 0, TRUE, HADNV, HASARENA},
858     /* 80 */
859     {sizeof(XPVFM), sizeof(XPVFM), 0, TRUE, HADNV, NOARENA},
860     /* 84 */
861     {sizeof(XPVIO), sizeof(XPVIO), 0, TRUE, HADNV, NOARENA}
862 };
863
864 #define new_body_type(sv_type)                  \
865     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
866              - bodies_by_type[sv_type].offset)
867
868 #define del_body_type(p, sv_type)       \
869     del_body(p, &PL_body_roots[sv_type])
870
871
872 #define new_body_allocated(sv_type)             \
873     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
874              - bodies_by_type[sv_type].offset)
875
876 #define del_body_allocated(p, sv_type)          \
877     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
878
879
880 #define my_safemalloc(s)        (void*)safemalloc(s)
881 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
882 #define my_safefree(p)  safefree((char*)p)
883
884 #ifdef PURIFY
885
886 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
887 #define del_XNV(p)      my_safefree(p)
888
889 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
890 #define del_XPVNV(p)    my_safefree(p)
891
892 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
893 #define del_XPVAV(p)    my_safefree(p)
894
895 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
896 #define del_XPVHV(p)    my_safefree(p)
897
898 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
899 #define del_XPVMG(p)    my_safefree(p)
900
901 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
902 #define del_XPVGV(p)    my_safefree(p)
903
904 #else /* !PURIFY */
905
906 #define new_XNV()       new_body_type(SVt_NV)
907 #define del_XNV(p)      del_body_type(p, SVt_NV)
908
909 #define new_XPVNV()     new_body_type(SVt_PVNV)
910 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
911
912 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
913 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
914
915 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
916 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
917
918 #define new_XPVMG()     new_body_type(SVt_PVMG)
919 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
920
921 #define new_XPVGV()     new_body_type(SVt_PVGV)
922 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
923
924 #endif /* PURIFY */
925
926 /* no arena for you! */
927
928 #define new_NOARENA(details) \
929         my_safemalloc((details)->size + (details)->offset)
930 #define new_NOARENAZ(details) \
931         my_safecalloc((details)->size + (details)->offset)
932
933 /*
934 =for apidoc sv_upgrade
935
936 Upgrade an SV to a more complex form.  Generally adds a new body type to the
937 SV, then copies across as much information as possible from the old body.
938 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
939
940 =cut
941 */
942
943 void
944 Perl_sv_upgrade(pTHX_ register SV *sv, U32 new_type)
945 {
946     dVAR;
947     void*       old_body;
948     void*       new_body;
949     const U32   old_type = SvTYPE(sv);
950     const struct body_details *const old_type_details
951         = bodies_by_type + old_type;
952     const struct body_details *new_type_details = bodies_by_type + new_type;
953
954     if (new_type != SVt_PV && SvIsCOW(sv)) {
955         sv_force_normal_flags(sv, 0);
956     }
957
958     if (old_type == new_type)
959         return;
960
961     if (old_type > new_type)
962         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
963                 (int)old_type, (int)new_type);
964
965
966     old_body = SvANY(sv);
967
968     /* Copying structures onto other structures that have been neatly zeroed
969        has a subtle gotcha. Consider XPVMG
970
971        +------+------+------+------+------+-------+-------+
972        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
973        +------+------+------+------+------+-------+-------+
974        0      4      8     12     16     20      24      28
975
976        where NVs are aligned to 8 bytes, so that sizeof that structure is
977        actually 32 bytes long, with 4 bytes of padding at the end:
978
979        +------+------+------+------+------+-------+-------+------+
980        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
981        +------+------+------+------+------+-------+-------+------+
982        0      4      8     12     16     20      24      28     32
983
984        so what happens if you allocate memory for this structure:
985
986        +------+------+------+------+------+-------+-------+------+------+...
987        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
988        +------+------+------+------+------+-------+-------+------+------+...
989        0      4      8     12     16     20      24      28     32     36
990
991        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
992        expect, because you copy the area marked ??? onto GP. Now, ??? may have
993        started out as zero once, but it's quite possible that it isn't. So now,
994        rather than a nicely zeroed GP, you have it pointing somewhere random.
995        Bugs ensue.
996
997        (In fact, GP ends up pointing at a previous GP structure, because the
998        principle cause of the padding in XPVMG getting garbage is a copy of
999        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob)
1000
1001        So we are careful and work out the size of used parts of all the
1002        structures.  */
1003
1004     switch (old_type) {
1005     case SVt_NULL:
1006         break;
1007     case SVt_IV:
1008         if (new_type < SVt_PVIV) {
1009             new_type = (new_type == SVt_NV)
1010                 ? SVt_PVNV : SVt_PVIV;
1011             new_type_details = bodies_by_type + new_type;
1012         }
1013         break;
1014     case SVt_NV:
1015         if (new_type < SVt_PVNV) {
1016             new_type = SVt_PVNV;
1017             new_type_details = bodies_by_type + new_type;
1018         }
1019         break;
1020     case SVt_RV:
1021         break;
1022     case SVt_PV:
1023         assert(new_type > SVt_PV);
1024         assert(SVt_IV < SVt_PV);
1025         assert(SVt_NV < SVt_PV);
1026         break;
1027     case SVt_PVIV:
1028         break;
1029     case SVt_PVNV:
1030         break;
1031     case SVt_PVMG:
1032         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1033            there's no way that it can be safely upgraded, because perl.c
1034            expects to Safefree(SvANY(PL_mess_sv))  */
1035         assert(sv != PL_mess_sv);
1036         /* This flag bit is used to mean other things in other scalar types.
1037            Given that it only has meaning inside the pad, it shouldn't be set
1038            on anything that can get upgraded.  */
1039         assert((SvFLAGS(sv) & SVpad_TYPED) == 0);
1040         break;
1041     default:
1042         if (old_type_details->cant_upgrade)
1043             Perl_croak(aTHX_ "Can't upgrade that kind of scalar");
1044     }
1045
1046     SvFLAGS(sv) &= ~SVTYPEMASK;
1047     SvFLAGS(sv) |= new_type;
1048
1049     switch (new_type) {
1050     case SVt_NULL:
1051         Perl_croak(aTHX_ "Can't upgrade to undef");
1052     case SVt_IV:
1053         assert(old_type == SVt_NULL);
1054         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1055         SvIV_set(sv, 0);
1056         return;
1057     case SVt_NV:
1058         assert(old_type == SVt_NULL);
1059         SvANY(sv) = new_XNV();
1060         SvNV_set(sv, 0);
1061         return;
1062     case SVt_RV:
1063         assert(old_type == SVt_NULL);
1064         SvANY(sv) = &sv->sv_u.svu_rv;
1065         SvRV_set(sv, 0);
1066         return;
1067     case SVt_PVHV:
1068         SvANY(sv) = new_XPVHV();
1069         HvFILL(sv)      = 0;
1070         HvMAX(sv)       = 0;
1071         HvTOTALKEYS(sv) = 0;
1072
1073         goto hv_av_common;
1074
1075     case SVt_PVAV:
1076         SvANY(sv) = new_XPVAV();
1077         AvMAX(sv)       = -1;
1078         AvFILLp(sv)     = -1;
1079         AvALLOC(sv)     = 0;
1080         AvREAL_only(sv);
1081
1082     hv_av_common:
1083         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1084            The target created by newSVrv also is, and it can have magic.
1085            However, it never has SvPVX set.
1086         */
1087         if (old_type >= SVt_RV) {
1088             assert(SvPVX_const(sv) == 0);
1089         }
1090
1091         /* Could put this in the else clause below, as PVMG must have SvPVX
1092            0 already (the assertion above)  */
1093         SvPV_set(sv, NULL);
1094
1095         if (old_type >= SVt_PVMG) {
1096             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_magic);
1097             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1098         } else {
1099             SvMAGIC_set(sv, NULL);
1100             SvSTASH_set(sv, NULL);
1101         }
1102         break;
1103
1104
1105     case SVt_PVIV:
1106         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1107            no route from NV to PVIV, NOK can never be true  */
1108         assert(!SvNOKp(sv));
1109         assert(!SvNOK(sv));
1110     case SVt_PVIO:
1111     case SVt_PVFM:
1112     case SVt_PVBM:
1113     case SVt_PVGV:
1114     case SVt_PVCV:
1115     case SVt_PVLV:
1116     case SVt_PVMG:
1117     case SVt_PVNV:
1118     case SVt_PV:
1119
1120         assert(new_type_details->size);
1121         /* We always allocated the full length item with PURIFY. To do this
1122            we fake things so that arena is false for all 16 types..  */
1123         if(new_type_details->arena) {
1124             /* This points to the start of the allocated area.  */
1125             new_body_inline(new_body, new_type_details->size, new_type);
1126             Zero(new_body, new_type_details->size, char);
1127             new_body = ((char *)new_body) - new_type_details->offset;
1128         } else {
1129             new_body = new_NOARENAZ(new_type_details);
1130         }
1131         SvANY(sv) = new_body;
1132
1133         if (old_type_details->copy) {
1134             Copy((char *)old_body + old_type_details->offset,
1135                  (char *)new_body + old_type_details->offset,
1136                  old_type_details->copy, char);
1137         }
1138
1139 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1140         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1141          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1142          * NV slot, but the new one does, then we need to initialise the
1143          * freshly created NV slot with whatever the correct bit pattern is
1144          * for 0.0  */
1145         if (old_type_details->zero_nv && !new_type_details->zero_nv)
1146             SvNV_set(sv, 0);
1147 #endif
1148
1149         if (new_type == SVt_PVIO)
1150             IoPAGE_LEN(sv) = 60;
1151         if (old_type < SVt_RV)
1152             SvPV_set(sv, NULL);
1153         break;
1154     default:
1155         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1156                    (unsigned long)new_type);
1157     }
1158
1159     if (old_type_details->size) {
1160         /* If the old body had an allocated size, then we need to free it.  */
1161 #ifdef PURIFY
1162         my_safefree(old_body);
1163 #else
1164         del_body((void*)((char*)old_body + old_type_details->offset),
1165                  &PL_body_roots[old_type]);
1166 #endif
1167     }
1168 }
1169
1170 /*
1171 =for apidoc sv_backoff
1172
1173 Remove any string offset. You should normally use the C<SvOOK_off> macro
1174 wrapper instead.
1175
1176 =cut
1177 */
1178
1179 int
1180 Perl_sv_backoff(pTHX_ register SV *sv)
1181 {
1182     assert(SvOOK(sv));
1183     assert(SvTYPE(sv) != SVt_PVHV);
1184     assert(SvTYPE(sv) != SVt_PVAV);
1185     if (SvIVX(sv)) {
1186         const char * const s = SvPVX_const(sv);
1187         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1188         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1189         SvIV_set(sv, 0);
1190         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1191     }
1192     SvFLAGS(sv) &= ~SVf_OOK;
1193     return 0;
1194 }
1195
1196 /*
1197 =for apidoc sv_grow
1198
1199 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1200 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1201 Use the C<SvGROW> wrapper instead.
1202
1203 =cut
1204 */
1205
1206 char *
1207 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1208 {
1209     register char *s;
1210
1211 #ifdef HAS_64K_LIMIT
1212     if (newlen >= 0x10000) {
1213         PerlIO_printf(Perl_debug_log,
1214                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1215         my_exit(1);
1216     }
1217 #endif /* HAS_64K_LIMIT */
1218     if (SvROK(sv))
1219         sv_unref(sv);
1220     if (SvTYPE(sv) < SVt_PV) {
1221         sv_upgrade(sv, SVt_PV);
1222         s = SvPVX_mutable(sv);
1223     }
1224     else if (SvOOK(sv)) {       /* pv is offset? */
1225         sv_backoff(sv);
1226         s = SvPVX_mutable(sv);
1227         if (newlen > SvLEN(sv))
1228             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1229 #ifdef HAS_64K_LIMIT
1230         if (newlen >= 0x10000)
1231             newlen = 0xFFFF;
1232 #endif
1233     }
1234     else
1235         s = SvPVX_mutable(sv);
1236
1237     if (newlen > SvLEN(sv)) {           /* need more room? */
1238         newlen = PERL_STRLEN_ROUNDUP(newlen);
1239         if (SvLEN(sv) && s) {
1240 #ifdef MYMALLOC
1241             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1242             if (newlen <= l) {
1243                 SvLEN_set(sv, l);
1244                 return s;
1245             } else
1246 #endif
1247             s = saferealloc(s, newlen);
1248         }
1249         else {
1250             s = safemalloc(newlen);
1251             if (SvPVX_const(sv) && SvCUR(sv)) {
1252                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1253             }
1254         }
1255         SvPV_set(sv, s);
1256         SvLEN_set(sv, newlen);
1257     }
1258     return s;
1259 }
1260
1261 /*
1262 =for apidoc sv_setiv
1263
1264 Copies an integer into the given SV, upgrading first if necessary.
1265 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1266
1267 =cut
1268 */
1269
1270 void
1271 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1272 {
1273     dVAR;
1274     SV_CHECK_THINKFIRST_COW_DROP(sv);
1275     switch (SvTYPE(sv)) {
1276     case SVt_NULL:
1277         sv_upgrade(sv, SVt_IV);
1278         break;
1279     case SVt_NV:
1280         sv_upgrade(sv, SVt_PVNV);
1281         break;
1282     case SVt_RV:
1283     case SVt_PV:
1284         sv_upgrade(sv, SVt_PVIV);
1285         break;
1286
1287     case SVt_PVGV:
1288     case SVt_PVAV:
1289     case SVt_PVHV:
1290     case SVt_PVCV:
1291     case SVt_PVFM:
1292     case SVt_PVIO:
1293         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1294                    OP_DESC(PL_op));
1295     }
1296     (void)SvIOK_only(sv);                       /* validate number */
1297     SvIV_set(sv, i);
1298     SvTAINT(sv);
1299 }
1300
1301 /*
1302 =for apidoc sv_setiv_mg
1303
1304 Like C<sv_setiv>, but also handles 'set' magic.
1305
1306 =cut
1307 */
1308
1309 void
1310 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1311 {
1312     sv_setiv(sv,i);
1313     SvSETMAGIC(sv);
1314 }
1315
1316 /*
1317 =for apidoc sv_setuv
1318
1319 Copies an unsigned integer into the given SV, upgrading first if necessary.
1320 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1321
1322 =cut
1323 */
1324
1325 void
1326 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1327 {
1328     /* With these two if statements:
1329        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1330
1331        without
1332        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1333
1334        If you wish to remove them, please benchmark to see what the effect is
1335     */
1336     if (u <= (UV)IV_MAX) {
1337        sv_setiv(sv, (IV)u);
1338        return;
1339     }
1340     sv_setiv(sv, 0);
1341     SvIsUV_on(sv);
1342     SvUV_set(sv, u);
1343 }
1344
1345 /*
1346 =for apidoc sv_setuv_mg
1347
1348 Like C<sv_setuv>, but also handles 'set' magic.
1349
1350 =cut
1351 */
1352
1353 void
1354 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1355 {
1356     sv_setiv(sv, 0);
1357     SvIsUV_on(sv);
1358     sv_setuv(sv,u);
1359     SvSETMAGIC(sv);
1360 }
1361
1362 /*
1363 =for apidoc sv_setnv
1364
1365 Copies a double into the given SV, upgrading first if necessary.
1366 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1367
1368 =cut
1369 */
1370
1371 void
1372 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1373 {
1374     dVAR;
1375     SV_CHECK_THINKFIRST_COW_DROP(sv);
1376     switch (SvTYPE(sv)) {
1377     case SVt_NULL:
1378     case SVt_IV:
1379         sv_upgrade(sv, SVt_NV);
1380         break;
1381     case SVt_RV:
1382     case SVt_PV:
1383     case SVt_PVIV:
1384         sv_upgrade(sv, SVt_PVNV);
1385         break;
1386
1387     case SVt_PVGV:
1388     case SVt_PVAV:
1389     case SVt_PVHV:
1390     case SVt_PVCV:
1391     case SVt_PVFM:
1392     case SVt_PVIO:
1393         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1394                    OP_NAME(PL_op));
1395     }
1396     SvNV_set(sv, num);
1397     (void)SvNOK_only(sv);                       /* validate number */
1398     SvTAINT(sv);
1399 }
1400
1401 /*
1402 =for apidoc sv_setnv_mg
1403
1404 Like C<sv_setnv>, but also handles 'set' magic.
1405
1406 =cut
1407 */
1408
1409 void
1410 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1411 {
1412     sv_setnv(sv,num);
1413     SvSETMAGIC(sv);
1414 }
1415
1416 /* Print an "isn't numeric" warning, using a cleaned-up,
1417  * printable version of the offending string
1418  */
1419
1420 STATIC void
1421 S_not_a_number(pTHX_ SV *sv)
1422 {
1423      dVAR;
1424      SV *dsv;
1425      char tmpbuf[64];
1426      const char *pv;
1427
1428      if (DO_UTF8(sv)) {
1429           dsv = sv_2mortal(newSVpvs(""));
1430           pv = sv_uni_display(dsv, sv, 10, 0);
1431      } else {
1432           char *d = tmpbuf;
1433           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1434           /* each *s can expand to 4 chars + "...\0",
1435              i.e. need room for 8 chars */
1436         
1437           const char *s = SvPVX_const(sv);
1438           const char * const end = s + SvCUR(sv);
1439           for ( ; s < end && d < limit; s++ ) {
1440                int ch = *s & 0xFF;
1441                if (ch & 128 && !isPRINT_LC(ch)) {
1442                     *d++ = 'M';
1443                     *d++ = '-';
1444                     ch &= 127;
1445                }
1446                if (ch == '\n') {
1447                     *d++ = '\\';
1448                     *d++ = 'n';
1449                }
1450                else if (ch == '\r') {
1451                     *d++ = '\\';
1452                     *d++ = 'r';
1453                }
1454                else if (ch == '\f') {
1455                     *d++ = '\\';
1456                     *d++ = 'f';
1457                }
1458                else if (ch == '\\') {
1459                     *d++ = '\\';
1460                     *d++ = '\\';
1461                }
1462                else if (ch == '\0') {
1463                     *d++ = '\\';
1464                     *d++ = '0';
1465                }
1466                else if (isPRINT_LC(ch))
1467                     *d++ = ch;
1468                else {
1469                     *d++ = '^';
1470                     *d++ = toCTRL(ch);
1471                }
1472           }
1473           if (s < end) {
1474                *d++ = '.';
1475                *d++ = '.';
1476                *d++ = '.';
1477           }
1478           *d = '\0';
1479           pv = tmpbuf;
1480     }
1481
1482     if (PL_op)
1483         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1484                     "Argument \"%s\" isn't numeric in %s", pv,
1485                     OP_DESC(PL_op));
1486     else
1487         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1488                     "Argument \"%s\" isn't numeric", pv);
1489 }
1490
1491 /*
1492 =for apidoc looks_like_number
1493
1494 Test if the content of an SV looks like a number (or is a number).
1495 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1496 non-numeric warning), even if your atof() doesn't grok them.
1497
1498 =cut
1499 */
1500
1501 I32
1502 Perl_looks_like_number(pTHX_ SV *sv)
1503 {
1504     register const char *sbegin;
1505     STRLEN len;
1506
1507     if (SvPOK(sv)) {
1508         sbegin = SvPVX_const(sv);
1509         len = SvCUR(sv);
1510     }
1511     else if (SvPOKp(sv))
1512         sbegin = SvPV_const(sv, len);
1513     else
1514         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1515     return grok_number(sbegin, len, NULL);
1516 }
1517
1518 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1519    until proven guilty, assume that things are not that bad... */
1520
1521 /*
1522    NV_PRESERVES_UV:
1523
1524    As 64 bit platforms often have an NV that doesn't preserve all bits of
1525    an IV (an assumption perl has been based on to date) it becomes necessary
1526    to remove the assumption that the NV always carries enough precision to
1527    recreate the IV whenever needed, and that the NV is the canonical form.
1528    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1529    precision as a side effect of conversion (which would lead to insanity
1530    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1531    1) to distinguish between IV/UV/NV slots that have cached a valid
1532       conversion where precision was lost and IV/UV/NV slots that have a
1533       valid conversion which has lost no precision
1534    2) to ensure that if a numeric conversion to one form is requested that
1535       would lose precision, the precise conversion (or differently
1536       imprecise conversion) is also performed and cached, to prevent
1537       requests for different numeric formats on the same SV causing
1538       lossy conversion chains. (lossless conversion chains are perfectly
1539       acceptable (still))
1540
1541
1542    flags are used:
1543    SvIOKp is true if the IV slot contains a valid value
1544    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1545    SvNOKp is true if the NV slot contains a valid value
1546    SvNOK  is true only if the NV value is accurate
1547
1548    so
1549    while converting from PV to NV, check to see if converting that NV to an
1550    IV(or UV) would lose accuracy over a direct conversion from PV to
1551    IV(or UV). If it would, cache both conversions, return NV, but mark
1552    SV as IOK NOKp (ie not NOK).
1553
1554    While converting from PV to IV, check to see if converting that IV to an
1555    NV would lose accuracy over a direct conversion from PV to NV. If it
1556    would, cache both conversions, flag similarly.
1557
1558    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1559    correctly because if IV & NV were set NV *always* overruled.
1560    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1561    changes - now IV and NV together means that the two are interchangeable:
1562    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1563
1564    The benefit of this is that operations such as pp_add know that if
1565    SvIOK is true for both left and right operands, then integer addition
1566    can be used instead of floating point (for cases where the result won't
1567    overflow). Before, floating point was always used, which could lead to
1568    loss of precision compared with integer addition.
1569
1570    * making IV and NV equal status should make maths accurate on 64 bit
1571      platforms
1572    * may speed up maths somewhat if pp_add and friends start to use
1573      integers when possible instead of fp. (Hopefully the overhead in
1574      looking for SvIOK and checking for overflow will not outweigh the
1575      fp to integer speedup)
1576    * will slow down integer operations (callers of SvIV) on "inaccurate"
1577      values, as the change from SvIOK to SvIOKp will cause a call into
1578      sv_2iv each time rather than a macro access direct to the IV slot
1579    * should speed up number->string conversion on integers as IV is
1580      favoured when IV and NV are equally accurate
1581
1582    ####################################################################
1583    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1584    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1585    On the other hand, SvUOK is true iff UV.
1586    ####################################################################
1587
1588    Your mileage will vary depending your CPU's relative fp to integer
1589    performance ratio.
1590 */
1591
1592 #ifndef NV_PRESERVES_UV
1593 #  define IS_NUMBER_UNDERFLOW_IV 1
1594 #  define IS_NUMBER_UNDERFLOW_UV 2
1595 #  define IS_NUMBER_IV_AND_UV    2
1596 #  define IS_NUMBER_OVERFLOW_IV  4
1597 #  define IS_NUMBER_OVERFLOW_UV  5
1598
1599 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1600
1601 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1602 STATIC int
1603 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1604 {
1605     dVAR;
1606     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1607     if (SvNVX(sv) < (NV)IV_MIN) {
1608         (void)SvIOKp_on(sv);
1609         (void)SvNOK_on(sv);
1610         SvIV_set(sv, IV_MIN);
1611         return IS_NUMBER_UNDERFLOW_IV;
1612     }
1613     if (SvNVX(sv) > (NV)UV_MAX) {
1614         (void)SvIOKp_on(sv);
1615         (void)SvNOK_on(sv);
1616         SvIsUV_on(sv);
1617         SvUV_set(sv, UV_MAX);
1618         return IS_NUMBER_OVERFLOW_UV;
1619     }
1620     (void)SvIOKp_on(sv);
1621     (void)SvNOK_on(sv);
1622     /* Can't use strtol etc to convert this string.  (See truth table in
1623        sv_2iv  */
1624     if (SvNVX(sv) <= (UV)IV_MAX) {
1625         SvIV_set(sv, I_V(SvNVX(sv)));
1626         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1627             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1628         } else {
1629             /* Integer is imprecise. NOK, IOKp */
1630         }
1631         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1632     }
1633     SvIsUV_on(sv);
1634     SvUV_set(sv, U_V(SvNVX(sv)));
1635     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1636         if (SvUVX(sv) == UV_MAX) {
1637             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1638                possibly be preserved by NV. Hence, it must be overflow.
1639                NOK, IOKp */
1640             return IS_NUMBER_OVERFLOW_UV;
1641         }
1642         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1643     } else {
1644         /* Integer is imprecise. NOK, IOKp */
1645     }
1646     return IS_NUMBER_OVERFLOW_IV;
1647 }
1648 #endif /* !NV_PRESERVES_UV*/
1649
1650 STATIC bool
1651 S_sv_2iuv_common(pTHX_ SV *sv) {
1652     dVAR;
1653     if (SvNOKp(sv)) {
1654         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1655          * without also getting a cached IV/UV from it at the same time
1656          * (ie PV->NV conversion should detect loss of accuracy and cache
1657          * IV or UV at same time to avoid this. */
1658         /* IV-over-UV optimisation - choose to cache IV if possible */
1659
1660         if (SvTYPE(sv) == SVt_NV)
1661             sv_upgrade(sv, SVt_PVNV);
1662
1663         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1664         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1665            certainly cast into the IV range at IV_MAX, whereas the correct
1666            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1667            cases go to UV */
1668         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1669             SvIV_set(sv, I_V(SvNVX(sv)));
1670             if (SvNVX(sv) == (NV) SvIVX(sv)
1671 #ifndef NV_PRESERVES_UV
1672                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1673                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1674                 /* Don't flag it as "accurately an integer" if the number
1675                    came from a (by definition imprecise) NV operation, and
1676                    we're outside the range of NV integer precision */
1677 #endif
1678                 ) {
1679                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1680                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1681                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1682                                       PTR2UV(sv),
1683                                       SvNVX(sv),
1684                                       SvIVX(sv)));
1685
1686             } else {
1687                 /* IV not precise.  No need to convert from PV, as NV
1688                    conversion would already have cached IV if it detected
1689                    that PV->IV would be better than PV->NV->IV
1690                    flags already correct - don't set public IOK.  */
1691                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1692                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1693                                       PTR2UV(sv),
1694                                       SvNVX(sv),
1695                                       SvIVX(sv)));
1696             }
1697             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1698                but the cast (NV)IV_MIN rounds to a the value less (more
1699                negative) than IV_MIN which happens to be equal to SvNVX ??
1700                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1701                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1702                (NV)UVX == NVX are both true, but the values differ. :-(
1703                Hopefully for 2s complement IV_MIN is something like
1704                0x8000000000000000 which will be exact. NWC */
1705         }
1706         else {
1707             SvUV_set(sv, U_V(SvNVX(sv)));
1708             if (
1709                 (SvNVX(sv) == (NV) SvUVX(sv))
1710 #ifndef  NV_PRESERVES_UV
1711                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1712                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1713                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1714                 /* Don't flag it as "accurately an integer" if the number
1715                    came from a (by definition imprecise) NV operation, and
1716                    we're outside the range of NV integer precision */
1717 #endif
1718                 )
1719                 SvIOK_on(sv);
1720             SvIsUV_on(sv);
1721             DEBUG_c(PerlIO_printf(Perl_debug_log,
1722                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1723                                   PTR2UV(sv),
1724                                   SvUVX(sv),
1725                                   SvUVX(sv)));
1726         }
1727     }
1728     else if (SvPOKp(sv) && SvLEN(sv)) {
1729         UV value;
1730         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1731         /* We want to avoid a possible problem when we cache an IV/ a UV which
1732            may be later translated to an NV, and the resulting NV is not
1733            the same as the direct translation of the initial string
1734            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1735            be careful to ensure that the value with the .456 is around if the
1736            NV value is requested in the future).
1737         
1738            This means that if we cache such an IV/a UV, we need to cache the
1739            NV as well.  Moreover, we trade speed for space, and do not
1740            cache the NV if we are sure it's not needed.
1741          */
1742
1743         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1744         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1745              == IS_NUMBER_IN_UV) {
1746             /* It's definitely an integer, only upgrade to PVIV */
1747             if (SvTYPE(sv) < SVt_PVIV)
1748                 sv_upgrade(sv, SVt_PVIV);
1749             (void)SvIOK_on(sv);
1750         } else if (SvTYPE(sv) < SVt_PVNV)
1751             sv_upgrade(sv, SVt_PVNV);
1752
1753         /* If NVs preserve UVs then we only use the UV value if we know that
1754            we aren't going to call atof() below. If NVs don't preserve UVs
1755            then the value returned may have more precision than atof() will
1756            return, even though value isn't perfectly accurate.  */
1757         if ((numtype & (IS_NUMBER_IN_UV
1758 #ifdef NV_PRESERVES_UV
1759                         | IS_NUMBER_NOT_INT
1760 #endif
1761             )) == IS_NUMBER_IN_UV) {
1762             /* This won't turn off the public IOK flag if it was set above  */
1763             (void)SvIOKp_on(sv);
1764
1765             if (!(numtype & IS_NUMBER_NEG)) {
1766                 /* positive */;
1767                 if (value <= (UV)IV_MAX) {
1768                     SvIV_set(sv, (IV)value);
1769                 } else {
1770                     /* it didn't overflow, and it was positive. */
1771                     SvUV_set(sv, value);
1772                     SvIsUV_on(sv);
1773                 }
1774             } else {
1775                 /* 2s complement assumption  */
1776                 if (value <= (UV)IV_MIN) {
1777                     SvIV_set(sv, -(IV)value);
1778                 } else {
1779                     /* Too negative for an IV.  This is a double upgrade, but
1780                        I'm assuming it will be rare.  */
1781                     if (SvTYPE(sv) < SVt_PVNV)
1782                         sv_upgrade(sv, SVt_PVNV);
1783                     SvNOK_on(sv);
1784                     SvIOK_off(sv);
1785                     SvIOKp_on(sv);
1786                     SvNV_set(sv, -(NV)value);
1787                     SvIV_set(sv, IV_MIN);
1788                 }
1789             }
1790         }
1791         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
1792            will be in the previous block to set the IV slot, and the next
1793            block to set the NV slot.  So no else here.  */
1794         
1795         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1796             != IS_NUMBER_IN_UV) {
1797             /* It wasn't an (integer that doesn't overflow the UV). */
1798             SvNV_set(sv, Atof(SvPVX_const(sv)));
1799
1800             if (! numtype && ckWARN(WARN_NUMERIC))
1801                 not_a_number(sv);
1802
1803 #if defined(USE_LONG_DOUBLE)
1804             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
1805                                   PTR2UV(sv), SvNVX(sv)));
1806 #else
1807             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
1808                                   PTR2UV(sv), SvNVX(sv)));
1809 #endif
1810
1811 #ifdef NV_PRESERVES_UV
1812             (void)SvIOKp_on(sv);
1813             (void)SvNOK_on(sv);
1814             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1815                 SvIV_set(sv, I_V(SvNVX(sv)));
1816                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1817                     SvIOK_on(sv);
1818                 } else {
1819                     /* Integer is imprecise. NOK, IOKp */
1820                 }
1821                 /* UV will not work better than IV */
1822             } else {
1823                 if (SvNVX(sv) > (NV)UV_MAX) {
1824                     SvIsUV_on(sv);
1825                     /* Integer is inaccurate. NOK, IOKp, is UV */
1826                     SvUV_set(sv, UV_MAX);
1827                 } else {
1828                     SvUV_set(sv, U_V(SvNVX(sv)));
1829                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
1830                        NV preservse UV so can do correct comparison.  */
1831                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1832                         SvIOK_on(sv);
1833                     } else {
1834                         /* Integer is imprecise. NOK, IOKp, is UV */
1835                     }
1836                 }
1837                 SvIsUV_on(sv);
1838             }
1839 #else /* NV_PRESERVES_UV */
1840             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1841                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
1842                 /* The IV/UV slot will have been set from value returned by
1843                    grok_number above.  The NV slot has just been set using
1844                    Atof.  */
1845                 SvNOK_on(sv);
1846                 assert (SvIOKp(sv));
1847             } else {
1848                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
1849                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
1850                     /* Small enough to preserve all bits. */
1851                     (void)SvIOKp_on(sv);
1852                     SvNOK_on(sv);
1853                     SvIV_set(sv, I_V(SvNVX(sv)));
1854                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
1855                         SvIOK_on(sv);
1856                     /* Assumption: first non-preserved integer is < IV_MAX,
1857                        this NV is in the preserved range, therefore: */
1858                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
1859                           < (UV)IV_MAX)) {
1860                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
1861                     }
1862                 } else {
1863                     /* IN_UV NOT_INT
1864                          0      0       already failed to read UV.
1865                          0      1       already failed to read UV.
1866                          1      0       you won't get here in this case. IV/UV
1867                                         slot set, public IOK, Atof() unneeded.
1868                          1      1       already read UV.
1869                        so there's no point in sv_2iuv_non_preserve() attempting
1870                        to use atol, strtol, strtoul etc.  */
1871                     sv_2iuv_non_preserve (sv, numtype);
1872                 }
1873             }
1874 #endif /* NV_PRESERVES_UV */
1875         }
1876     }
1877     else  {
1878         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1879             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1880                 report_uninit(sv);
1881         }
1882         if (SvTYPE(sv) < SVt_IV)
1883             /* Typically the caller expects that sv_any is not NULL now.  */
1884             sv_upgrade(sv, SVt_IV);
1885         /* Return 0 from the caller.  */
1886         return TRUE;
1887     }
1888     return FALSE;
1889 }
1890
1891 /*
1892 =for apidoc sv_2iv_flags
1893
1894 Return the integer value of an SV, doing any necessary string
1895 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1896 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
1897
1898 =cut
1899 */
1900
1901 IV
1902 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
1903 {
1904     dVAR;
1905     if (!sv)
1906         return 0;
1907     if (SvGMAGICAL(sv)) {
1908         if (flags & SV_GMAGIC)
1909             mg_get(sv);
1910         if (SvIOKp(sv))
1911             return SvIVX(sv);
1912         if (SvNOKp(sv)) {
1913             return I_V(SvNVX(sv));
1914         }
1915         if (SvPOKp(sv) && SvLEN(sv)) {
1916             UV value;
1917             const int numtype
1918                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1919
1920             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1921                 == IS_NUMBER_IN_UV) {
1922                 /* It's definitely an integer */
1923                 if (numtype & IS_NUMBER_NEG) {
1924                     if (value < (UV)IV_MIN)
1925                         return -(IV)value;
1926                 } else {
1927                     if (value < (UV)IV_MAX)
1928                         return (IV)value;
1929                 }
1930             }
1931             if (!numtype) {
1932                 if (ckWARN(WARN_NUMERIC))
1933                     not_a_number(sv);
1934             }
1935             return I_V(Atof(SvPVX_const(sv)));
1936         }
1937         if (SvROK(sv)) {
1938             goto return_rok;
1939         }
1940         assert(SvTYPE(sv) >= SVt_PVMG);
1941         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
1942     } else if (SvTHINKFIRST(sv)) {
1943         if (SvROK(sv)) {
1944         return_rok:
1945             if (SvAMAGIC(sv)) {
1946                 SV * const tmpstr=AMG_CALLun(sv,numer);
1947                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
1948                     return SvIV(tmpstr);
1949                 }
1950             }
1951             return PTR2IV(SvRV(sv));
1952         }
1953         if (SvIsCOW(sv)) {
1954             sv_force_normal_flags(sv, 0);
1955         }
1956         if (SvREADONLY(sv) && !SvOK(sv)) {
1957             if (ckWARN(WARN_UNINITIALIZED))
1958                 report_uninit(sv);
1959             return 0;
1960         }
1961     }
1962     if (!SvIOKp(sv)) {
1963         if (S_sv_2iuv_common(aTHX_ sv))
1964             return 0;
1965     }
1966     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
1967         PTR2UV(sv),SvIVX(sv)));
1968     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
1969 }
1970
1971 /*
1972 =for apidoc sv_2uv_flags
1973
1974 Return the unsigned integer value of an SV, doing any necessary string
1975 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1976 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
1977
1978 =cut
1979 */
1980
1981 UV
1982 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
1983 {
1984     dVAR;
1985     if (!sv)
1986         return 0;
1987     if (SvGMAGICAL(sv)) {
1988         if (flags & SV_GMAGIC)
1989             mg_get(sv);
1990         if (SvIOKp(sv))
1991             return SvUVX(sv);
1992         if (SvNOKp(sv))
1993             return U_V(SvNVX(sv));
1994         if (SvPOKp(sv) && SvLEN(sv)) {
1995             UV value;
1996             const int numtype
1997                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1998
1999             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2000                 == IS_NUMBER_IN_UV) {
2001                 /* It's definitely an integer */
2002                 if (!(numtype & IS_NUMBER_NEG))
2003                     return value;
2004             }
2005             if (!numtype) {
2006                 if (ckWARN(WARN_NUMERIC))
2007                     not_a_number(sv);
2008             }
2009             return U_V(Atof(SvPVX_const(sv)));
2010         }
2011         if (SvROK(sv)) {
2012             goto return_rok;
2013         }
2014         assert(SvTYPE(sv) >= SVt_PVMG);
2015         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2016     } else if (SvTHINKFIRST(sv)) {
2017         if (SvROK(sv)) {
2018         return_rok:
2019             if (SvAMAGIC(sv)) {
2020                 SV *const tmpstr = AMG_CALLun(sv,numer);
2021                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2022                     return SvUV(tmpstr);
2023                 }
2024             }
2025             return PTR2UV(SvRV(sv));
2026         }
2027         if (SvIsCOW(sv)) {
2028             sv_force_normal_flags(sv, 0);
2029         }
2030         if (SvREADONLY(sv) && !SvOK(sv)) {
2031             if (ckWARN(WARN_UNINITIALIZED))
2032                 report_uninit(sv);
2033             return 0;
2034         }
2035     }
2036     if (!SvIOKp(sv)) {
2037         if (S_sv_2iuv_common(aTHX_ sv))
2038             return 0;
2039     }
2040
2041     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2042                           PTR2UV(sv),SvUVX(sv)));
2043     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2044 }
2045
2046 /*
2047 =for apidoc sv_2nv
2048
2049 Return the num value of an SV, doing any necessary string or integer
2050 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2051 macros.
2052
2053 =cut
2054 */
2055
2056 NV
2057 Perl_sv_2nv(pTHX_ register SV *sv)
2058 {
2059     dVAR;
2060     if (!sv)
2061         return 0.0;
2062     if (SvGMAGICAL(sv)) {
2063         mg_get(sv);
2064         if (SvNOKp(sv))
2065             return SvNVX(sv);
2066         if (SvPOKp(sv) && SvLEN(sv)) {
2067             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2068                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2069                 not_a_number(sv);
2070             return Atof(SvPVX_const(sv));
2071         }
2072         if (SvIOKp(sv)) {
2073             if (SvIsUV(sv))
2074                 return (NV)SvUVX(sv);
2075             else
2076                 return (NV)SvIVX(sv);
2077         }
2078         if (SvROK(sv)) {
2079             goto return_rok;
2080         }
2081         assert(SvTYPE(sv) >= SVt_PVMG);
2082         /* This falls through to the report_uninit near the end of the
2083            function. */
2084     } else if (SvTHINKFIRST(sv)) {
2085         if (SvROK(sv)) {
2086         return_rok:
2087             if (SvAMAGIC(sv)) {
2088                 SV *const tmpstr = AMG_CALLun(sv,numer);
2089                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2090                     return SvNV(tmpstr);
2091                 }
2092             }
2093             return PTR2NV(SvRV(sv));
2094         }
2095         if (SvIsCOW(sv)) {
2096             sv_force_normal_flags(sv, 0);
2097         }
2098         if (SvREADONLY(sv) && !SvOK(sv)) {
2099             if (ckWARN(WARN_UNINITIALIZED))
2100                 report_uninit(sv);
2101             return 0.0;
2102         }
2103     }
2104     if (SvTYPE(sv) < SVt_NV) {
2105         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2106         sv_upgrade(sv, SVt_NV);
2107 #ifdef USE_LONG_DOUBLE
2108         DEBUG_c({
2109             STORE_NUMERIC_LOCAL_SET_STANDARD();
2110             PerlIO_printf(Perl_debug_log,
2111                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2112                           PTR2UV(sv), SvNVX(sv));
2113             RESTORE_NUMERIC_LOCAL();
2114         });
2115 #else
2116         DEBUG_c({
2117             STORE_NUMERIC_LOCAL_SET_STANDARD();
2118             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2119                           PTR2UV(sv), SvNVX(sv));
2120             RESTORE_NUMERIC_LOCAL();
2121         });
2122 #endif
2123     }
2124     else if (SvTYPE(sv) < SVt_PVNV)
2125         sv_upgrade(sv, SVt_PVNV);
2126     if (SvNOKp(sv)) {
2127         return SvNVX(sv);
2128     }
2129     if (SvIOKp(sv)) {
2130         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2131 #ifdef NV_PRESERVES_UV
2132         SvNOK_on(sv);
2133 #else
2134         /* Only set the public NV OK flag if this NV preserves the IV  */
2135         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2136         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2137                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2138             SvNOK_on(sv);
2139         else
2140             SvNOKp_on(sv);
2141 #endif
2142     }
2143     else if (SvPOKp(sv) && SvLEN(sv)) {
2144         UV value;
2145         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2146         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2147             not_a_number(sv);
2148 #ifdef NV_PRESERVES_UV
2149         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2150             == IS_NUMBER_IN_UV) {
2151             /* It's definitely an integer */
2152             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2153         } else
2154             SvNV_set(sv, Atof(SvPVX_const(sv)));
2155         SvNOK_on(sv);
2156 #else
2157         SvNV_set(sv, Atof(SvPVX_const(sv)));
2158         /* Only set the public NV OK flag if this NV preserves the value in
2159            the PV at least as well as an IV/UV would.
2160            Not sure how to do this 100% reliably. */
2161         /* if that shift count is out of range then Configure's test is
2162            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2163            UV_BITS */
2164         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2165             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2166             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2167         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2168             /* Can't use strtol etc to convert this string, so don't try.
2169                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2170             SvNOK_on(sv);
2171         } else {
2172             /* value has been set.  It may not be precise.  */
2173             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2174                 /* 2s complement assumption for (UV)IV_MIN  */
2175                 SvNOK_on(sv); /* Integer is too negative.  */
2176             } else {
2177                 SvNOKp_on(sv);
2178                 SvIOKp_on(sv);
2179
2180                 if (numtype & IS_NUMBER_NEG) {
2181                     SvIV_set(sv, -(IV)value);
2182                 } else if (value <= (UV)IV_MAX) {
2183                     SvIV_set(sv, (IV)value);
2184                 } else {
2185                     SvUV_set(sv, value);
2186                     SvIsUV_on(sv);
2187                 }
2188
2189                 if (numtype & IS_NUMBER_NOT_INT) {
2190                     /* I believe that even if the original PV had decimals,
2191                        they are lost beyond the limit of the FP precision.
2192                        However, neither is canonical, so both only get p
2193                        flags.  NWC, 2000/11/25 */
2194                     /* Both already have p flags, so do nothing */
2195                 } else {
2196                     const NV nv = SvNVX(sv);
2197                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2198                         if (SvIVX(sv) == I_V(nv)) {
2199                             SvNOK_on(sv);
2200                         } else {
2201                             /* It had no "." so it must be integer.  */
2202                         }
2203                         SvIOK_on(sv);
2204                     } else {
2205                         /* between IV_MAX and NV(UV_MAX).
2206                            Could be slightly > UV_MAX */
2207
2208                         if (numtype & IS_NUMBER_NOT_INT) {
2209                             /* UV and NV both imprecise.  */
2210                         } else {
2211                             const UV nv_as_uv = U_V(nv);
2212
2213                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2214                                 SvNOK_on(sv);
2215                             }
2216                             SvIOK_on(sv);
2217                         }
2218                     }
2219                 }
2220             }
2221         }
2222 #endif /* NV_PRESERVES_UV */
2223     }
2224     else  {
2225         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2226             report_uninit(sv);
2227         assert (SvTYPE(sv) >= SVt_NV);
2228         /* Typically the caller expects that sv_any is not NULL now.  */
2229         /* XXX Ilya implies that this is a bug in callers that assume this
2230            and ideally should be fixed.  */
2231         return 0.0;
2232     }
2233 #if defined(USE_LONG_DOUBLE)
2234     DEBUG_c({
2235         STORE_NUMERIC_LOCAL_SET_STANDARD();
2236         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2237                       PTR2UV(sv), SvNVX(sv));
2238         RESTORE_NUMERIC_LOCAL();
2239     });
2240 #else
2241     DEBUG_c({
2242         STORE_NUMERIC_LOCAL_SET_STANDARD();
2243         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2244                       PTR2UV(sv), SvNVX(sv));
2245         RESTORE_NUMERIC_LOCAL();
2246     });
2247 #endif
2248     return SvNVX(sv);
2249 }
2250
2251 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2252  * UV as a string towards the end of buf, and return pointers to start and
2253  * end of it.
2254  *
2255  * We assume that buf is at least TYPE_CHARS(UV) long.
2256  */
2257
2258 static char *
2259 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2260 {
2261     char *ptr = buf + TYPE_CHARS(UV);
2262     char * const ebuf = ptr;
2263     int sign;
2264
2265     if (is_uv)
2266         sign = 0;
2267     else if (iv >= 0) {
2268         uv = iv;
2269         sign = 0;
2270     } else {
2271         uv = -iv;
2272         sign = 1;
2273     }
2274     do {
2275         *--ptr = '0' + (char)(uv % 10);
2276     } while (uv /= 10);
2277     if (sign)
2278         *--ptr = '-';
2279     *peob = ebuf;
2280     return ptr;
2281 }
2282
2283 /* stringify_regexp(): private routine for use by sv_2pv_flags(): converts
2284  * a regexp to its stringified form.
2285  */
2286
2287 static char *
2288 S_stringify_regexp(pTHX_ SV *sv, MAGIC *mg, STRLEN *lp) {
2289     dVAR;
2290     const regexp * const re = (regexp *)mg->mg_obj;
2291
2292     if (!mg->mg_ptr) {
2293         const char *fptr = "msix";
2294         char reflags[6];
2295         char ch;
2296         int left = 0;
2297         int right = 4;
2298         bool need_newline = 0;
2299         U16 reganch = (U16)((re->reganch & PMf_COMPILETIME) >> 12);
2300
2301         while((ch = *fptr++)) {
2302             if(reganch & 1) {
2303                 reflags[left++] = ch;
2304             }
2305             else {
2306                 reflags[right--] = ch;
2307             }
2308             reganch >>= 1;
2309         }
2310         if(left != 4) {
2311             reflags[left] = '-';
2312             left = 5;
2313         }
2314
2315         mg->mg_len = re->prelen + 4 + left;
2316         /*
2317          * If /x was used, we have to worry about a regex ending with a
2318          * comment later being embedded within another regex. If so, we don't
2319          * want this regex's "commentization" to leak out to the right part of
2320          * the enclosing regex, we must cap it with a newline.
2321          *
2322          * So, if /x was used, we scan backwards from the end of the regex. If
2323          * we find a '#' before we find a newline, we need to add a newline
2324          * ourself. If we find a '\n' first (or if we don't find '#' or '\n'),
2325          * we don't need to add anything.  -jfriedl
2326          */
2327         if (PMf_EXTENDED & re->reganch) {
2328             const char *endptr = re->precomp + re->prelen;
2329             while (endptr >= re->precomp) {
2330                 const char c = *(endptr--);
2331                 if (c == '\n')
2332                     break; /* don't need another */
2333                 if (c == '#') {
2334                     /* we end while in a comment, so we need a newline */
2335                     mg->mg_len++; /* save space for it */
2336                     need_newline = 1; /* note to add it */
2337                     break;
2338                 }
2339             }
2340         }
2341
2342         Newx(mg->mg_ptr, mg->mg_len + 1 + left, char);
2343         mg->mg_ptr[0] = '(';
2344         mg->mg_ptr[1] = '?';
2345         Copy(reflags, mg->mg_ptr+2, left, char);
2346         *(mg->mg_ptr+left+2) = ':';
2347         Copy(re->precomp, mg->mg_ptr+3+left, re->prelen, char);
2348         if (need_newline)
2349             mg->mg_ptr[mg->mg_len - 2] = '\n';
2350         mg->mg_ptr[mg->mg_len - 1] = ')';
2351         mg->mg_ptr[mg->mg_len] = 0;
2352     }
2353     PL_reginterp_cnt += re->program[0].next_off;
2354     
2355     if (re->reganch & ROPT_UTF8)
2356         SvUTF8_on(sv);
2357     else
2358         SvUTF8_off(sv);
2359     if (lp)
2360         *lp = mg->mg_len;
2361     return mg->mg_ptr;
2362 }
2363
2364 /*
2365 =for apidoc sv_2pv_flags
2366
2367 Returns a pointer to the string value of an SV, and sets *lp to its length.
2368 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2369 if necessary.
2370 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2371 usually end up here too.
2372
2373 =cut
2374 */
2375
2376 char *
2377 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2378 {
2379     dVAR;
2380     register char *s;
2381
2382     if (!sv) {
2383         if (lp)
2384             *lp = 0;
2385         return (char *)"";
2386     }
2387     if (SvGMAGICAL(sv)) {
2388         if (flags & SV_GMAGIC)
2389             mg_get(sv);
2390         if (SvPOKp(sv)) {
2391             if (lp)
2392                 *lp = SvCUR(sv);
2393             if (flags & SV_MUTABLE_RETURN)
2394                 return SvPVX_mutable(sv);
2395             if (flags & SV_CONST_RETURN)
2396                 return (char *)SvPVX_const(sv);
2397             return SvPVX(sv);
2398         }
2399         if (SvIOKp(sv) || SvNOKp(sv)) {
2400             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2401             STRLEN len;
2402
2403             if (SvIOKp(sv)) {
2404                 len = SvIsUV(sv) ? my_sprintf(tbuf,"%"UVuf, (UV)SvUVX(sv))
2405                     : my_sprintf(tbuf,"%"IVdf, (IV)SvIVX(sv));
2406             } else {
2407                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2408                 len = strlen(tbuf);
2409             }
2410             if (SvROK(sv)) {    /* XXX Skip this when sv_pvn_force calls */
2411                 /* Sneaky stuff here */
2412                 SV * const tsv = newSVpvn(tbuf, len);
2413
2414                 sv_2mortal(tsv);
2415                 if (lp)
2416                     *lp = SvCUR(tsv);
2417                 return SvPVX(tsv);
2418             }
2419             else {
2420                 dVAR;
2421
2422 #ifdef FIXNEGATIVEZERO
2423                 if (len == 2 && tbuf[0] == '-' && tbuf[1] == '0') {
2424                     tbuf[0] = '0';
2425                     tbuf[1] = 0;
2426                     len = 1;
2427                 }
2428 #endif
2429                 SvUPGRADE(sv, SVt_PV);
2430                 if (lp)
2431                     *lp = len;
2432                 s = SvGROW_mutable(sv, len + 1);
2433                 SvCUR_set(sv, len);
2434                 SvPOKp_on(sv);
2435                 return memcpy(s, tbuf, len + 1);
2436             }
2437         }
2438         if (SvROK(sv)) {
2439             goto return_rok;
2440         }
2441         assert(SvTYPE(sv) >= SVt_PVMG);
2442         /* This falls through to the report_uninit near the end of the
2443            function. */
2444     } else if (SvTHINKFIRST(sv)) {
2445         if (SvROK(sv)) {
2446         return_rok:
2447             if (SvAMAGIC(sv)) {
2448                 SV *const tmpstr = AMG_CALLun(sv,string);
2449                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2450                     /* Unwrap this:  */
2451                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2452                      */
2453
2454                     char *pv;
2455                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2456                         if (flags & SV_CONST_RETURN) {
2457                             pv = (char *) SvPVX_const(tmpstr);
2458                         } else {
2459                             pv = (flags & SV_MUTABLE_RETURN)
2460                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2461                         }
2462                         if (lp)
2463                             *lp = SvCUR(tmpstr);
2464                     } else {
2465                         pv = sv_2pv_flags(tmpstr, lp, flags);
2466                     }
2467                     if (SvUTF8(tmpstr))
2468                         SvUTF8_on(sv);
2469                     else
2470                         SvUTF8_off(sv);
2471                     return pv;
2472                 }
2473             }
2474             {
2475                 SV *tsv;
2476                 MAGIC *mg;
2477                 const SV *const referent = (SV*)SvRV(sv);
2478
2479                 if (!referent) {
2480                     tsv = sv_2mortal(newSVpvs("NULLREF"));
2481                 } else if (SvTYPE(referent) == SVt_PVMG
2482                            && ((SvFLAGS(referent) &
2483                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2484                                == (SVs_OBJECT|SVs_SMG))
2485                            && (mg = mg_find(referent, PERL_MAGIC_qr))) {
2486                     return stringify_regexp(sv, mg, lp);
2487                 } else {
2488                     const char *const typestr = sv_reftype(referent, 0);
2489
2490                     tsv = sv_newmortal();
2491                     if (SvOBJECT(referent)) {
2492                         const char *const name = HvNAME_get(SvSTASH(referent));
2493                         Perl_sv_setpvf(aTHX_ tsv, "%s=%s(0x%"UVxf")",
2494                                        name ? name : "__ANON__" , typestr,
2495                                        PTR2UV(referent));
2496                     }
2497                     else
2498                         Perl_sv_setpvf(aTHX_ tsv, "%s(0x%"UVxf")", typestr,
2499                                        PTR2UV(referent));
2500                 }
2501                 if (lp)
2502                     *lp = SvCUR(tsv);
2503                 return SvPVX(tsv);
2504             }
2505         }
2506         if (SvREADONLY(sv) && !SvOK(sv)) {
2507             if (ckWARN(WARN_UNINITIALIZED))
2508                 report_uninit(sv);
2509             if (lp)
2510                 *lp = 0;
2511             return (char *)"";
2512         }
2513     }
2514     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2515         /* I'm assuming that if both IV and NV are equally valid then
2516            converting the IV is going to be more efficient */
2517         const U32 isIOK = SvIOK(sv);
2518         const U32 isUIOK = SvIsUV(sv);
2519         char buf[TYPE_CHARS(UV)];
2520         char *ebuf, *ptr;
2521
2522         if (SvTYPE(sv) < SVt_PVIV)
2523             sv_upgrade(sv, SVt_PVIV);
2524         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2525         /* inlined from sv_setpvn */
2526         SvGROW_mutable(sv, (STRLEN)(ebuf - ptr + 1));
2527         Move(ptr,SvPVX_mutable(sv),ebuf - ptr,char);
2528         SvCUR_set(sv, ebuf - ptr);
2529         s = SvEND(sv);
2530         *s = '\0';
2531         if (isIOK)
2532             SvIOK_on(sv);
2533         else
2534             SvIOKp_on(sv);
2535         if (isUIOK)
2536             SvIsUV_on(sv);
2537     }
2538     else if (SvNOKp(sv)) {
2539         const int olderrno = errno;
2540         if (SvTYPE(sv) < SVt_PVNV)
2541             sv_upgrade(sv, SVt_PVNV);
2542         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2543         s = SvGROW_mutable(sv, NV_DIG + 20);
2544         /* some Xenix systems wipe out errno here */
2545 #ifdef apollo
2546         if (SvNVX(sv) == 0.0)
2547             (void)strcpy(s,"0");
2548         else
2549 #endif /*apollo*/
2550         {
2551             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2552         }
2553         errno = olderrno;
2554 #ifdef FIXNEGATIVEZERO
2555         if (*s == '-' && s[1] == '0' && !s[2])
2556             strcpy(s,"0");
2557 #endif
2558         while (*s) s++;
2559 #ifdef hcx
2560         if (s[-1] == '.')
2561             *--s = '\0';
2562 #endif
2563     }
2564     else {
2565         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2566             report_uninit(sv);
2567         if (lp)
2568             *lp = 0;
2569         if (SvTYPE(sv) < SVt_PV)
2570             /* Typically the caller expects that sv_any is not NULL now.  */
2571             sv_upgrade(sv, SVt_PV);
2572         return (char *)"";
2573     }
2574     {
2575         const STRLEN len = s - SvPVX_const(sv);
2576         if (lp) 
2577             *lp = len;
2578         SvCUR_set(sv, len);
2579     }
2580     SvPOK_on(sv);
2581     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2582                           PTR2UV(sv),SvPVX_const(sv)));
2583     if (flags & SV_CONST_RETURN)
2584         return (char *)SvPVX_const(sv);
2585     if (flags & SV_MUTABLE_RETURN)
2586         return SvPVX_mutable(sv);
2587     return SvPVX(sv);
2588 }
2589
2590 /*
2591 =for apidoc sv_copypv
2592
2593 Copies a stringified representation of the source SV into the
2594 destination SV.  Automatically performs any necessary mg_get and
2595 coercion of numeric values into strings.  Guaranteed to preserve
2596 UTF-8 flag even from overloaded objects.  Similar in nature to
2597 sv_2pv[_flags] but operates directly on an SV instead of just the
2598 string.  Mostly uses sv_2pv_flags to do its work, except when that
2599 would lose the UTF-8'ness of the PV.
2600
2601 =cut
2602 */
2603
2604 void
2605 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2606 {
2607     STRLEN len;
2608     const char * const s = SvPV_const(ssv,len);
2609     sv_setpvn(dsv,s,len);
2610     if (SvUTF8(ssv))
2611         SvUTF8_on(dsv);
2612     else
2613         SvUTF8_off(dsv);
2614 }
2615
2616 /*
2617 =for apidoc sv_2pvbyte
2618
2619 Return a pointer to the byte-encoded representation of the SV, and set *lp
2620 to its length.  May cause the SV to be downgraded from UTF-8 as a
2621 side-effect.
2622
2623 Usually accessed via the C<SvPVbyte> macro.
2624
2625 =cut
2626 */
2627
2628 char *
2629 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2630 {
2631     sv_utf8_downgrade(sv,0);
2632     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2633 }
2634
2635 /*
2636 =for apidoc sv_2pvutf8
2637
2638 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2639 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2640
2641 Usually accessed via the C<SvPVutf8> macro.
2642
2643 =cut
2644 */
2645
2646 char *
2647 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2648 {
2649     sv_utf8_upgrade(sv);
2650     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2651 }
2652
2653
2654 /*
2655 =for apidoc sv_2bool
2656
2657 This function is only called on magical items, and is only used by
2658 sv_true() or its macro equivalent.
2659
2660 =cut
2661 */
2662
2663 bool
2664 Perl_sv_2bool(pTHX_ register SV *sv)
2665 {
2666     dVAR;
2667     SvGETMAGIC(sv);
2668
2669     if (!SvOK(sv))
2670         return 0;
2671     if (SvROK(sv)) {
2672         if (SvAMAGIC(sv)) {
2673             SV * const tmpsv = AMG_CALLun(sv,bool_);
2674             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2675                 return (bool)SvTRUE(tmpsv);
2676         }
2677         return SvRV(sv) != 0;
2678     }
2679     if (SvPOKp(sv)) {
2680         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2681         if (Xpvtmp &&
2682                 (*sv->sv_u.svu_pv > '0' ||
2683                 Xpvtmp->xpv_cur > 1 ||
2684                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2685             return 1;
2686         else
2687             return 0;
2688     }
2689     else {
2690         if (SvIOKp(sv))
2691             return SvIVX(sv) != 0;
2692         else {
2693             if (SvNOKp(sv))
2694                 return SvNVX(sv) != 0.0;
2695             else
2696                 return FALSE;
2697         }
2698     }
2699 }
2700
2701 /*
2702 =for apidoc sv_utf8_upgrade
2703
2704 Converts the PV of an SV to its UTF-8-encoded form.
2705 Forces the SV to string form if it is not already.
2706 Always sets the SvUTF8 flag to avoid future validity checks even
2707 if all the bytes have hibit clear.
2708
2709 This is not as a general purpose byte encoding to Unicode interface:
2710 use the Encode extension for that.
2711
2712 =for apidoc sv_utf8_upgrade_flags
2713
2714 Converts the PV of an SV to its UTF-8-encoded form.
2715 Forces the SV to string form if it is not already.
2716 Always sets the SvUTF8 flag to avoid future validity checks even
2717 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2718 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2719 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2720
2721 This is not as a general purpose byte encoding to Unicode interface:
2722 use the Encode extension for that.
2723
2724 =cut
2725 */
2726
2727 STRLEN
2728 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2729 {
2730     dVAR;
2731     if (sv == &PL_sv_undef)
2732         return 0;
2733     if (!SvPOK(sv)) {
2734         STRLEN len = 0;
2735         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2736             (void) sv_2pv_flags(sv,&len, flags);
2737             if (SvUTF8(sv))
2738                 return len;
2739         } else {
2740             (void) SvPV_force(sv,len);
2741         }
2742     }
2743
2744     if (SvUTF8(sv)) {
2745         return SvCUR(sv);
2746     }
2747
2748     if (SvIsCOW(sv)) {
2749         sv_force_normal_flags(sv, 0);
2750     }
2751
2752     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2753         sv_recode_to_utf8(sv, PL_encoding);
2754     else { /* Assume Latin-1/EBCDIC */
2755         /* This function could be much more efficient if we
2756          * had a FLAG in SVs to signal if there are any hibit
2757          * chars in the PV.  Given that there isn't such a flag
2758          * make the loop as fast as possible. */
2759         const U8 * const s = (U8 *) SvPVX_const(sv);
2760         const U8 * const e = (U8 *) SvEND(sv);
2761         const U8 *t = s;
2762         
2763         while (t < e) {
2764             const U8 ch = *t++;
2765             /* Check for hi bit */
2766             if (!NATIVE_IS_INVARIANT(ch)) {
2767                 STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
2768                 U8 * const recoded = bytes_to_utf8((U8*)s, &len);
2769
2770                 SvPV_free(sv); /* No longer using what was there before. */
2771                 SvPV_set(sv, (char*)recoded);
2772                 SvCUR_set(sv, len - 1);
2773                 SvLEN_set(sv, len); /* No longer know the real size. */
2774                 break;
2775             }
2776         }
2777         /* Mark as UTF-8 even if no hibit - saves scanning loop */
2778         SvUTF8_on(sv);
2779     }
2780     return SvCUR(sv);
2781 }
2782
2783 /*
2784 =for apidoc sv_utf8_downgrade
2785
2786 Attempts to convert the PV of an SV from characters to bytes.
2787 If the PV contains a character beyond byte, this conversion will fail;
2788 in this case, either returns false or, if C<fail_ok> is not
2789 true, croaks.
2790
2791 This is not as a general purpose Unicode to byte encoding interface:
2792 use the Encode extension for that.
2793
2794 =cut
2795 */
2796
2797 bool
2798 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
2799 {
2800     dVAR;
2801     if (SvPOKp(sv) && SvUTF8(sv)) {
2802         if (SvCUR(sv)) {
2803             U8 *s;
2804             STRLEN len;
2805
2806             if (SvIsCOW(sv)) {
2807                 sv_force_normal_flags(sv, 0);
2808             }
2809             s = (U8 *) SvPV(sv, len);
2810             if (!utf8_to_bytes(s, &len)) {
2811                 if (fail_ok)
2812                     return FALSE;
2813                 else {
2814                     if (PL_op)
2815                         Perl_croak(aTHX_ "Wide character in %s",
2816                                    OP_DESC(PL_op));
2817                     else
2818                         Perl_croak(aTHX_ "Wide character");
2819                 }
2820             }
2821             SvCUR_set(sv, len);
2822         }
2823     }
2824     SvUTF8_off(sv);
2825     return TRUE;
2826 }
2827
2828 /*
2829 =for apidoc sv_utf8_encode
2830
2831 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
2832 flag off so that it looks like octets again.
2833
2834 =cut
2835 */
2836
2837 void
2838 Perl_sv_utf8_encode(pTHX_ register SV *sv)
2839 {
2840     (void) sv_utf8_upgrade(sv);
2841     if (SvIsCOW(sv)) {
2842         sv_force_normal_flags(sv, 0);
2843     }
2844     if (SvREADONLY(sv)) {
2845         Perl_croak(aTHX_ PL_no_modify);
2846     }
2847     SvUTF8_off(sv);
2848 }
2849
2850 /*
2851 =for apidoc sv_utf8_decode
2852
2853 If the PV of the SV is an octet sequence in UTF-8
2854 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
2855 so that it looks like a character. If the PV contains only single-byte
2856 characters, the C<SvUTF8> flag stays being off.
2857 Scans PV for validity and returns false if the PV is invalid UTF-8.
2858
2859 =cut
2860 */
2861
2862 bool
2863 Perl_sv_utf8_decode(pTHX_ register SV *sv)
2864 {
2865     if (SvPOKp(sv)) {
2866         const U8 *c;
2867         const U8 *e;
2868
2869         /* The octets may have got themselves encoded - get them back as
2870          * bytes
2871          */
2872         if (!sv_utf8_downgrade(sv, TRUE))
2873             return FALSE;
2874
2875         /* it is actually just a matter of turning the utf8 flag on, but
2876          * we want to make sure everything inside is valid utf8 first.
2877          */
2878         c = (const U8 *) SvPVX_const(sv);
2879         if (!is_utf8_string(c, SvCUR(sv)+1))
2880             return FALSE;
2881         e = (const U8 *) SvEND(sv);
2882         while (c < e) {
2883             const U8 ch = *c++;
2884             if (!UTF8_IS_INVARIANT(ch)) {
2885                 SvUTF8_on(sv);
2886                 break;
2887             }
2888         }
2889     }
2890     return TRUE;
2891 }
2892
2893 /*
2894 =for apidoc sv_setsv
2895
2896 Copies the contents of the source SV C<ssv> into the destination SV
2897 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
2898 function if the source SV needs to be reused. Does not handle 'set' magic.
2899 Loosely speaking, it performs a copy-by-value, obliterating any previous
2900 content of the destination.
2901
2902 You probably want to use one of the assortment of wrappers, such as
2903 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
2904 C<SvSetMagicSV_nosteal>.
2905
2906 =for apidoc sv_setsv_flags
2907
2908 Copies the contents of the source SV C<ssv> into the destination SV
2909 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
2910 function if the source SV needs to be reused. Does not handle 'set' magic.
2911 Loosely speaking, it performs a copy-by-value, obliterating any previous
2912 content of the destination.
2913 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
2914 C<ssv> if appropriate, else not. If the C<flags> parameter has the
2915 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
2916 and C<sv_setsv_nomg> are implemented in terms of this function.
2917
2918 You probably want to use one of the assortment of wrappers, such as
2919 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
2920 C<SvSetMagicSV_nosteal>.
2921
2922 This is the primary function for copying scalars, and most other
2923 copy-ish functions and macros use this underneath.
2924
2925 =cut
2926 */
2927
2928 static void
2929 S_glob_assign(pTHX_ SV *dstr, SV *sstr, const int dtype)
2930 {
2931     if (dtype != SVt_PVGV) {
2932         const char * const name = GvNAME(sstr);
2933         const STRLEN len = GvNAMELEN(sstr);
2934         /* don't upgrade SVt_PVLV: it can hold a glob */
2935         if (dtype != SVt_PVLV)
2936             sv_upgrade(dstr, SVt_PVGV);
2937         sv_magic(dstr, dstr, PERL_MAGIC_glob, Nullch, 0);
2938         GvSTASH(dstr) = GvSTASH(sstr);
2939         if (GvSTASH(dstr))
2940             Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
2941         GvNAME(dstr) = savepvn(name, len);
2942         GvNAMELEN(dstr) = len;
2943         SvFAKE_on(dstr);        /* can coerce to non-glob */
2944     }
2945
2946 #ifdef GV_UNIQUE_CHECK
2947     if (GvUNIQUE((GV*)dstr)) {
2948         Perl_croak(aTHX_ PL_no_modify);
2949     }
2950 #endif
2951
2952     (void)SvOK_off(dstr);
2953     GvINTRO_off(dstr);          /* one-shot flag */
2954     gp_free((GV*)dstr);
2955     GvGP(dstr) = gp_ref(GvGP(sstr));
2956     if (SvTAINTED(sstr))
2957         SvTAINT(dstr);
2958     if (GvIMPORTED(dstr) != GVf_IMPORTED
2959         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
2960         {
2961             GvIMPORTED_on(dstr);
2962         }
2963     GvMULTI_on(dstr);
2964     return;
2965 }
2966
2967 static void
2968 S_pvgv_assign(pTHX_ SV *dstr, SV *sstr) {
2969     SV * const sref = SvREFCNT_inc(SvRV(sstr));
2970     SV *dref = NULL;
2971     const int intro = GvINTRO(dstr);
2972
2973 #ifdef GV_UNIQUE_CHECK
2974     if (GvUNIQUE((GV*)dstr)) {
2975         Perl_croak(aTHX_ PL_no_modify);
2976     }
2977 #endif
2978
2979     if (intro) {
2980         GvINTRO_off(dstr);      /* one-shot flag */
2981         GvLINE(dstr) = CopLINE(PL_curcop);
2982         GvEGV(dstr) = (GV*)dstr;
2983     }
2984     GvMULTI_on(dstr);
2985     switch (SvTYPE(sref)) {
2986     case SVt_PVAV:
2987         if (intro)
2988             SAVEGENERICSV(GvAV(dstr));
2989         else
2990             dref = (SV*)GvAV(dstr);
2991         GvAV(dstr) = (AV*)sref;
2992         if (!GvIMPORTED_AV(dstr)
2993             && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
2994             {
2995                 GvIMPORTED_AV_on(dstr);
2996             }
2997         break;
2998     case SVt_PVHV:
2999         if (intro)
3000             SAVEGENERICSV(GvHV(dstr));
3001         else
3002             dref = (SV*)GvHV(dstr);
3003         GvHV(dstr) = (HV*)sref;
3004         if (!GvIMPORTED_HV(dstr)
3005             && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3006             {
3007                 GvIMPORTED_HV_on(dstr);
3008             }
3009         break;
3010     case SVt_PVCV:
3011         if (intro) {
3012             if (GvCVGEN(dstr) && GvCV(dstr) != (CV*)sref) {
3013                 SvREFCNT_dec(GvCV(dstr));
3014                 GvCV(dstr) = Nullcv;
3015                 GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3016                 PL_sub_generation++;
3017             }
3018             SAVEGENERICSV(GvCV(dstr));
3019         }
3020         else
3021             dref = (SV*)GvCV(dstr);
3022         if (GvCV(dstr) != (CV*)sref) {
3023             CV* const cv = GvCV(dstr);
3024             if (cv) {
3025                 if (!GvCVGEN((GV*)dstr) &&
3026                     (CvROOT(cv) || CvXSUB(cv)))
3027                     {
3028                         /* Redefining a sub - warning is mandatory if
3029                            it was a const and its value changed. */
3030                         if (CvCONST(cv) && CvCONST((CV*)sref)
3031                             && cv_const_sv(cv) == cv_const_sv((CV*)sref)) {
3032                             /* They are 2 constant subroutines generated from
3033                                the same constant. This probably means that
3034                                they are really the "same" proxy subroutine
3035                                instantiated in 2 places. Most likely this is
3036                                when a constant is exported twice.  Don't warn.
3037                             */
3038                         }
3039                         else if (ckWARN(WARN_REDEFINE)
3040                                  || (CvCONST(cv)
3041                                      && (!CvCONST((CV*)sref)
3042                                          || sv_cmp(cv_const_sv(cv),
3043                                                    cv_const_sv((CV*)sref))))) {
3044                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3045                                         CvCONST(cv)
3046                                         ? "Constant subroutine %s::%s redefined"
3047                                         : "Subroutine %s::%s redefined",
3048                                         HvNAME_get(GvSTASH((GV*)dstr)),
3049                                         GvENAME((GV*)dstr));
3050                         }
3051                     }
3052                 if (!intro)
3053                     cv_ckproto(cv, (GV*)dstr,
3054                                SvPOK(sref) ? SvPVX_const(sref) : Nullch);
3055             }
3056             GvCV(dstr) = (CV*)sref;
3057             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3058             GvASSUMECV_on(dstr);
3059             PL_sub_generation++;
3060         }
3061         if (!GvIMPORTED_CV(dstr) && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3062             GvIMPORTED_CV_on(dstr);
3063         }
3064         break;
3065     case SVt_PVIO:
3066         if (intro)
3067             SAVEGENERICSV(GvIOp(dstr));
3068         else
3069             dref = (SV*)GvIOp(dstr);
3070         GvIOp(dstr) = (IO*)sref;
3071         break;
3072     case SVt_PVFM:
3073         if (intro)
3074             SAVEGENERICSV(GvFORM(dstr));
3075         else
3076             dref = (SV*)GvFORM(dstr);
3077         GvFORM(dstr) = (CV*)sref;
3078         break;
3079     default:
3080         if (intro)
3081             SAVEGENERICSV(GvSV(dstr));
3082         else
3083             dref = (SV*)GvSV(dstr);
3084         GvSV(dstr) = sref;
3085         if (!GvIMPORTED_SV(dstr) && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3086             GvIMPORTED_SV_on(dstr);
3087         }
3088         break;
3089     }
3090     if (dref)
3091         SvREFCNT_dec(dref);
3092     if (SvTAINTED(sstr))
3093         SvTAINT(dstr);
3094     return;
3095 }
3096
3097 void
3098 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3099 {
3100     dVAR;
3101     register U32 sflags;
3102     register int dtype;
3103     register int stype;
3104
3105     if (sstr == dstr)
3106         return;
3107     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3108     if (!sstr)
3109         sstr = &PL_sv_undef;
3110     stype = SvTYPE(sstr);
3111     dtype = SvTYPE(dstr);
3112
3113     SvAMAGIC_off(dstr);
3114     if ( SvVOK(dstr) )
3115     {
3116         /* need to nuke the magic */
3117         mg_free(dstr);
3118         SvRMAGICAL_off(dstr);
3119     }
3120
3121     /* There's a lot of redundancy below but we're going for speed here */
3122
3123     switch (stype) {
3124     case SVt_NULL:
3125       undef_sstr:
3126         if (dtype != SVt_PVGV) {
3127             (void)SvOK_off(dstr);
3128             return;
3129         }
3130         break;
3131     case SVt_IV:
3132         if (SvIOK(sstr)) {
3133             switch (dtype) {
3134             case SVt_NULL:
3135                 sv_upgrade(dstr, SVt_IV);
3136                 break;
3137             case SVt_NV:
3138                 sv_upgrade(dstr, SVt_PVNV);
3139                 break;
3140             case SVt_RV:
3141             case SVt_PV:
3142                 sv_upgrade(dstr, SVt_PVIV);
3143                 break;
3144             }
3145             (void)SvIOK_only(dstr);
3146             SvIV_set(dstr,  SvIVX(sstr));
3147             if (SvIsUV(sstr))
3148                 SvIsUV_on(dstr);
3149             if (SvTAINTED(sstr))
3150                 SvTAINT(dstr);
3151             return;
3152         }
3153         goto undef_sstr;
3154
3155     case SVt_NV:
3156         if (SvNOK(sstr)) {
3157             switch (dtype) {
3158             case SVt_NULL:
3159             case SVt_IV:
3160                 sv_upgrade(dstr, SVt_NV);
3161                 break;
3162             case SVt_RV:
3163             case SVt_PV:
3164             case SVt_PVIV:
3165                 sv_upgrade(dstr, SVt_PVNV);
3166                 break;
3167             }
3168             SvNV_set(dstr, SvNVX(sstr));
3169             (void)SvNOK_only(dstr);
3170             if (SvTAINTED(sstr))
3171                 SvTAINT(dstr);
3172             return;
3173         }
3174         goto undef_sstr;
3175
3176     case SVt_RV:
3177         if (dtype < SVt_RV)
3178             sv_upgrade(dstr, SVt_RV);
3179         else if (dtype == SVt_PVGV &&
3180                  SvROK(sstr) && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3181             sstr = SvRV(sstr);
3182             if (sstr == dstr) {
3183                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3184                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3185                 {
3186                     GvIMPORTED_on(dstr);
3187                 }
3188                 GvMULTI_on(dstr);
3189                 return;
3190             }
3191             return S_glob_assign(aTHX_ dstr, sstr, dtype);
3192         }
3193         break;
3194     case SVt_PVFM:
3195 #ifdef PERL_OLD_COPY_ON_WRITE
3196         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3197             if (dtype < SVt_PVIV)
3198                 sv_upgrade(dstr, SVt_PVIV);
3199             break;
3200         }
3201         /* Fall through */
3202 #endif
3203     case SVt_PV:
3204         if (dtype < SVt_PV)
3205             sv_upgrade(dstr, SVt_PV);
3206         break;
3207     case SVt_PVIV:
3208         if (dtype < SVt_PVIV)
3209             sv_upgrade(dstr, SVt_PVIV);
3210         break;
3211     case SVt_PVNV:
3212         if (dtype < SVt_PVNV)
3213             sv_upgrade(dstr, SVt_PVNV);
3214         break;
3215     case SVt_PVAV:
3216     case SVt_PVHV:
3217     case SVt_PVCV:
3218     case SVt_PVIO:
3219         {
3220         const char * const type = sv_reftype(sstr,0);
3221         if (PL_op)
3222             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3223         else
3224             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3225         }
3226         break;
3227
3228     case SVt_PVGV:
3229         if (dtype <= SVt_PVGV) {
3230             return S_glob_assign(aTHX_ dstr, sstr, dtype);
3231         }
3232         /* FALL THROUGH */
3233
3234     default:
3235         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3236             mg_get(sstr);
3237             if ((int)SvTYPE(sstr) != stype) {
3238                 stype = SvTYPE(sstr);
3239                 if (stype == SVt_PVGV && dtype <= SVt_PVGV)
3240                     return S_glob_assign(aTHX_ dstr, sstr, dtype);
3241             }
3242         }
3243         if (stype == SVt_PVLV)
3244             SvUPGRADE(dstr, SVt_PVNV);
3245         else
3246             SvUPGRADE(dstr, (U32)stype);
3247     }
3248
3249     sflags = SvFLAGS(sstr);
3250
3251     if (sflags & SVf_ROK) {
3252         if (dtype >= SVt_PV) {
3253             if (dtype == SVt_PVGV)
3254                 return S_pvgv_assign(aTHX_ dstr, sstr);
3255             if (SvPVX_const(dstr)) {
3256                 SvPV_free(dstr);
3257                 SvLEN_set(dstr, 0);
3258                 SvCUR_set(dstr, 0);
3259             }
3260         }
3261         (void)SvOK_off(dstr);
3262         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3263         SvROK_on(dstr);
3264         if (sflags & SVp_NOK) {
3265             SvNOKp_on(dstr);
3266             /* Only set the public OK flag if the source has public OK.  */
3267             if (sflags & SVf_NOK)
3268                 SvFLAGS(dstr) |= SVf_NOK;
3269             SvNV_set(dstr, SvNVX(sstr));
3270         }
3271         if (sflags & SVp_IOK) {
3272             (void)SvIOKp_on(dstr);
3273             if (sflags & SVf_IOK)
3274                 SvFLAGS(dstr) |= SVf_IOK;
3275             if (sflags & SVf_IVisUV)
3276                 SvIsUV_on(dstr);
3277             SvIV_set(dstr, SvIVX(sstr));
3278         }
3279         if (SvAMAGIC(sstr)) {
3280             SvAMAGIC_on(dstr);
3281         }
3282     }
3283     else if (sflags & SVp_POK) {
3284         bool isSwipe = 0;
3285
3286         /*
3287          * Check to see if we can just swipe the string.  If so, it's a
3288          * possible small lose on short strings, but a big win on long ones.
3289          * It might even be a win on short strings if SvPVX_const(dstr)
3290          * has to be allocated and SvPVX_const(sstr) has to be freed.
3291          */
3292
3293         /* Whichever path we take through the next code, we want this true,
3294            and doing it now facilitates the COW check.  */
3295         (void)SvPOK_only(dstr);
3296
3297         if (
3298             /* We're not already COW  */
3299             ((sflags & (SVf_FAKE | SVf_READONLY)) != (SVf_FAKE | SVf_READONLY)
3300 #ifndef PERL_OLD_COPY_ON_WRITE
3301              /* or we are, but dstr isn't a suitable target.  */
3302              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3303 #endif
3304              )
3305             &&
3306             !(isSwipe =
3307                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3308                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3309                  (!(flags & SV_NOSTEAL)) &&
3310                                         /* and we're allowed to steal temps */
3311                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3312                  SvLEN(sstr)    &&        /* and really is a string */
3313                                 /* and won't be needed again, potentially */
3314               !(PL_op && PL_op->op_type == OP_AASSIGN))
3315 #ifdef PERL_OLD_COPY_ON_WRITE
3316             && !((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3317                  && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3318                  && SvTYPE(sstr) >= SVt_PVIV)
3319 #endif
3320             ) {
3321             /* Failed the swipe test, and it's not a shared hash key either.
3322                Have to copy the string.  */
3323             STRLEN len = SvCUR(sstr);
3324             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3325             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3326             SvCUR_set(dstr, len);
3327             *SvEND(dstr) = '\0';
3328         } else {
3329             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3330                be true in here.  */
3331             /* Either it's a shared hash key, or it's suitable for
3332                copy-on-write or we can swipe the string.  */
3333             if (DEBUG_C_TEST) {
3334                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3335                 sv_dump(sstr);
3336                 sv_dump(dstr);
3337             }
3338 #ifdef PERL_OLD_COPY_ON_WRITE
3339             if (!isSwipe) {
3340                 /* I believe I should acquire a global SV mutex if
3341                    it's a COW sv (not a shared hash key) to stop
3342                    it going un copy-on-write.
3343                    If the source SV has gone un copy on write between up there
3344                    and down here, then (assert() that) it is of the correct
3345                    form to make it copy on write again */
3346                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3347                     != (SVf_FAKE | SVf_READONLY)) {
3348                     SvREADONLY_on(sstr);
3349                     SvFAKE_on(sstr);
3350                     /* Make the source SV into a loop of 1.
3351                        (about to become 2) */
3352                     SV_COW_NEXT_SV_SET(sstr, sstr);
3353                 }
3354             }
3355 #endif
3356             /* Initial code is common.  */
3357             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3358                 SvPV_free(dstr);
3359             }
3360
3361             if (!isSwipe) {
3362                 /* making another shared SV.  */
3363                 STRLEN cur = SvCUR(sstr);
3364                 STRLEN len = SvLEN(sstr);
3365 #ifdef PERL_OLD_COPY_ON_WRITE
3366                 if (len) {
3367                     assert (SvTYPE(dstr) >= SVt_PVIV);
3368                     /* SvIsCOW_normal */
3369                     /* splice us in between source and next-after-source.  */
3370                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3371                     SV_COW_NEXT_SV_SET(sstr, dstr);
3372                     SvPV_set(dstr, SvPVX_mutable(sstr));
3373                 } else
3374 #endif
3375                 {
3376                     /* SvIsCOW_shared_hash */
3377                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3378                                           "Copy on write: Sharing hash\n"));
3379
3380                     assert (SvTYPE(dstr) >= SVt_PV);
3381                     SvPV_set(dstr,
3382                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3383                 }
3384                 SvLEN_set(dstr, len);
3385                 SvCUR_set(dstr, cur);
3386                 SvREADONLY_on(dstr);
3387                 SvFAKE_on(dstr);
3388                 /* Relesase a global SV mutex.  */
3389             }
3390             else
3391                 {       /* Passes the swipe test.  */
3392                 SvPV_set(dstr, SvPVX_mutable(sstr));
3393                 SvLEN_set(dstr, SvLEN(sstr));
3394                 SvCUR_set(dstr, SvCUR(sstr));
3395
3396                 SvTEMP_off(dstr);
3397                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3398                 SvPV_set(sstr, NULL);
3399                 SvLEN_set(sstr, 0);
3400                 SvCUR_set(sstr, 0);
3401                 SvTEMP_off(sstr);
3402             }
3403         }
3404         if (sflags & SVf_UTF8)
3405             SvUTF8_on(dstr);
3406         if (sflags & SVp_NOK) {
3407             SvNOKp_on(dstr);
3408             if (sflags & SVf_NOK)
3409                 SvFLAGS(dstr) |= SVf_NOK;
3410             SvNV_set(dstr, SvNVX(sstr));
3411         }
3412         if (sflags & SVp_IOK) {
3413             (void)SvIOKp_on(dstr);
3414             if (sflags & SVf_IOK)
3415                 SvFLAGS(dstr) |= SVf_IOK;
3416             if (sflags & SVf_IVisUV)
3417                 SvIsUV_on(dstr);
3418             SvIV_set(dstr, SvIVX(sstr));
3419         }
3420         {
3421             const MAGIC * const smg = SvVOK(sstr);
3422             if (smg) {
3423                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3424                          smg->mg_ptr, smg->mg_len);
3425                 SvRMAGICAL_on(dstr);
3426             }
3427         }
3428     }
3429     else if (sflags & (SVp_IOK|SVp_NOK)) {
3430         (void)SvOK_off(dstr);
3431         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
3432         if (sflags & SVp_IOK) {
3433             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3434             SvIV_set(dstr, SvIVX(sstr));
3435         }
3436         if (sflags & SVp_NOK) {
3437             SvFLAGS(dstr) |= sflags & (SVf_NOK|SVp_NOK);
3438             SvNV_set(dstr, SvNVX(sstr));
3439         }
3440     }
3441     else {
3442         if (dtype == SVt_PVGV) {
3443             if (ckWARN(WARN_MISC))
3444                 Perl_warner(aTHX_ packWARN(WARN_MISC), "Undefined value assigned to typeglob");
3445         }
3446         else
3447             (void)SvOK_off(dstr);
3448     }
3449     if (SvTAINTED(sstr))
3450         SvTAINT(dstr);
3451 }
3452
3453 /*
3454 =for apidoc sv_setsv_mg
3455
3456 Like C<sv_setsv>, but also handles 'set' magic.
3457
3458 =cut
3459 */
3460
3461 void
3462 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3463 {
3464     sv_setsv(dstr,sstr);
3465     SvSETMAGIC(dstr);
3466 }
3467
3468 #ifdef PERL_OLD_COPY_ON_WRITE
3469 SV *
3470 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3471 {
3472     STRLEN cur = SvCUR(sstr);
3473     STRLEN len = SvLEN(sstr);
3474     register char *new_pv;
3475
3476     if (DEBUG_C_TEST) {
3477         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3478                       sstr, dstr);
3479         sv_dump(sstr);
3480         if (dstr)
3481                     sv_dump(dstr);
3482     }
3483
3484     if (dstr) {
3485         if (SvTHINKFIRST(dstr))
3486             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3487         else if (SvPVX_const(dstr))
3488             Safefree(SvPVX_const(dstr));
3489     }
3490     else
3491         new_SV(dstr);
3492     SvUPGRADE(dstr, SVt_PVIV);
3493
3494     assert (SvPOK(sstr));
3495     assert (SvPOKp(sstr));
3496     assert (!SvIOK(sstr));
3497     assert (!SvIOKp(sstr));
3498     assert (!SvNOK(sstr));
3499     assert (!SvNOKp(sstr));
3500
3501     if (SvIsCOW(sstr)) {
3502
3503         if (SvLEN(sstr) == 0) {
3504             /* source is a COW shared hash key.  */
3505             DEBUG_C(PerlIO_printf(Perl_debug_log,
3506                                   "Fast copy on write: Sharing hash\n"));
3507             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3508             goto common_exit;
3509         }
3510         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3511     } else {
3512         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3513         SvUPGRADE(sstr, SVt_PVIV);
3514         SvREADONLY_on(sstr);
3515         SvFAKE_on(sstr);
3516         DEBUG_C(PerlIO_printf(Perl_debug_log,
3517                               "Fast copy on write: Converting sstr to COW\n"));
3518         SV_COW_NEXT_SV_SET(dstr, sstr);
3519     }
3520     SV_COW_NEXT_SV_SET(sstr, dstr);
3521     new_pv = SvPVX_mutable(sstr);
3522
3523   common_exit:
3524     SvPV_set(dstr, new_pv);
3525     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3526     if (SvUTF8(sstr))
3527         SvUTF8_on(dstr);
3528     SvLEN_set(dstr, len);
3529     SvCUR_set(dstr, cur);
3530     if (DEBUG_C_TEST) {
3531         sv_dump(dstr);
3532     }
3533     return dstr;
3534 }
3535 #endif
3536
3537 /*
3538 =for apidoc sv_setpvn
3539
3540 Copies a string into an SV.  The C<len> parameter indicates the number of
3541 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3542 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3543
3544 =cut
3545 */
3546
3547 void
3548 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3549 {
3550     dVAR;
3551     register char *dptr;
3552
3553     SV_CHECK_THINKFIRST_COW_DROP(sv);
3554     if (!ptr) {
3555         (void)SvOK_off(sv);
3556         return;
3557     }
3558     else {
3559         /* len is STRLEN which is unsigned, need to copy to signed */
3560         const IV iv = len;
3561         if (iv < 0)
3562             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3563     }
3564     SvUPGRADE(sv, SVt_PV);
3565
3566     dptr = SvGROW(sv, len + 1);
3567     Move(ptr,dptr,len,char);
3568     dptr[len] = '\0';
3569     SvCUR_set(sv, len);
3570     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3571     SvTAINT(sv);
3572 }
3573
3574 /*
3575 =for apidoc sv_setpvn_mg
3576
3577 Like C<sv_setpvn>, but also handles 'set' magic.
3578
3579 =cut
3580 */
3581
3582 void
3583 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3584 {
3585     sv_setpvn(sv,ptr,len);
3586     SvSETMAGIC(sv);
3587 }
3588
3589 /*
3590 =for apidoc sv_setpv
3591
3592 Copies a string into an SV.  The string must be null-terminated.  Does not
3593 handle 'set' magic.  See C<sv_setpv_mg>.
3594
3595 =cut
3596 */
3597
3598 void
3599 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3600 {
3601     dVAR;
3602     register STRLEN len;
3603
3604     SV_CHECK_THINKFIRST_COW_DROP(sv);
3605     if (!ptr) {
3606         (void)SvOK_off(sv);
3607         return;
3608     }
3609     len = strlen(ptr);
3610     SvUPGRADE(sv, SVt_PV);
3611
3612     SvGROW(sv, len + 1);
3613     Move(ptr,SvPVX(sv),len+1,char);
3614     SvCUR_set(sv, len);
3615     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3616     SvTAINT(sv);
3617 }
3618
3619 /*
3620 =for apidoc sv_setpv_mg
3621
3622 Like C<sv_setpv>, but also handles 'set' magic.
3623
3624 =cut
3625 */
3626
3627 void
3628 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3629 {
3630     sv_setpv(sv,ptr);
3631     SvSETMAGIC(sv);
3632 }
3633
3634 /*
3635 =for apidoc sv_usepvn
3636
3637 Tells an SV to use C<ptr> to find its string value.  Normally the string is
3638 stored inside the SV but sv_usepvn allows the SV to use an outside string.
3639 The C<ptr> should point to memory that was allocated by C<malloc>.  The
3640 string length, C<len>, must be supplied.  This function will realloc the
3641 memory pointed to by C<ptr>, so that pointer should not be freed or used by
3642 the programmer after giving it to sv_usepvn.  Does not handle 'set' magic.
3643 See C<sv_usepvn_mg>.
3644
3645 =cut
3646 */
3647
3648 void
3649 Perl_sv_usepvn(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3650 {
3651     dVAR;
3652     STRLEN allocate;
3653     SV_CHECK_THINKFIRST_COW_DROP(sv);
3654     SvUPGRADE(sv, SVt_PV);
3655     if (!ptr) {
3656         (void)SvOK_off(sv);
3657         return;
3658     }
3659     if (SvPVX_const(sv))
3660         SvPV_free(sv);
3661
3662     allocate = PERL_STRLEN_ROUNDUP(len + 1);
3663     ptr = saferealloc (ptr, allocate);
3664     SvPV_set(sv, ptr);
3665     SvCUR_set(sv, len);
3666     SvLEN_set(sv, allocate);
3667     *SvEND(sv) = '\0';
3668     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3669     SvTAINT(sv);
3670 }
3671
3672 /*
3673 =for apidoc sv_usepvn_mg
3674
3675 Like C<sv_usepvn>, but also handles 'set' magic.
3676
3677 =cut
3678 */
3679
3680 void
3681 Perl_sv_usepvn_mg(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3682 {
3683     sv_usepvn(sv,ptr,len);
3684     SvSETMAGIC(sv);
3685 }
3686
3687 #ifdef PERL_OLD_COPY_ON_WRITE
3688 /* Need to do this *after* making the SV normal, as we need the buffer
3689    pointer to remain valid until after we've copied it.  If we let go too early,
3690    another thread could invalidate it by unsharing last of the same hash key
3691    (which it can do by means other than releasing copy-on-write Svs)
3692    or by changing the other copy-on-write SVs in the loop.  */
3693 STATIC void
3694 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, STRLEN len, SV *after)
3695 {
3696     if (len) { /* this SV was SvIsCOW_normal(sv) */
3697          /* we need to find the SV pointing to us.  */
3698         SV * const current = SV_COW_NEXT_SV(after);
3699
3700         if (current == sv) {
3701             /* The SV we point to points back to us (there were only two of us
3702                in the loop.)
3703                Hence other SV is no longer copy on write either.  */
3704             SvFAKE_off(after);
3705             SvREADONLY_off(after);
3706         } else {
3707             /* We need to follow the pointers around the loop.  */
3708             SV *next;
3709             while ((next = SV_COW_NEXT_SV(current)) != sv) {
3710                 assert (next);
3711                 current = next;
3712                  /* don't loop forever if the structure is bust, and we have
3713                     a pointer into a closed loop.  */
3714                 assert (current != after);
3715                 assert (SvPVX_const(current) == pvx);
3716             }
3717             /* Make the SV before us point to the SV after us.  */
3718             SV_COW_NEXT_SV_SET(current, after);
3719         }
3720     } else {
3721         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3722     }
3723 }
3724
3725 int
3726 Perl_sv_release_IVX(pTHX_ register SV *sv)
3727 {
3728     if (SvIsCOW(sv))
3729         sv_force_normal_flags(sv, 0);
3730     SvOOK_off(sv);
3731     return 0;
3732 }
3733 #endif
3734 /*
3735 =for apidoc sv_force_normal_flags
3736
3737 Undo various types of fakery on an SV: if the PV is a shared string, make
3738 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
3739 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
3740 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
3741 then a copy-on-write scalar drops its PV buffer (if any) and becomes
3742 SvPOK_off rather than making a copy. (Used where this scalar is about to be
3743 set to some other value.) In addition, the C<flags> parameter gets passed to
3744 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
3745 with flags set to 0.
3746
3747 =cut
3748 */
3749
3750 void
3751 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
3752 {
3753     dVAR;
3754 #ifdef PERL_OLD_COPY_ON_WRITE
3755     if (SvREADONLY(sv)) {
3756         /* At this point I believe I should acquire a global SV mutex.  */
3757         if (SvFAKE(sv)) {
3758             const char * const pvx = SvPVX_const(sv);
3759             const STRLEN len = SvLEN(sv);
3760             const STRLEN cur = SvCUR(sv);
3761             SV * const next = SV_COW_NEXT_SV(sv);   /* next COW sv in the loop. */
3762             if (DEBUG_C_TEST) {
3763                 PerlIO_printf(Perl_debug_log,
3764                               "Copy on write: Force normal %ld\n",
3765                               (long) flags);
3766                 sv_dump(sv);
3767             }
3768             SvFAKE_off(sv);
3769             SvREADONLY_off(sv);
3770             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
3771             SvPV_set(sv, NULL);
3772             SvLEN_set(sv, 0);
3773             if (flags & SV_COW_DROP_PV) {
3774                 /* OK, so we don't need to copy our buffer.  */
3775                 SvPOK_off(sv);
3776             } else {
3777                 SvGROW(sv, cur + 1);
3778                 Move(pvx,SvPVX(sv),cur,char);
3779                 SvCUR_set(sv, cur);
3780                 *SvEND(sv) = '\0';
3781             }
3782             sv_release_COW(sv, pvx, len, next);
3783             if (DEBUG_C_TEST) {
3784                 sv_dump(sv);
3785             }
3786         }
3787         else if (IN_PERL_RUNTIME)
3788             Perl_croak(aTHX_ PL_no_modify);
3789         /* At this point I believe that I can drop the global SV mutex.  */
3790     }
3791 #else
3792     if (SvREADONLY(sv)) {
3793         if (SvFAKE(sv)) {
3794             const char * const pvx = SvPVX_const(sv);
3795             const STRLEN len = SvCUR(sv);
3796             SvFAKE_off(sv);
3797             SvREADONLY_off(sv);
3798             SvPV_set(sv, Nullch);
3799             SvLEN_set(sv, 0);
3800             SvGROW(sv, len + 1);
3801             Move(pvx,SvPVX(sv),len,char);
3802             *SvEND(sv) = '\0';
3803             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3804         }
3805         else if (IN_PERL_RUNTIME)
3806             Perl_croak(aTHX_ PL_no_modify);
3807     }
3808 #endif
3809     if (SvROK(sv))
3810         sv_unref_flags(sv, flags);
3811     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
3812         sv_unglob(sv);
3813 }
3814
3815 /*
3816 =for apidoc sv_chop
3817
3818 Efficient removal of characters from the beginning of the string buffer.
3819 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
3820 the string buffer.  The C<ptr> becomes the first character of the adjusted
3821 string. Uses the "OOK hack".
3822 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
3823 refer to the same chunk of data.
3824
3825 =cut
3826 */
3827
3828 void
3829 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
3830 {
3831     register STRLEN delta;
3832     if (!ptr || !SvPOKp(sv))
3833         return;
3834     delta = ptr - SvPVX_const(sv);
3835     SV_CHECK_THINKFIRST(sv);
3836     if (SvTYPE(sv) < SVt_PVIV)
3837         sv_upgrade(sv,SVt_PVIV);
3838
3839     if (!SvOOK(sv)) {
3840         if (!SvLEN(sv)) { /* make copy of shared string */
3841             const char *pvx = SvPVX_const(sv);
3842             const STRLEN len = SvCUR(sv);
3843             SvGROW(sv, len + 1);
3844             Move(pvx,SvPVX(sv),len,char);
3845             *SvEND(sv) = '\0';
3846         }
3847         SvIV_set(sv, 0);
3848         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
3849            and we do that anyway inside the SvNIOK_off
3850         */
3851         SvFLAGS(sv) |= SVf_OOK;
3852     }
3853     SvNIOK_off(sv);
3854     SvLEN_set(sv, SvLEN(sv) - delta);
3855     SvCUR_set(sv, SvCUR(sv) - delta);
3856     SvPV_set(sv, SvPVX(sv) + delta);
3857     SvIV_set(sv, SvIVX(sv) + delta);
3858 }
3859
3860 /*
3861 =for apidoc sv_catpvn
3862
3863 Concatenates the string onto the end of the string which is in the SV.  The
3864 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
3865 status set, then the bytes appended should be valid UTF-8.
3866 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
3867
3868 =for apidoc sv_catpvn_flags
3869
3870 Concatenates the string onto the end of the string which is in the SV.  The
3871 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
3872 status set, then the bytes appended should be valid UTF-8.
3873 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
3874 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
3875 in terms of this function.
3876
3877 =cut
3878 */
3879
3880 void
3881 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
3882 {
3883     dVAR;
3884     STRLEN dlen;
3885     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
3886
3887     SvGROW(dsv, dlen + slen + 1);
3888     if (sstr == dstr)
3889         sstr = SvPVX_const(dsv);
3890     Move(sstr, SvPVX(dsv) + dlen, slen, char);
3891     SvCUR_set(dsv, SvCUR(dsv) + slen);
3892     *SvEND(dsv) = '\0';
3893     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
3894     SvTAINT(dsv);
3895     if (flags & SV_SMAGIC)
3896         SvSETMAGIC(dsv);
3897 }
3898
3899 /*
3900 =for apidoc sv_catsv
3901
3902 Concatenates the string from SV C<ssv> onto the end of the string in
3903 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
3904 not 'set' magic.  See C<sv_catsv_mg>.
3905
3906 =for apidoc sv_catsv_flags
3907
3908 Concatenates the string from SV C<ssv> onto the end of the string in
3909 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
3910 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
3911 and C<sv_catsv_nomg> are implemented in terms of this function.
3912
3913 =cut */
3914
3915 void
3916 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
3917 {
3918     dVAR;
3919     if (ssv) {
3920         STRLEN slen;
3921         const char *spv = SvPV_const(ssv, slen);
3922         if (spv) {
3923             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
3924                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
3925                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
3926                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
3927                 dsv->sv_flags doesn't have that bit set.
3928                 Andy Dougherty  12 Oct 2001
3929             */
3930             const I32 sutf8 = DO_UTF8(ssv);
3931             I32 dutf8;
3932
3933             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
3934                 mg_get(dsv);
3935             dutf8 = DO_UTF8(dsv);
3936
3937             if (dutf8 != sutf8) {
3938                 if (dutf8) {
3939                     /* Not modifying source SV, so taking a temporary copy. */
3940                     SV* const csv = sv_2mortal(newSVpvn(spv, slen));
3941
3942                     sv_utf8_upgrade(csv);
3943                     spv = SvPV_const(csv, slen);
3944                 }
3945                 else
3946                     sv_utf8_upgrade_nomg(dsv);
3947             }
3948             sv_catpvn_nomg(dsv, spv, slen);
3949         }
3950     }
3951     if (flags & SV_SMAGIC)
3952         SvSETMAGIC(dsv);
3953 }
3954
3955 /*
3956 =for apidoc sv_catpv
3957
3958 Concatenates the string onto the end of the string which is in the SV.
3959 If the SV has the UTF-8 status set, then the bytes appended should be
3960 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
3961
3962 =cut */
3963
3964 void
3965 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
3966 {
3967     dVAR;
3968     register STRLEN len;
3969     STRLEN tlen;
3970     char *junk;
3971
3972     if (!ptr)
3973         return;
3974     junk = SvPV_force(sv, tlen);
3975     len = strlen(ptr);
3976     SvGROW(sv, tlen + len + 1);
3977     if (ptr == junk)
3978         ptr = SvPVX_const(sv);
3979     Move(ptr,SvPVX(sv)+tlen,len+1,char);
3980     SvCUR_set(sv, SvCUR(sv) + len);
3981     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3982     SvTAINT(sv);
3983 }
3984
3985 /*
3986 =for apidoc sv_catpv_mg
3987
3988 Like C<sv_catpv>, but also handles 'set' magic.
3989
3990 =cut
3991 */
3992
3993 void
3994 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
3995 {
3996     sv_catpv(sv,ptr);
3997     SvSETMAGIC(sv);
3998 }
3999
4000 /*
4001 =for apidoc newSV
4002
4003 Creates a new SV.  A non-zero C<len> parameter indicates the number of
4004 bytes of preallocated string space the SV should have.  An extra byte for a
4005 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
4006 space is allocated.)  The reference count for the new SV is set to 1.
4007
4008 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
4009 parameter, I<x>, a debug aid which allowed callers to identify themselves.
4010 This aid has been superseded by a new build option, PERL_MEM_LOG (see
4011 L<perlhack/PERL_MEM_LOG>).  The older API is still there for use in XS
4012 modules supporting older perls.
4013
4014 =cut
4015 */
4016
4017 SV *
4018 Perl_newSV(pTHX_ STRLEN len)
4019 {
4020     dVAR;
4021     register SV *sv;
4022
4023     new_SV(sv);
4024     if (len) {
4025         sv_upgrade(sv, SVt_PV);
4026         SvGROW(sv, len + 1);
4027     }
4028     return sv;
4029 }
4030 /*
4031 =for apidoc sv_magicext
4032
4033 Adds magic to an SV, upgrading it if necessary. Applies the
4034 supplied vtable and returns a pointer to the magic added.
4035
4036 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4037 In particular, you can add magic to SvREADONLY SVs, and add more than
4038 one instance of the same 'how'.
4039
4040 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4041 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4042 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4043 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4044
4045 (This is now used as a subroutine by C<sv_magic>.)
4046
4047 =cut
4048 */
4049 MAGIC * 
4050 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, MGVTBL *vtable,
4051                  const char* name, I32 namlen)
4052 {
4053     dVAR;
4054     MAGIC* mg;
4055
4056     if (SvTYPE(sv) < SVt_PVMG) {
4057         SvUPGRADE(sv, SVt_PVMG);
4058     }
4059     Newxz(mg, 1, MAGIC);
4060     mg->mg_moremagic = SvMAGIC(sv);
4061     SvMAGIC_set(sv, mg);
4062
4063     /* Sometimes a magic contains a reference loop, where the sv and
4064        object refer to each other.  To prevent a reference loop that
4065        would prevent such objects being freed, we look for such loops
4066        and if we find one we avoid incrementing the object refcount.
4067
4068        Note we cannot do this to avoid self-tie loops as intervening RV must
4069        have its REFCNT incremented to keep it in existence.
4070
4071     */
4072     if (!obj || obj == sv ||
4073         how == PERL_MAGIC_arylen ||
4074         how == PERL_MAGIC_qr ||
4075         how == PERL_MAGIC_symtab ||
4076         (SvTYPE(obj) == SVt_PVGV &&
4077             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4078             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4079             GvFORM(obj) == (CV*)sv)))
4080     {
4081         mg->mg_obj = obj;
4082     }
4083     else {
4084         mg->mg_obj = SvREFCNT_inc(obj);
4085         mg->mg_flags |= MGf_REFCOUNTED;
4086     }
4087
4088     /* Normal self-ties simply pass a null object, and instead of
4089        using mg_obj directly, use the SvTIED_obj macro to produce a
4090        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4091        with an RV obj pointing to the glob containing the PVIO.  In
4092        this case, to avoid a reference loop, we need to weaken the
4093        reference.
4094     */
4095
4096     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4097         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4098     {
4099       sv_rvweaken(obj);
4100     }
4101
4102     mg->mg_type = how;
4103     mg->mg_len = namlen;
4104     if (name) {
4105         if (namlen > 0)
4106             mg->mg_ptr = savepvn(name, namlen);
4107         else if (namlen == HEf_SVKEY)
4108             mg->mg_ptr = (char*)SvREFCNT_inc((SV*)name);
4109         else
4110             mg->mg_ptr = (char *) name;
4111     }
4112     mg->mg_virtual = vtable;
4113
4114     mg_magical(sv);
4115     if (SvGMAGICAL(sv))
4116         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4117     return mg;
4118 }
4119
4120 /*
4121 =for apidoc sv_magic
4122
4123 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4124 then adds a new magic item of type C<how> to the head of the magic list.
4125
4126 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4127 handling of the C<name> and C<namlen> arguments.
4128
4129 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4130 to add more than one instance of the same 'how'.
4131
4132 =cut
4133 */
4134
4135 void
4136 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4137 {
4138     dVAR;
4139     MGVTBL *vtable;
4140     MAGIC* mg;
4141
4142 #ifdef PERL_OLD_COPY_ON_WRITE
4143     if (SvIsCOW(sv))
4144         sv_force_normal_flags(sv, 0);
4145 #endif
4146     if (SvREADONLY(sv)) {
4147         if (
4148             /* its okay to attach magic to shared strings; the subsequent
4149              * upgrade to PVMG will unshare the string */
4150             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4151
4152             && IN_PERL_RUNTIME
4153             && how != PERL_MAGIC_regex_global
4154             && how != PERL_MAGIC_bm
4155             && how != PERL_MAGIC_fm
4156             && how != PERL_MAGIC_sv
4157             && how != PERL_MAGIC_backref
4158            )
4159         {
4160             Perl_croak(aTHX_ PL_no_modify);
4161         }
4162     }
4163     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4164         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4165             /* sv_magic() refuses to add a magic of the same 'how' as an
4166                existing one
4167              */
4168             if (how == PERL_MAGIC_taint)
4169                 mg->mg_len |= 1;
4170             return;
4171         }
4172     }
4173
4174     switch (how) {
4175     case PERL_MAGIC_sv:
4176         vtable = &PL_vtbl_sv;
4177         break;
4178     case PERL_MAGIC_overload:
4179         vtable = &PL_vtbl_amagic;
4180         break;
4181     case PERL_MAGIC_overload_elem:
4182         vtable = &PL_vtbl_amagicelem;
4183         break;
4184     case PERL_MAGIC_overload_table:
4185         vtable = &PL_vtbl_ovrld;
4186         break;
4187     case PERL_MAGIC_bm:
4188         vtable = &PL_vtbl_bm;
4189         break;
4190     case PERL_MAGIC_regdata:
4191         vtable = &PL_vtbl_regdata;
4192         break;
4193     case PERL_MAGIC_regdatum:
4194         vtable = &PL_vtbl_regdatum;
4195         break;
4196     case PERL_MAGIC_env:
4197         vtable = &PL_vtbl_env;
4198         break;
4199     case PERL_MAGIC_fm:
4200         vtable = &PL_vtbl_fm;
4201         break;
4202     case PERL_MAGIC_envelem:
4203         vtable = &PL_vtbl_envelem;
4204         break;
4205     case PERL_MAGIC_regex_global:
4206         vtable = &PL_vtbl_mglob;
4207         break;
4208     case PERL_MAGIC_isa:
4209         vtable = &PL_vtbl_isa;
4210         break;
4211     case PERL_MAGIC_isaelem:
4212         vtable = &PL_vtbl_isaelem;
4213         break;
4214     case PERL_MAGIC_nkeys:
4215         vtable = &PL_vtbl_nkeys;
4216         break;
4217     case PERL_MAGIC_dbfile:
4218         vtable = NULL;
4219         break;
4220     case PERL_MAGIC_dbline:
4221         vtable = &PL_vtbl_dbline;
4222         break;
4223 #ifdef USE_LOCALE_COLLATE
4224     case PERL_MAGIC_collxfrm:
4225         vtable = &PL_vtbl_collxfrm;
4226         break;
4227 #endif /* USE_LOCALE_COLLATE */
4228     case PERL_MAGIC_tied:
4229         vtable = &PL_vtbl_pack;
4230         break;
4231     case PERL_MAGIC_tiedelem:
4232     case PERL_MAGIC_tiedscalar:
4233         vtable = &PL_vtbl_packelem;
4234         break;
4235     case PERL_MAGIC_qr:
4236         vtable = &PL_vtbl_regexp;
4237         break;
4238     case PERL_MAGIC_sig:
4239         vtable = &PL_vtbl_sig;
4240         break;
4241     case PERL_MAGIC_sigelem:
4242         vtable = &PL_vtbl_sigelem;
4243         break;
4244     case PERL_MAGIC_taint:
4245         vtable = &PL_vtbl_taint;
4246         break;
4247     case PERL_MAGIC_uvar:
4248         vtable = &PL_vtbl_uvar;
4249         break;
4250     case PERL_MAGIC_vec:
4251         vtable = &PL_vtbl_vec;
4252         break;
4253     case PERL_MAGIC_arylen_p:
4254     case PERL_MAGIC_rhash:
4255     case PERL_MAGIC_symtab:
4256     case PERL_MAGIC_vstring:
4257         vtable = NULL;
4258         break;
4259     case PERL_MAGIC_utf8:
4260         vtable = &PL_vtbl_utf8;
4261         break;
4262     case PERL_MAGIC_substr:
4263         vtable = &PL_vtbl_substr;
4264         break;
4265     case PERL_MAGIC_defelem:
4266         vtable = &PL_vtbl_defelem;
4267         break;
4268     case PERL_MAGIC_glob:
4269         vtable = &PL_vtbl_glob;
4270         break;
4271     case PERL_MAGIC_arylen:
4272         vtable = &PL_vtbl_arylen;
4273         break;
4274     case PERL_MAGIC_pos:
4275         vtable = &PL_vtbl_pos;
4276         break;
4277     case PERL_MAGIC_backref:
4278         vtable = &PL_vtbl_backref;
4279         break;
4280     case PERL_MAGIC_ext:
4281         /* Reserved for use by extensions not perl internals.           */
4282         /* Useful for attaching extension internal data to perl vars.   */
4283         /* Note that multiple extensions may clash if magical scalars   */
4284         /* etc holding private data from one are passed to another.     */
4285         vtable = NULL;
4286         break;
4287     default:
4288         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4289     }
4290
4291     /* Rest of work is done else where */
4292     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4293
4294     switch (how) {
4295     case PERL_MAGIC_taint:
4296         mg->mg_len = 1;
4297         break;
4298     case PERL_MAGIC_ext:
4299     case PERL_MAGIC_dbfile:
4300         SvRMAGICAL_on(sv);
4301         break;
4302     }
4303 }
4304
4305 /*
4306 =for apidoc sv_unmagic
4307
4308 Removes all magic of type C<type> from an SV.
4309
4310 =cut
4311 */
4312
4313 int
4314 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4315 {
4316     MAGIC* mg;
4317     MAGIC** mgp;
4318     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4319         return 0;
4320     mgp = &SvMAGIC(sv);
4321     for (mg = *mgp; mg; mg = *mgp) {
4322         if (mg->mg_type == type) {
4323             const MGVTBL* const vtbl = mg->mg_virtual;
4324             *mgp = mg->mg_moremagic;
4325             if (vtbl && vtbl->svt_free)
4326                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4327             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4328                 if (mg->mg_len > 0)
4329                     Safefree(mg->mg_ptr);
4330                 else if (mg->mg_len == HEf_SVKEY)
4331                     SvREFCNT_dec((SV*)mg->mg_ptr);
4332                 else if (mg->mg_type == PERL_MAGIC_utf8 && mg->mg_ptr)
4333                     Safefree(mg->mg_ptr);
4334             }
4335             if (mg->mg_flags & MGf_REFCOUNTED)
4336                 SvREFCNT_dec(mg->mg_obj);
4337             Safefree(mg);
4338         }
4339         else
4340             mgp = &mg->mg_moremagic;
4341     }
4342     if (!SvMAGIC(sv)) {
4343         SvMAGICAL_off(sv);
4344         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4345         SvMAGIC_set(sv, NULL);
4346     }
4347
4348     return 0;
4349 }
4350
4351 /*
4352 =for apidoc sv_rvweaken
4353
4354 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4355 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4356 push a back-reference to this RV onto the array of backreferences
4357 associated with that magic.
4358
4359 =cut
4360 */
4361
4362 SV *
4363 Perl_sv_rvweaken(pTHX_ SV *sv)
4364 {
4365     SV *tsv;
4366     if (!SvOK(sv))  /* let undefs pass */
4367         return sv;
4368     if (!SvROK(sv))
4369         Perl_croak(aTHX_ "Can't weaken a nonreference");
4370     else if (SvWEAKREF(sv)) {
4371         if (ckWARN(WARN_MISC))
4372             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4373         return sv;
4374     }
4375     tsv = SvRV(sv);
4376     Perl_sv_add_backref(aTHX_ tsv, sv);
4377     SvWEAKREF_on(sv);
4378     SvREFCNT_dec(tsv);
4379     return sv;
4380 }
4381
4382 /* Give tsv backref magic if it hasn't already got it, then push a
4383  * back-reference to sv onto the array associated with the backref magic.
4384  */
4385
4386 void
4387 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4388 {
4389     dVAR;
4390     AV *av;
4391
4392     if (SvTYPE(tsv) == SVt_PVHV) {
4393         AV **const avp = Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4394
4395         av = *avp;
4396         if (!av) {
4397             /* There is no AV in the offical place - try a fixup.  */
4398             MAGIC *const mg = mg_find(tsv, PERL_MAGIC_backref);
4399
4400             if (mg) {
4401                 /* Aha. They've got it stowed in magic.  Bring it back.  */
4402                 av = (AV*)mg->mg_obj;
4403                 /* Stop mg_free decreasing the refernce count.  */
4404                 mg->mg_obj = NULL;
4405                 /* Stop mg_free even calling the destructor, given that
4406                    there's no AV to free up.  */
4407                 mg->mg_virtual = 0;
4408                 sv_unmagic(tsv, PERL_MAGIC_backref);
4409             } else {
4410                 av = newAV();
4411                 AvREAL_off(av);
4412                 SvREFCNT_inc(av);
4413             }
4414             *avp = av;
4415         }
4416     } else {
4417         const MAGIC *const mg
4418             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4419         if (mg)
4420             av = (AV*)mg->mg_obj;
4421         else {
4422             av = newAV();
4423             AvREAL_off(av);
4424             sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4425             /* av now has a refcnt of 2, which avoids it getting freed
4426              * before us during global cleanup. The extra ref is removed
4427              * by magic_killbackrefs() when tsv is being freed */
4428         }
4429     }
4430     if (AvFILLp(av) >= AvMAX(av)) {
4431         av_extend(av, AvFILLp(av)+1);
4432     }
4433     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4434 }
4435
4436 /* delete a back-reference to ourselves from the backref magic associated
4437  * with the SV we point to.
4438  */
4439
4440 STATIC void
4441 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4442 {
4443     dVAR;
4444     AV *av = NULL;
4445     SV **svp;
4446     I32 i;
4447
4448     if (SvTYPE(tsv) == SVt_PVHV && SvOOK(tsv)) {
4449         av = *Perl_hv_backreferences_p(aTHX_ (HV*)tsv);
4450         /* We mustn't attempt to "fix up" the hash here by moving the
4451            backreference array back to the hv_aux structure, as that is stored
4452            in the main HvARRAY(), and hfreentries assumes that no-one
4453            reallocates HvARRAY() while it is running.  */
4454     }
4455     if (!av) {
4456         const MAGIC *const mg
4457             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
4458         if (mg)
4459             av = (AV *)mg->mg_obj;
4460     }
4461     if (!av) {
4462         if (PL_in_clean_all)
4463             return;
4464         Perl_croak(aTHX_ "panic: del_backref");
4465     }
4466
4467     if (SvIS_FREED(av))
4468         return;
4469
4470     svp = AvARRAY(av);
4471     /* We shouldn't be in here more than once, but for paranoia reasons lets
4472        not assume this.  */
4473     for (i = AvFILLp(av); i >= 0; i--) {
4474         if (svp[i] == sv) {
4475             const SSize_t fill = AvFILLp(av);
4476             if (i != fill) {
4477                 /* We weren't the last entry.
4478                    An unordered list has this property that you can take the
4479                    last element off the end to fill the hole, and it's still
4480                    an unordered list :-)
4481                 */
4482                 svp[i] = svp[fill];
4483             }
4484             svp[fill] = Nullsv;
4485             AvFILLp(av) = fill - 1;
4486         }
4487     }
4488 }
4489
4490 int
4491 Perl_sv_kill_backrefs(pTHX_ SV *sv, AV *av)
4492 {
4493     SV **svp = AvARRAY(av);
4494
4495     PERL_UNUSED_ARG(sv);
4496
4497     /* Not sure why the av can get freed ahead of its sv, but somehow it does
4498        in ext/B/t/bytecode.t test 15 (involving print <DATA>)  */
4499     if (svp && !SvIS_FREED(av)) {
4500         SV *const *const last = svp + AvFILLp(av);
4501
4502         while (svp <= last) {
4503             if (*svp) {
4504                 SV *const referrer = *svp;
4505                 if (SvWEAKREF(referrer)) {
4506                     /* XXX Should we check that it hasn't changed? */
4507                     SvRV_set(referrer, 0);
4508                     SvOK_off(referrer);
4509                     SvWEAKREF_off(referrer);
4510                 } else if (SvTYPE(referrer) == SVt_PVGV ||
4511                            SvTYPE(referrer) == SVt_PVLV) {
4512                     /* You lookin' at me?  */
4513                     assert(GvSTASH(referrer));
4514                     assert(GvSTASH(referrer) == (HV*)sv);
4515                     GvSTASH(referrer) = 0;
4516                 } else {
4517                     Perl_croak(aTHX_
4518                                "panic: magic_killbackrefs (flags=%"UVxf")",
4519                                (UV)SvFLAGS(referrer));
4520                 }
4521
4522                 *svp = Nullsv;
4523             }
4524             svp++;
4525         }
4526     }
4527     SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
4528     return 0;
4529 }
4530
4531 /*
4532 =for apidoc sv_insert
4533
4534 Inserts a string at the specified offset/length within the SV. Similar to
4535 the Perl substr() function.
4536
4537 =cut
4538 */
4539
4540 void
4541 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4542 {
4543     dVAR;
4544     register char *big;
4545     register char *mid;
4546     register char *midend;
4547     register char *bigend;
4548     register I32 i;
4549     STRLEN curlen;
4550
4551
4552     if (!bigstr)
4553         Perl_croak(aTHX_ "Can't modify non-existent substring");
4554     SvPV_force(bigstr, curlen);
4555     (void)SvPOK_only_UTF8(bigstr);
4556     if (offset + len > curlen) {
4557         SvGROW(bigstr, offset+len+1);
4558         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4559         SvCUR_set(bigstr, offset+len);
4560     }
4561
4562     SvTAINT(bigstr);
4563     i = littlelen - len;
4564     if (i > 0) {                        /* string might grow */
4565         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4566         mid = big + offset + len;
4567         midend = bigend = big + SvCUR(bigstr);
4568         bigend += i;
4569         *bigend = '\0';
4570         while (midend > mid)            /* shove everything down */
4571             *--bigend = *--midend;
4572         Move(little,big+offset,littlelen,char);
4573         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4574         SvSETMAGIC(bigstr);
4575         return;
4576     }
4577     else if (i == 0) {
4578         Move(little,SvPVX(bigstr)+offset,len,char);
4579         SvSETMAGIC(bigstr);
4580         return;
4581     }
4582
4583     big = SvPVX(bigstr);
4584     mid = big + offset;
4585     midend = mid + len;
4586     bigend = big + SvCUR(bigstr);
4587
4588     if (midend > bigend)
4589         Perl_croak(aTHX_ "panic: sv_insert");
4590
4591     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4592         if (littlelen) {
4593             Move(little, mid, littlelen,char);
4594             mid += littlelen;
4595         }
4596         i = bigend - midend;
4597         if (i > 0) {
4598             Move(midend, mid, i,char);
4599             mid += i;
4600         }
4601         *mid = '\0';
4602         SvCUR_set(bigstr, mid - big);
4603     }
4604     else if ((i = mid - big)) { /* faster from front */
4605         midend -= littlelen;
4606         mid = midend;
4607         sv_chop(bigstr,midend-i);
4608         big += i;
4609         while (i--)
4610             *--midend = *--big;
4611         if (littlelen)
4612             Move(little, mid, littlelen,char);
4613     }
4614     else if (littlelen) {
4615         midend -= littlelen;
4616         sv_chop(bigstr,midend);
4617         Move(little,midend,littlelen,char);
4618     }
4619     else {
4620         sv_chop(bigstr,midend);
4621     }
4622     SvSETMAGIC(bigstr);
4623 }
4624
4625 /*
4626 =for apidoc sv_replace
4627
4628 Make the first argument a copy of the second, then delete the original.
4629 The target SV physically takes over ownership of the body of the source SV
4630 and inherits its flags; however, the target keeps any magic it owns,
4631 and any magic in the source is discarded.
4632 Note that this is a rather specialist SV copying operation; most of the
4633 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4634
4635 =cut
4636 */
4637
4638 void
4639 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4640 {
4641     dVAR;
4642     const U32 refcnt = SvREFCNT(sv);
4643     SV_CHECK_THINKFIRST_COW_DROP(sv);
4644     if (SvREFCNT(nsv) != 1) {
4645         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4646                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4647     }
4648     if (SvMAGICAL(sv)) {
4649         if (SvMAGICAL(nsv))
4650             mg_free(nsv);
4651         else
4652             sv_upgrade(nsv, SVt_PVMG);
4653         SvMAGIC_set(nsv, SvMAGIC(sv));
4654         SvFLAGS(nsv) |= SvMAGICAL(sv);
4655         SvMAGICAL_off(sv);
4656         SvMAGIC_set(sv, NULL);
4657     }
4658     SvREFCNT(sv) = 0;
4659     sv_clear(sv);
4660     assert(!SvREFCNT(sv));
4661 #ifdef DEBUG_LEAKING_SCALARS
4662     sv->sv_flags  = nsv->sv_flags;
4663     sv->sv_any    = nsv->sv_any;
4664     sv->sv_refcnt = nsv->sv_refcnt;
4665     sv->sv_u      = nsv->sv_u;
4666 #else
4667     StructCopy(nsv,sv,SV);
4668 #endif
4669     /* Currently could join these into one piece of pointer arithmetic, but
4670        it would be unclear.  */
4671     if(SvTYPE(sv) == SVt_IV)
4672         SvANY(sv)
4673             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
4674     else if (SvTYPE(sv) == SVt_RV) {
4675         SvANY(sv) = &sv->sv_u.svu_rv;
4676     }
4677         
4678
4679 #ifdef PERL_OLD_COPY_ON_WRITE
4680     if (SvIsCOW_normal(nsv)) {
4681         /* We need to follow the pointers around the loop to make the
4682            previous SV point to sv, rather than nsv.  */
4683         SV *next;
4684         SV *current = nsv;
4685         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
4686             assert(next);
4687             current = next;
4688             assert(SvPVX_const(current) == SvPVX_const(nsv));
4689         }
4690         /* Make the SV before us point to the SV after us.  */
4691         if (DEBUG_C_TEST) {
4692             PerlIO_printf(Perl_debug_log, "previous is\n");
4693             sv_dump(current);
4694             PerlIO_printf(Perl_debug_log,
4695                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
4696                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
4697         }
4698         SV_COW_NEXT_SV_SET(current, sv);
4699     }
4700 #endif
4701     SvREFCNT(sv) = refcnt;
4702     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
4703     SvREFCNT(nsv) = 0;
4704     del_SV(nsv);
4705 }
4706
4707 /*
4708 =for apidoc sv_clear
4709
4710 Clear an SV: call any destructors, free up any memory used by the body,
4711 and free the body itself. The SV's head is I<not> freed, although
4712 its type is set to all 1's so that it won't inadvertently be assumed
4713 to be live during global destruction etc.
4714 This function should only be called when REFCNT is zero. Most of the time
4715 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
4716 instead.
4717
4718 =cut
4719 */
4720
4721 void
4722 Perl_sv_clear(pTHX_ register SV *sv)
4723 {
4724     dVAR;
4725     const U32 type = SvTYPE(sv);
4726     const struct body_details *const sv_type_details
4727         = bodies_by_type + type;
4728
4729     assert(sv);
4730     assert(SvREFCNT(sv) == 0);
4731
4732     if (type <= SVt_IV)
4733         return;
4734
4735     if (SvOBJECT(sv)) {
4736         if (PL_defstash) {              /* Still have a symbol table? */
4737             dSP;
4738             HV* stash;
4739             do {        
4740                 CV* destructor;
4741                 stash = SvSTASH(sv);
4742                 destructor = StashHANDLER(stash,DESTROY);
4743                 if (destructor) {
4744                     SV* const tmpref = newRV(sv);
4745                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
4746                     ENTER;
4747                     PUSHSTACKi(PERLSI_DESTROY);
4748                     EXTEND(SP, 2);
4749                     PUSHMARK(SP);
4750                     PUSHs(tmpref);
4751                     PUTBACK;
4752                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
4753                 
4754                 
4755                     POPSTACK;
4756                     SPAGAIN;
4757                     LEAVE;
4758                     if(SvREFCNT(tmpref) < 2) {
4759                         /* tmpref is not kept alive! */
4760                         SvREFCNT(sv)--;
4761                         SvRV_set(tmpref, NULL);
4762                         SvROK_off(tmpref);
4763                     }
4764                     SvREFCNT_dec(tmpref);
4765                 }
4766             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
4767
4768
4769             if (SvREFCNT(sv)) {
4770                 if (PL_in_clean_objs)
4771                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
4772                           HvNAME_get(stash));
4773                 /* DESTROY gave object new lease on life */
4774                 return;
4775             }
4776         }
4777
4778         if (SvOBJECT(sv)) {
4779             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
4780             SvOBJECT_off(sv);   /* Curse the object. */
4781             if (type != SVt_PVIO)
4782                 --PL_sv_objcount;       /* XXX Might want something more general */
4783         }
4784     }
4785     if (type >= SVt_PVMG) {
4786         if (SvMAGIC(sv))
4787             mg_free(sv);
4788         if (type == SVt_PVMG && SvFLAGS(sv) & SVpad_TYPED)
4789             SvREFCNT_dec(SvSTASH(sv));
4790     }
4791     switch (type) {
4792     case SVt_PVIO:
4793         if (IoIFP(sv) &&
4794             IoIFP(sv) != PerlIO_stdin() &&
4795             IoIFP(sv) != PerlIO_stdout() &&
4796             IoIFP(sv) != PerlIO_stderr())
4797         {
4798             io_close((IO*)sv, FALSE);
4799         }
4800         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
4801             PerlDir_close(IoDIRP(sv));
4802         IoDIRP(sv) = (DIR*)NULL;
4803         Safefree(IoTOP_NAME(sv));
4804         Safefree(IoFMT_NAME(sv));
4805         Safefree(IoBOTTOM_NAME(sv));
4806         goto freescalar;
4807     case SVt_PVBM:
4808         goto freescalar;
4809     case SVt_PVCV:
4810     case SVt_PVFM:
4811         cv_undef((CV*)sv);
4812         goto freescalar;
4813     case SVt_PVHV:
4814         Perl_hv_kill_backrefs(aTHX_ (HV*)sv);
4815         hv_undef((HV*)sv);
4816         break;
4817     case SVt_PVAV:
4818         av_undef((AV*)sv);
4819         break;
4820     case SVt_PVLV:
4821         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
4822             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
4823             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
4824             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
4825         }
4826         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
4827             SvREFCNT_dec(LvTARG(sv));
4828         goto freescalar;
4829     case SVt_PVGV:
4830         gp_free((GV*)sv);
4831         Safefree(GvNAME(sv));
4832         /* If we're in a stash, we don't own a reference to it. However it does
4833            have a back reference to us, which needs to be cleared.  */
4834         if (GvSTASH(sv))
4835             sv_del_backref((SV*)GvSTASH(sv), sv);
4836     case SVt_PVMG:
4837     case SVt_PVNV:
4838     case SVt_PVIV:
4839       freescalar:
4840         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
4841         if (SvOOK(sv)) {
4842             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
4843             /* Don't even bother with turning off the OOK flag.  */
4844         }
4845     case SVt_PV:
4846     case SVt_RV:
4847         if (SvROK(sv)) {
4848             SV *target = SvRV(sv);
4849             if (SvWEAKREF(sv))
4850                 sv_del_backref(target, sv);
4851             else
4852                 SvREFCNT_dec(target);
4853         }
4854 #ifdef PERL_OLD_COPY_ON_WRITE
4855         else if (SvPVX_const(sv)) {
4856             if (SvIsCOW(sv)) {
4857                 /* I believe I need to grab the global SV mutex here and
4858                    then recheck the COW status.  */
4859                 if (DEBUG_C_TEST) {
4860                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
4861                     sv_dump(sv);
4862                 }
4863                 sv_release_COW(sv, SvPVX_const(sv), SvLEN(sv),
4864                                SV_COW_NEXT_SV(sv));
4865                 /* And drop it here.  */
4866                 SvFAKE_off(sv);
4867             } else if (SvLEN(sv)) {
4868                 Safefree(SvPVX_const(sv));
4869             }
4870         }
4871 #else
4872         else if (SvPVX_const(sv) && SvLEN(sv))
4873             Safefree(SvPVX_mutable(sv));
4874         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
4875             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
4876             SvFAKE_off(sv);
4877         }
4878 #endif
4879         break;
4880     case SVt_NV:
4881         break;
4882     }
4883
4884     SvFLAGS(sv) &= SVf_BREAK;
4885     SvFLAGS(sv) |= SVTYPEMASK;
4886
4887     if (sv_type_details->arena) {
4888         del_body(((char *)SvANY(sv) + sv_type_details->offset),
4889                  &PL_body_roots[type]);
4890     }
4891     else if (sv_type_details->size) {
4892         my_safefree(SvANY(sv));
4893     }
4894 }
4895
4896 /*
4897 =for apidoc sv_newref
4898
4899 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
4900 instead.
4901
4902 =cut
4903 */
4904
4905 SV *
4906 Perl_sv_newref(pTHX_ SV *sv)
4907 {
4908     if (sv)
4909         (SvREFCNT(sv))++;
4910     return sv;
4911 }
4912
4913 /*
4914 =for apidoc sv_free
4915
4916 Decrement an SV's reference count, and if it drops to zero, call
4917 C<sv_clear> to invoke destructors and free up any memory used by
4918 the body; finally, deallocate the SV's head itself.
4919 Normally called via a wrapper macro C<SvREFCNT_dec>.
4920
4921 =cut
4922 */
4923
4924 void
4925 Perl_sv_free(pTHX_ SV *sv)
4926 {
4927     dVAR;
4928     if (!sv)
4929         return;
4930     if (SvREFCNT(sv) == 0) {
4931         if (SvFLAGS(sv) & SVf_BREAK)
4932             /* this SV's refcnt has been artificially decremented to
4933              * trigger cleanup */
4934             return;
4935         if (PL_in_clean_all) /* All is fair */
4936             return;
4937         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
4938             /* make sure SvREFCNT(sv)==0 happens very seldom */
4939             SvREFCNT(sv) = (~(U32)0)/2;
4940             return;
4941         }
4942         if (ckWARN_d(WARN_INTERNAL)) {
4943             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
4944                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
4945                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
4946 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
4947             Perl_dump_sv_child(aTHX_ sv);
4948 #endif
4949         }
4950         return;
4951     }
4952     if (--(SvREFCNT(sv)) > 0)
4953         return;
4954     Perl_sv_free2(aTHX_ sv);
4955 }
4956
4957 void
4958 Perl_sv_free2(pTHX_ SV *sv)
4959 {
4960     dVAR;
4961 #ifdef DEBUGGING
4962     if (SvTEMP(sv)) {
4963         if (ckWARN_d(WARN_DEBUGGING))
4964             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
4965                         "Attempt to free temp prematurely: SV 0x%"UVxf
4966                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
4967         return;
4968     }
4969 #endif
4970     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
4971         /* make sure SvREFCNT(sv)==0 happens very seldom */
4972         SvREFCNT(sv) = (~(U32)0)/2;
4973         return;
4974     }
4975     sv_clear(sv);
4976     if (! SvREFCNT(sv))
4977         del_SV(sv);
4978 }
4979
4980 /*
4981 =for apidoc sv_len
4982
4983 Returns the length of the string in the SV. Handles magic and type
4984 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
4985
4986 =cut
4987 */
4988
4989 STRLEN
4990 Perl_sv_len(pTHX_ register SV *sv)
4991 {
4992     STRLEN len;
4993
4994     if (!sv)
4995         return 0;
4996
4997     if (SvGMAGICAL(sv))
4998         len = mg_length(sv);
4999     else
5000         (void)SvPV_const(sv, len);
5001     return len;
5002 }
5003
5004 /*
5005 =for apidoc sv_len_utf8
5006
5007 Returns the number of characters in the string in an SV, counting wide
5008 UTF-8 bytes as a single character. Handles magic and type coercion.
5009
5010 =cut
5011 */
5012
5013 /*
5014  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5015  * mg_ptr is used, by sv_pos_u2b(), see the comments of S_utf8_mg_pos_init().
5016  * (Note that the mg_len is not the length of the mg_ptr field.)
5017  *
5018  */
5019
5020 STRLEN
5021 Perl_sv_len_utf8(pTHX_ register SV *sv)
5022 {
5023     if (!sv)
5024         return 0;
5025
5026     if (SvGMAGICAL(sv))
5027         return mg_length(sv);
5028     else
5029     {
5030         STRLEN len, ulen;
5031         const U8 *s = (U8*)SvPV_const(sv, len);
5032         MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : 0;
5033
5034         if (mg && mg->mg_len != -1 && (mg->mg_len > 0 || len == 0)) {
5035             ulen = mg->mg_len;
5036 #ifdef PERL_UTF8_CACHE_ASSERT
5037             assert(ulen == Perl_utf8_length(aTHX_ s, s + len));
5038 #endif
5039         }
5040         else {
5041             ulen = Perl_utf8_length(aTHX_ s, s + len);
5042             if (!mg && !SvREADONLY(sv)) {
5043                 sv_magic(sv, 0, PERL_MAGIC_utf8, 0, 0);
5044                 mg = mg_find(sv, PERL_MAGIC_utf8);
5045                 assert(mg);
5046             }
5047             if (mg)
5048                 mg->mg_len = ulen;
5049         }
5050         return ulen;
5051     }
5052 }
5053
5054 /* S_utf8_mg_pos_init() is used to initialize the mg_ptr field of
5055  * a PERL_UTF8_magic.  The mg_ptr is used to store the mapping
5056  * between UTF-8 and byte offsets.  There are two (substr offset and substr
5057  * length, the i offset, PERL_MAGIC_UTF8_CACHESIZE) times two (UTF-8 offset
5058  * and byte offset) cache positions.
5059  *
5060  * The mg_len field is used by sv_len_utf8(), see its comments.
5061  * Note that the mg_len is not the length of the mg_ptr field.
5062  *
5063  */
5064 STATIC bool
5065 S_utf8_mg_pos_init(pTHX_ SV *sv, MAGIC **mgp, STRLEN **cachep, I32 i,
5066                    I32 offsetp, const U8 *s, const U8 *start)
5067 {
5068     bool found = FALSE;
5069
5070     if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5071         if (!*mgp)
5072             *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0, 0);
5073         assert(*mgp);
5074
5075         if ((*mgp)->mg_ptr)
5076             *cachep = (STRLEN *) (*mgp)->mg_ptr;
5077         else {
5078             Newxz(*cachep, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5079             (*mgp)->mg_ptr = (char *) *cachep;
5080         }
5081         assert(*cachep);
5082
5083         (*cachep)[i]   = offsetp;
5084         (*cachep)[i+1] = s - start;
5085         found = TRUE;
5086     }
5087
5088     return found;
5089 }
5090
5091 /*
5092  * S_utf8_mg_pos() is used to query and update mg_ptr field of
5093  * a PERL_UTF8_magic.  The mg_ptr is used to store the mapping
5094  * between UTF-8 and byte offsets.  See also the comments of
5095  * S_utf8_mg_pos_init().
5096  *
5097  */
5098 STATIC bool
5099 S_utf8_mg_pos(pTHX_ SV *sv, MAGIC **mgp, STRLEN **cachep, I32 i, I32 *offsetp, I32 uoff, const U8 **sp, const U8 *start, const U8 *send)
5100 {
5101     bool found = FALSE;
5102
5103     if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5104         if (!*mgp)
5105             *mgp = mg_find(sv, PERL_MAGIC_utf8);
5106         if (*mgp && (*mgp)->mg_ptr) {
5107             *cachep = (STRLEN *) (*mgp)->mg_ptr;
5108             ASSERT_UTF8_CACHE(*cachep);
5109             if ((*cachep)[i] == (STRLEN)uoff)   /* An exact match. */
5110                  found = TRUE;
5111             else {                      /* We will skip to the right spot. */
5112                  STRLEN forw  = 0;
5113                  STRLEN backw = 0;
5114                  const U8* p = NULL;
5115
5116                  /* The assumption is that going backward is half
5117                   * the speed of going forward (that's where the
5118                   * 2 * backw in the below comes from).  (The real
5119                   * figure of course depends on the UTF-8 data.) */
5120
5121                  if ((*cachep)[i] > (STRLEN)uoff) {
5122                       forw  = uoff;
5123                       backw = (*cachep)[i] - (STRLEN)uoff;
5124
5125                       if (forw < 2 * backw)
5126                            p = start;
5127                       else
5128                            p = start + (*cachep)[i+1];
5129                  }
5130                  /* Try this only for the substr offset (i == 0),
5131                   * not for the substr length (i == 2). */
5132                  else if (i == 0) { /* (*cachep)[i] < uoff */
5133                       const STRLEN ulen = sv_len_utf8(sv);
5134
5135                       if ((STRLEN)uoff < ulen) {
5136                            forw  = (STRLEN)uoff - (*cachep)[i];
5137                            backw = ulen - (STRLEN)uoff;
5138
5139                            if (forw < 2 * backw)
5140                                 p = start + (*cachep)[i+1];
5141                            else
5142                                 p = send;
5143                       }
5144
5145                       /* If the string is not long enough for uoff,
5146                        * we could extend it, but not at this low a level. */
5147                  }
5148
5149                  if (p) {
5150                       if (forw < 2 * backw) {
5151                            while (forw--)
5152                                 p += UTF8SKIP(p);
5153                       }
5154                       else {
5155                            while (backw--) {
5156                                 p--;
5157                                 while (UTF8_IS_CONTINUATION(*p))
5158                                      p--;
5159                            }
5160                       }
5161
5162                       /* Update the cache. */
5163                       (*cachep)[i]   = (STRLEN)uoff;
5164                       (*cachep)[i+1] = p - start;
5165
5166                       /* Drop the stale "length" cache */
5167                       if (i == 0) {
5168                           (*cachep)[2] = 0;
5169                           (*cachep)[3] = 0;
5170                       }
5171
5172                       found = TRUE;
5173                  }
5174             }
5175             if (found) {        /* Setup the return values. */
5176                  *offsetp = (*cachep)[i+1];
5177                  *sp = start + *offsetp;
5178                  if (*sp >= send) {
5179                       *sp = send;
5180                       *offsetp = send - start;
5181                  }
5182                  else if (*sp < start) {
5183                       *sp = start;
5184                       *offsetp = 0;
5185                  }
5186             }
5187         }
5188 #ifdef PERL_UTF8_CACHE_ASSERT
5189         if (found) {
5190              U8 *s = start;
5191              I32 n = uoff;
5192
5193              while (n-- && s < send)
5194                   s += UTF8SKIP(s);
5195
5196              if (i == 0) {
5197                   assert(*offsetp == s - start);
5198                   assert((*cachep)[0] == (STRLEN)uoff);
5199                   assert((*cachep)[1] == *offsetp);
5200              }
5201              ASSERT_UTF8_CACHE(*cachep);
5202         }
5203 #endif
5204     }
5205
5206     return found;
5207 }
5208
5209 /*
5210 =for apidoc sv_pos_u2b
5211
5212 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5213 the start of the string, to a count of the equivalent number of bytes; if
5214 lenp is non-zero, it does the same to lenp, but this time starting from
5215 the offset, rather than from the start of the string. Handles magic and
5216 type coercion.
5217
5218 =cut
5219 */
5220
5221 /*
5222  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5223  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5224  * byte offsets.  See also the comments of S_utf8_mg_pos().
5225  *
5226  */
5227
5228 void
5229 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5230 {
5231     const U8 *start;
5232     STRLEN len;
5233
5234     if (!sv)
5235         return;
5236
5237     start = (U8*)SvPV_const(sv, len);
5238     if (len) {
5239         STRLEN boffset = 0;
5240         STRLEN *cache = NULL;
5241         const U8 *s = start;
5242         I32 uoffset = *offsetp;
5243         const U8 * const send = s + len;
5244         MAGIC *mg = NULL;
5245         bool found = utf8_mg_pos(sv, &mg, &cache, 0, offsetp, *offsetp, &s, start, send);
5246
5247          if (!found && uoffset > 0) {
5248               while (s < send && uoffset--)
5249                    s += UTF8SKIP(s);
5250               if (s >= send)
5251                    s = send;
5252               if (utf8_mg_pos_init(sv, &mg, &cache, 0, *offsetp, s, start))
5253                   boffset = cache[1];
5254               *offsetp = s - start;
5255          }
5256          if (lenp) {
5257               found = FALSE;
5258               start = s;
5259               if (utf8_mg_pos(sv, &mg, &cache, 2, lenp, *lenp, &s, start, send)) {
5260                   *lenp -= boffset;
5261                   found = TRUE;
5262               }
5263               if (!found && *lenp > 0) {
5264                    I32 ulen = *lenp;
5265                    if (ulen > 0)
5266                         while (s < send && ulen--)
5267                              s += UTF8SKIP(s);
5268                    if (s >= send)
5269                         s = send;
5270                    utf8_mg_pos_init(sv, &mg, &cache, 2, *lenp, s, start);
5271               }
5272               *lenp = s - start;
5273          }
5274          ASSERT_UTF8_CACHE(cache);
5275     }
5276     else {
5277          *offsetp = 0;
5278          if (lenp)
5279               *lenp = 0;
5280     }
5281
5282     return;
5283 }
5284
5285 /*
5286 =for apidoc sv_pos_b2u
5287
5288 Converts the value pointed to by offsetp from a count of bytes from the
5289 start of the string, to a count of the equivalent number of UTF-8 chars.
5290 Handles magic and type coercion.
5291
5292 =cut
5293 */
5294
5295 /*
5296  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5297  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5298  * byte offsets.  See also the comments of S_utf8_mg_pos().
5299  *
5300  */
5301
5302 void
5303 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5304 {
5305     const U8* s;
5306     STRLEN len;
5307
5308     if (!sv)
5309         return;
5310
5311     s = (const U8*)SvPV_const(sv, len);
5312     if ((I32)len < *offsetp)
5313         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5314     else {
5315         const U8* send = s + *offsetp;
5316         MAGIC* mg = NULL;
5317         STRLEN *cache = NULL;
5318
5319         len = 0;
5320
5321         if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5322             mg = mg_find(sv, PERL_MAGIC_utf8);
5323             if (mg && mg->mg_ptr) {
5324                 cache = (STRLEN *) mg->mg_ptr;
5325                 if (cache[1] == (STRLEN)*offsetp) {
5326                     /* An exact match. */
5327                     *offsetp = cache[0];
5328
5329                     return;
5330                 }
5331                 else if (cache[1] < (STRLEN)*offsetp) {
5332                     /* We already know part of the way. */
5333                     len = cache[0];
5334                     s  += cache[1];
5335                     /* Let the below loop do the rest. */
5336                 }
5337                 else { /* cache[1] > *offsetp */
5338                     /* We already know all of the way, now we may
5339                      * be able to walk back.  The same assumption
5340                      * is made as in S_utf8_mg_pos(), namely that
5341                      * walking backward is twice slower than
5342                      * walking forward. */
5343                     const STRLEN forw  = *offsetp;
5344                     STRLEN backw = cache[1] - *offsetp;
5345
5346                     if (!(forw < 2 * backw)) {
5347                         const U8 *p = s + cache[1];
5348                         STRLEN ubackw = 0;
5349                         
5350                         cache[1] -= backw;
5351
5352                         while (backw--) {
5353                             p--;
5354                             while (UTF8_IS_CONTINUATION(*p)) {
5355                                 p--;
5356                                 backw--;
5357                             }
5358                             ubackw++;
5359                         }
5360
5361                         cache[0] -= ubackw;
5362                         *offsetp = cache[0];
5363
5364                         /* Drop the stale "length" cache */
5365                         cache[2] = 0;
5366                         cache[3] = 0;
5367
5368                         return;
5369                     }
5370                 }
5371             }
5372             ASSERT_UTF8_CACHE(cache);
5373         }
5374
5375         while (s < send) {
5376             STRLEN n = 1;
5377
5378             /* Call utf8n_to_uvchr() to validate the sequence
5379              * (unless a simple non-UTF character) */
5380             if (!UTF8_IS_INVARIANT(*s))
5381                 utf8n_to_uvchr(s, UTF8SKIP(s), &n, 0);
5382             if (n > 0) {
5383                 s += n;
5384                 len++;
5385             }
5386             else
5387                 break;
5388         }
5389
5390         if (!SvREADONLY(sv)) {
5391             if (!mg) {
5392                 sv_magic(sv, 0, PERL_MAGIC_utf8, 0, 0);
5393                 mg = mg_find(sv, PERL_MAGIC_utf8);
5394             }
5395             assert(mg);
5396
5397             if (!mg->mg_ptr) {
5398                 Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5399                 mg->mg_ptr = (char *) cache;
5400             }
5401             assert(cache);
5402
5403             cache[0] = len;
5404             cache[1] = *offsetp;
5405             /* Drop the stale "length" cache */
5406             cache[2] = 0;
5407             cache[3] = 0;
5408         }
5409
5410         *offsetp = len;
5411     }
5412     return;
5413 }
5414
5415 /*
5416 =for apidoc sv_eq
5417
5418 Returns a boolean indicating whether the strings in the two SVs are
5419 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5420 coerce its args to strings if necessary.
5421
5422 =cut
5423 */
5424
5425 I32
5426 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5427 {
5428     dVAR;
5429     const char *pv1;
5430     STRLEN cur1;
5431     const char *pv2;
5432     STRLEN cur2;
5433     I32  eq     = 0;
5434     char *tpv   = Nullch;
5435     SV* svrecode = Nullsv;
5436
5437     if (!sv1) {
5438         pv1 = "";
5439         cur1 = 0;
5440     }
5441     else
5442         pv1 = SvPV_const(sv1, cur1);
5443
5444     if (!sv2){
5445         pv2 = "";
5446         cur2 = 0;
5447     }
5448     else
5449         pv2 = SvPV_const(sv2, cur2);
5450
5451     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5452         /* Differing utf8ness.
5453          * Do not UTF8size the comparands as a side-effect. */
5454          if (PL_encoding) {
5455               if (SvUTF8(sv1)) {
5456                    svrecode = newSVpvn(pv2, cur2);
5457                    sv_recode_to_utf8(svrecode, PL_encoding);
5458                    pv2 = SvPV_const(svrecode, cur2);
5459               }
5460               else {
5461                    svrecode = newSVpvn(pv1, cur1);
5462                    sv_recode_to_utf8(svrecode, PL_encoding);
5463                    pv1 = SvPV_const(svrecode, cur1);
5464               }
5465               /* Now both are in UTF-8. */
5466               if (cur1 != cur2) {
5467                    SvREFCNT_dec(svrecode);
5468                    return FALSE;
5469               }
5470          }
5471          else {
5472               bool is_utf8 = TRUE;
5473
5474               if (SvUTF8(sv1)) {
5475                    /* sv1 is the UTF-8 one,
5476                     * if is equal it must be downgrade-able */
5477                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
5478                                                      &cur1, &is_utf8);
5479                    if (pv != pv1)
5480                         pv1 = tpv = pv;
5481               }
5482               else {
5483                    /* sv2 is the UTF-8 one,
5484                     * if is equal it must be downgrade-able */
5485                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
5486                                                       &cur2, &is_utf8);
5487                    if (pv != pv2)
5488                         pv2 = tpv = pv;
5489               }
5490               if (is_utf8) {
5491                    /* Downgrade not possible - cannot be eq */
5492                    assert (tpv == 0);
5493                    return FALSE;
5494               }
5495          }
5496     }
5497
5498     if (cur1 == cur2)
5499         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
5500         
5501     if (svrecode)
5502          SvREFCNT_dec(svrecode);
5503
5504     if (tpv)
5505         Safefree(tpv);
5506
5507     return eq;
5508 }
5509
5510 /*
5511 =for apidoc sv_cmp
5512
5513 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
5514 string in C<sv1> is less than, equal to, or greater than the string in
5515 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5516 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
5517
5518 =cut
5519 */
5520
5521 I32
5522 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
5523 {
5524     dVAR;
5525     STRLEN cur1, cur2;
5526     const char *pv1, *pv2;
5527     char *tpv = Nullch;
5528     I32  cmp;
5529     SV *svrecode = Nullsv;
5530
5531     if (!sv1) {
5532         pv1 = "";
5533         cur1 = 0;
5534     }
5535     else
5536         pv1 = SvPV_const(sv1, cur1);
5537
5538     if (!sv2) {
5539         pv2 = "";
5540         cur2 = 0;
5541     }
5542     else
5543         pv2 = SvPV_const(sv2, cur2);
5544
5545     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5546         /* Differing utf8ness.
5547          * Do not UTF8size the comparands as a side-effect. */
5548         if (SvUTF8(sv1)) {
5549             if (PL_encoding) {
5550                  svrecode = newSVpvn(pv2, cur2);
5551                  sv_recode_to_utf8(svrecode, PL_encoding);
5552                  pv2 = SvPV_const(svrecode, cur2);
5553             }
5554             else {
5555                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
5556             }
5557         }
5558         else {
5559             if (PL_encoding) {
5560                  svrecode = newSVpvn(pv1, cur1);
5561                  sv_recode_to_utf8(svrecode, PL_encoding);
5562                  pv1 = SvPV_const(svrecode, cur1);
5563             }
5564             else {
5565                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
5566             }
5567         }
5568     }
5569
5570     if (!cur1) {
5571         cmp = cur2 ? -1 : 0;
5572     } else if (!cur2) {
5573         cmp = 1;
5574     } else {
5575         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
5576
5577         if (retval) {
5578             cmp = retval < 0 ? -1 : 1;
5579         } else if (cur1 == cur2) {
5580             cmp = 0;
5581         } else {
5582             cmp = cur1 < cur2 ? -1 : 1;
5583         }
5584     }
5585
5586     if (svrecode)
5587          SvREFCNT_dec(svrecode);
5588
5589     if (tpv)
5590         Safefree(tpv);
5591
5592     return cmp;
5593 }
5594
5595 /*
5596 =for apidoc sv_cmp_locale
5597
5598 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
5599 'use bytes' aware, handles get magic, and will coerce its args to strings
5600 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
5601
5602 =cut
5603 */
5604
5605 I32
5606 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
5607 {
5608     dVAR;
5609 #ifdef USE_LOCALE_COLLATE
5610
5611     char *pv1, *pv2;
5612     STRLEN len1, len2;
5613     I32 retval;
5614
5615     if (PL_collation_standard)
5616         goto raw_compare;
5617
5618     len1 = 0;
5619     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
5620     len2 = 0;
5621     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
5622
5623     if (!pv1 || !len1) {
5624         if (pv2 && len2)
5625             return -1;
5626         else
5627             goto raw_compare;
5628     }
5629     else {
5630         if (!pv2 || !len2)
5631             return 1;
5632     }
5633
5634     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
5635
5636     if (retval)
5637         return retval < 0 ? -1 : 1;
5638
5639     /*
5640      * When the result of collation is equality, that doesn't mean
5641      * that there are no differences -- some locales exclude some
5642      * characters from consideration.  So to avoid false equalities,
5643      * we use the raw string as a tiebreaker.
5644      */
5645
5646   raw_compare:
5647     /* FALL THROUGH */
5648
5649 #endif /* USE_LOCALE_COLLATE */
5650
5651     return sv_cmp(sv1, sv2);
5652 }
5653
5654
5655 #ifdef USE_LOCALE_COLLATE
5656
5657 /*
5658 =for apidoc sv_collxfrm
5659
5660 Add Collate Transform magic to an SV if it doesn't already have it.
5661
5662 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
5663 scalar data of the variable, but transformed to such a format that a normal
5664 memory comparison can be used to compare the data according to the locale
5665 settings.
5666
5667 =cut
5668 */
5669
5670 char *
5671 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
5672 {
5673     dVAR;
5674     MAGIC *mg;
5675
5676     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
5677     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
5678         const char *s;
5679         char *xf;
5680         STRLEN len, xlen;
5681
5682         if (mg)
5683             Safefree(mg->mg_ptr);
5684         s = SvPV_const(sv, len);
5685         if ((xf = mem_collxfrm(s, len, &xlen))) {
5686             if (SvREADONLY(sv)) {
5687                 SAVEFREEPV(xf);
5688                 *nxp = xlen;
5689                 return xf + sizeof(PL_collation_ix);
5690             }
5691             if (! mg) {
5692                 sv_magic(sv, 0, PERL_MAGIC_collxfrm, 0, 0);
5693                 mg = mg_find(sv, PERL_MAGIC_collxfrm);
5694                 assert(mg);
5695             }
5696             mg->mg_ptr = xf;
5697             mg->mg_len = xlen;
5698         }
5699         else {
5700             if (mg) {
5701                 mg->mg_ptr = NULL;
5702                 mg->mg_len = -1;
5703             }
5704         }
5705     }
5706     if (mg && mg->mg_ptr) {
5707         *nxp = mg->mg_len;
5708         return mg->mg_ptr + sizeof(PL_collation_ix);
5709     }
5710     else {
5711         *nxp = 0;
5712         return NULL;
5713     }
5714 }
5715
5716 #endif /* USE_LOCALE_COLLATE */
5717
5718 /*
5719 =for apidoc sv_gets
5720
5721 Get a line from the filehandle and store it into the SV, optionally
5722 appending to the currently-stored string.
5723
5724 =cut
5725 */
5726
5727 char *
5728 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
5729 {
5730     dVAR;
5731     const char *rsptr;
5732     STRLEN rslen;
5733     register STDCHAR rslast;
5734     register STDCHAR *bp;
5735     register I32 cnt;
5736     I32 i = 0;
5737     I32 rspara = 0;
5738     I32 recsize;
5739
5740     if (SvTHINKFIRST(sv))
5741         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
5742     /* XXX. If you make this PVIV, then copy on write can copy scalars read
5743        from <>.
5744        However, perlbench says it's slower, because the existing swipe code
5745        is faster than copy on write.
5746        Swings and roundabouts.  */
5747     SvUPGRADE(sv, SVt_PV);
5748
5749     SvSCREAM_off(sv);
5750
5751     if (append) {
5752         if (PerlIO_isutf8(fp)) {
5753             if (!SvUTF8(sv)) {
5754                 sv_utf8_upgrade_nomg(sv);
5755                 sv_pos_u2b(sv,&append,0);
5756             }
5757         } else if (SvUTF8(sv)) {
5758             SV * const tsv = newSV(0);
5759             sv_gets(tsv, fp, 0);
5760             sv_utf8_upgrade_nomg(tsv);
5761             SvCUR_set(sv,append);
5762             sv_catsv(sv,tsv);
5763             sv_free(tsv);
5764             goto return_string_or_null;
5765         }
5766     }
5767
5768     SvPOK_only(sv);
5769     if (PerlIO_isutf8(fp))
5770         SvUTF8_on(sv);
5771
5772     if (IN_PERL_COMPILETIME) {
5773         /* we always read code in line mode */
5774         rsptr = "\n";
5775         rslen = 1;
5776     }
5777     else if (RsSNARF(PL_rs)) {
5778         /* If it is a regular disk file use size from stat() as estimate
5779            of amount we are going to read - may result in malloc-ing
5780            more memory than we realy need if layers bellow reduce
5781            size we read (e.g. CRLF or a gzip layer)
5782          */
5783         Stat_t st;
5784         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
5785             const Off_t offset = PerlIO_tell(fp);
5786             if (offset != (Off_t) -1 && st.st_size + append > offset) {
5787                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
5788             }
5789         }
5790         rsptr = NULL;
5791         rslen = 0;
5792     }
5793     else if (RsRECORD(PL_rs)) {
5794       I32 bytesread;
5795       char *buffer;
5796
5797       /* Grab the size of the record we're getting */
5798       recsize = SvIV(SvRV(PL_rs));
5799       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
5800       /* Go yank in */
5801 #ifdef VMS
5802       /* VMS wants read instead of fread, because fread doesn't respect */
5803       /* RMS record boundaries. This is not necessarily a good thing to be */
5804       /* doing, but we've got no other real choice - except avoid stdio
5805          as implementation - perhaps write a :vms layer ?
5806        */
5807       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
5808 #else
5809       bytesread = PerlIO_read(fp, buffer, recsize);
5810 #endif
5811       if (bytesread < 0)
5812           bytesread = 0;
5813       SvCUR_set(sv, bytesread += append);
5814       buffer[bytesread] = '\0';
5815       goto return_string_or_null;
5816     }
5817     else if (RsPARA(PL_rs)) {
5818         rsptr = "\n\n";
5819         rslen = 2;
5820         rspara = 1;
5821     }
5822     else {
5823         /* Get $/ i.e. PL_rs into same encoding as stream wants */
5824         if (PerlIO_isutf8(fp)) {
5825             rsptr = SvPVutf8(PL_rs, rslen);
5826         }
5827         else {
5828             if (SvUTF8(PL_rs)) {
5829                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
5830                     Perl_croak(aTHX_ "Wide character in $/");
5831                 }
5832             }
5833             rsptr = SvPV_const(PL_rs, rslen);
5834         }
5835     }
5836
5837     rslast = rslen ? rsptr[rslen - 1] : '\0';
5838
5839     if (rspara) {               /* have to do this both before and after */
5840         do {                    /* to make sure file boundaries work right */
5841             if (PerlIO_eof(fp))
5842                 return 0;
5843             i = PerlIO_getc(fp);
5844             if (i != '\n') {
5845                 if (i == -1)
5846                     return 0;
5847                 PerlIO_ungetc(fp,i);
5848                 break;
5849             }
5850         } while (i != EOF);
5851     }
5852
5853     /* See if we know enough about I/O mechanism to cheat it ! */
5854
5855     /* This used to be #ifdef test - it is made run-time test for ease
5856        of abstracting out stdio interface. One call should be cheap
5857        enough here - and may even be a macro allowing compile
5858        time optimization.
5859      */
5860
5861     if (PerlIO_fast_gets(fp)) {
5862
5863     /*
5864      * We're going to steal some values from the stdio struct
5865      * and put EVERYTHING in the innermost loop into registers.
5866      */
5867     register STDCHAR *ptr;
5868     STRLEN bpx;
5869     I32 shortbuffered;
5870
5871 #if defined(VMS) && defined(PERLIO_IS_STDIO)
5872     /* An ungetc()d char is handled separately from the regular
5873      * buffer, so we getc() it back out and stuff it in the buffer.
5874      */
5875     i = PerlIO_getc(fp);
5876     if (i == EOF) return 0;
5877     *(--((*fp)->_ptr)) = (unsigned char) i;
5878     (*fp)->_cnt++;
5879 #endif
5880
5881     /* Here is some breathtakingly efficient cheating */
5882
5883     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
5884     /* make sure we have the room */
5885     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
5886         /* Not room for all of it
5887            if we are looking for a separator and room for some
5888          */
5889         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
5890             /* just process what we have room for */
5891             shortbuffered = cnt - SvLEN(sv) + append + 1;
5892             cnt -= shortbuffered;
5893         }
5894         else {
5895             shortbuffered = 0;
5896             /* remember that cnt can be negative */
5897             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
5898         }
5899     }
5900     else
5901         shortbuffered = 0;
5902     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
5903     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
5904     DEBUG_P(PerlIO_printf(Perl_debug_log,
5905         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
5906     DEBUG_P(PerlIO_printf(Perl_debug_log,
5907         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5908                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5909                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
5910     for (;;) {
5911       screamer:
5912         if (cnt > 0) {
5913             if (rslen) {
5914                 while (cnt > 0) {                    /* this     |  eat */
5915                     cnt--;
5916                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
5917                         goto thats_all_folks;        /* screams  |  sed :-) */
5918                 }
5919             }
5920             else {
5921                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
5922                 bp += cnt;                           /* screams  |  dust */
5923                 ptr += cnt;                          /* louder   |  sed :-) */
5924                 cnt = 0;
5925             }
5926         }
5927         
5928         if (shortbuffered) {            /* oh well, must extend */
5929             cnt = shortbuffered;
5930             shortbuffered = 0;
5931             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
5932             SvCUR_set(sv, bpx);
5933             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
5934             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
5935             continue;
5936         }
5937
5938         DEBUG_P(PerlIO_printf(Perl_debug_log,
5939                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
5940                               PTR2UV(ptr),(long)cnt));
5941         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
5942 #if 0
5943         DEBUG_P(PerlIO_printf(Perl_debug_log,
5944             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5945             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5946             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
5947 #endif
5948         /* This used to call 'filbuf' in stdio form, but as that behaves like
5949            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
5950            another abstraction.  */
5951         i   = PerlIO_getc(fp);          /* get more characters */
5952 #if 0
5953         DEBUG_P(PerlIO_printf(Perl_debug_log,
5954             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5955             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5956             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
5957 #endif
5958         cnt = PerlIO_get_cnt(fp);
5959         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
5960         DEBUG_P(PerlIO_printf(Perl_debug_log,
5961             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
5962
5963         if (i == EOF)                   /* all done for ever? */
5964             goto thats_really_all_folks;
5965
5966         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
5967         SvCUR_set(sv, bpx);
5968         SvGROW(sv, bpx + cnt + 2);
5969         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
5970
5971         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
5972
5973         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
5974             goto thats_all_folks;
5975     }
5976
5977 thats_all_folks:
5978     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
5979           memNE((char*)bp - rslen, rsptr, rslen))
5980         goto screamer;                          /* go back to the fray */
5981 thats_really_all_folks:
5982     if (shortbuffered)
5983         cnt += shortbuffered;
5984         DEBUG_P(PerlIO_printf(Perl_debug_log,
5985             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
5986     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
5987     DEBUG_P(PerlIO_printf(Perl_debug_log,
5988         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
5989         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
5990         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
5991     *bp = '\0';
5992     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
5993     DEBUG_P(PerlIO_printf(Perl_debug_log,
5994         "Screamer: done, len=%ld, string=|%.*s|\n",
5995         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
5996     }
5997    else
5998     {
5999        /*The big, slow, and stupid way. */
6000 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6001         STDCHAR *buf = NULL;
6002         Newx(buf, 8192, STDCHAR);
6003         assert(buf);
6004 #else
6005         STDCHAR buf[8192];
6006 #endif
6007
6008 screamer2:
6009         if (rslen) {
6010             register const STDCHAR * const bpe = buf + sizeof(buf);
6011             bp = buf;
6012             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6013                 ; /* keep reading */
6014             cnt = bp - buf;
6015         }
6016         else {
6017             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6018             /* Accomodate broken VAXC compiler, which applies U8 cast to
6019              * both args of ?: operator, causing EOF to change into 255
6020              */
6021             if (cnt > 0)
6022                  i = (U8)buf[cnt - 1];
6023             else
6024                  i = EOF;
6025         }
6026
6027         if (cnt < 0)
6028             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6029         if (append)
6030              sv_catpvn(sv, (char *) buf, cnt);
6031         else
6032              sv_setpvn(sv, (char *) buf, cnt);
6033
6034         if (i != EOF &&                 /* joy */
6035             (!rslen ||
6036              SvCUR(sv) < rslen ||
6037              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6038         {
6039             append = -1;
6040             /*
6041              * If we're reading from a TTY and we get a short read,
6042              * indicating that the user hit his EOF character, we need
6043              * to notice it now, because if we try to read from the TTY
6044              * again, the EOF condition will disappear.
6045              *
6046              * The comparison of cnt to sizeof(buf) is an optimization
6047              * that prevents unnecessary calls to feof().
6048              *
6049              * - jik 9/25/96
6050              */
6051             if (!(cnt < sizeof(buf) && PerlIO_eof(fp)))
6052                 goto screamer2;
6053         }
6054
6055 #ifdef USE_HEAP_INSTEAD_OF_STACK
6056         Safefree(buf);
6057 #endif
6058     }
6059
6060     if (rspara) {               /* have to do this both before and after */
6061         while (i != EOF) {      /* to make sure file boundaries work right */
6062             i = PerlIO_getc(fp);
6063             if (i != '\n') {
6064                 PerlIO_ungetc(fp,i);
6065                 break;
6066             }
6067         }
6068     }
6069
6070 return_string_or_null:
6071     return (SvCUR(sv) - append) ? SvPVX(sv) : Nullch;
6072 }
6073
6074 /*
6075 =for apidoc sv_inc
6076
6077 Auto-increment of the value in the SV, doing string to numeric conversion
6078 if necessary. Handles 'get' magic.
6079
6080 =cut
6081 */
6082
6083 void
6084 Perl_sv_inc(pTHX_ register SV *sv)
6085 {
6086     dVAR;
6087     register char *d;
6088     int flags;
6089
6090     if (!sv)
6091         return;
6092     SvGETMAGIC(sv);
6093     if (SvTHINKFIRST(sv)) {
6094         if (SvIsCOW(sv))
6095             sv_force_normal_flags(sv, 0);
6096         if (SvREADONLY(sv)) {
6097             if (IN_PERL_RUNTIME)
6098                 Perl_croak(aTHX_ PL_no_modify);
6099         }
6100         if (SvROK(sv)) {
6101             IV i;
6102             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6103                 return;
6104             i = PTR2IV(SvRV(sv));
6105             sv_unref(sv);
6106             sv_setiv(sv, i);
6107         }
6108     }
6109     flags = SvFLAGS(sv);
6110     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6111         /* It's (privately or publicly) a float, but not tested as an
6112            integer, so test it to see. */
6113         (void) SvIV(sv);
6114         flags = SvFLAGS(sv);
6115     }
6116     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6117         /* It's publicly an integer, or privately an integer-not-float */
6118 #ifdef PERL_PRESERVE_IVUV
6119       oops_its_int:
6120 #endif
6121         if (SvIsUV(sv)) {
6122             if (SvUVX(sv) == UV_MAX)
6123                 sv_setnv(sv, UV_MAX_P1);
6124             else
6125                 (void)SvIOK_only_UV(sv);
6126                 SvUV_set(sv, SvUVX(sv) + 1);
6127         } else {
6128             if (SvIVX(sv) == IV_MAX)
6129                 sv_setuv(sv, (UV)IV_MAX + 1);
6130             else {
6131                 (void)SvIOK_only(sv);
6132                 SvIV_set(sv, SvIVX(sv) + 1);
6133             }   
6134         }
6135         return;
6136     }
6137     if (flags & SVp_NOK) {
6138         (void)SvNOK_only(sv);
6139         SvNV_set(sv, SvNVX(sv) + 1.0);
6140         return;
6141     }
6142
6143     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6144         if ((flags & SVTYPEMASK) < SVt_PVIV)
6145             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6146         (void)SvIOK_only(sv);
6147         SvIV_set(sv, 1);
6148         return;
6149     }
6150     d = SvPVX(sv);
6151     while (isALPHA(*d)) d++;
6152     while (isDIGIT(*d)) d++;
6153     if (*d) {
6154 #ifdef PERL_PRESERVE_IVUV
6155         /* Got to punt this as an integer if needs be, but we don't issue
6156            warnings. Probably ought to make the sv_iv_please() that does
6157            the conversion if possible, and silently.  */
6158         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6159         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6160             /* Need to try really hard to see if it's an integer.
6161                9.22337203685478e+18 is an integer.
6162                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6163                so $a="9.22337203685478e+18"; $a+0; $a++
6164                needs to be the same as $a="9.22337203685478e+18"; $a++
6165                or we go insane. */
6166         
6167             (void) sv_2iv(sv);
6168             if (SvIOK(sv))
6169                 goto oops_its_int;
6170
6171             /* sv_2iv *should* have made this an NV */
6172             if (flags & SVp_NOK) {
6173                 (void)SvNOK_only(sv);
6174                 SvNV_set(sv, SvNVX(sv) + 1.0);
6175                 return;
6176             }
6177             /* I don't think we can get here. Maybe I should assert this
6178                And if we do get here I suspect that sv_setnv will croak. NWC
6179                Fall through. */
6180 #if defined(USE_LONG_DOUBLE)
6181             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6182                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6183 #else
6184             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6185                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6186 #endif
6187         }
6188 #endif /* PERL_PRESERVE_IVUV */
6189         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6190         return;
6191     }
6192     d--;
6193     while (d >= SvPVX_const(sv)) {
6194         if (isDIGIT(*d)) {
6195             if (++*d <= '9')
6196                 return;
6197             *(d--) = '0';
6198         }
6199         else {
6200 #ifdef EBCDIC
6201             /* MKS: The original code here died if letters weren't consecutive.
6202              * at least it didn't have to worry about non-C locales.  The
6203              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6204              * arranged in order (although not consecutively) and that only
6205              * [A-Za-z] are accepted by isALPHA in the C locale.
6206              */
6207             if (*d != 'z' && *d != 'Z') {
6208                 do { ++*d; } while (!isALPHA(*d));
6209                 return;
6210             }
6211             *(d--) -= 'z' - 'a';
6212 #else
6213             ++*d;
6214             if (isALPHA(*d))
6215                 return;
6216             *(d--) -= 'z' - 'a' + 1;
6217 #endif
6218         }
6219     }
6220     /* oh,oh, the number grew */
6221     SvGROW(sv, SvCUR(sv) + 2);
6222     SvCUR_set(sv, SvCUR(sv) + 1);
6223     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6224         *d = d[-1];
6225     if (isDIGIT(d[1]))
6226         *d = '1';
6227     else
6228         *d = d[1];
6229 }
6230
6231 /*
6232 =for apidoc sv_dec
6233
6234 Auto-decrement of the value in the SV, doing string to numeric conversion
6235 if necessary. Handles 'get' magic.
6236
6237 =cut
6238 */
6239
6240 void
6241 Perl_sv_dec(pTHX_ register SV *sv)
6242 {
6243     dVAR;
6244     int flags;
6245
6246     if (!sv)
6247         return;
6248     SvGETMAGIC(sv);
6249     if (SvTHINKFIRST(sv)) {
6250         if (SvIsCOW(sv))
6251             sv_force_normal_flags(sv, 0);
6252         if (SvREADONLY(sv)) {
6253             if (IN_PERL_RUNTIME)
6254                 Perl_croak(aTHX_ PL_no_modify);
6255         }
6256         if (SvROK(sv)) {
6257             IV i;
6258             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6259                 return;
6260             i = PTR2IV(SvRV(sv));
6261             sv_unref(sv);
6262             sv_setiv(sv, i);
6263         }
6264     }
6265     /* Unlike sv_inc we don't have to worry about string-never-numbers
6266        and keeping them magic. But we mustn't warn on punting */
6267     flags = SvFLAGS(sv);
6268     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6269         /* It's publicly an integer, or privately an integer-not-float */
6270 #ifdef PERL_PRESERVE_IVUV
6271       oops_its_int:
6272 #endif
6273         if (SvIsUV(sv)) {
6274             if (SvUVX(sv) == 0) {
6275                 (void)SvIOK_only(sv);
6276                 SvIV_set(sv, -1);
6277             }
6278             else {
6279                 (void)SvIOK_only_UV(sv);
6280                 SvUV_set(sv, SvUVX(sv) - 1);
6281             }   
6282         } else {
6283             if (SvIVX(sv) == IV_MIN)
6284                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6285             else {
6286                 (void)SvIOK_only(sv);
6287                 SvIV_set(sv, SvIVX(sv) - 1);
6288             }   
6289         }
6290         return;
6291     }
6292     if (flags & SVp_NOK) {
6293         SvNV_set(sv, SvNVX(sv) - 1.0);
6294         (void)SvNOK_only(sv);
6295         return;
6296     }
6297     if (!(flags & SVp_POK)) {
6298         if ((flags & SVTYPEMASK) < SVt_PVIV)
6299             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6300         SvIV_set(sv, -1);
6301         (void)SvIOK_only(sv);
6302         return;
6303     }
6304 #ifdef PERL_PRESERVE_IVUV
6305     {
6306         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6307         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6308             /* Need to try really hard to see if it's an integer.
6309                9.22337203685478e+18 is an integer.
6310                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6311                so $a="9.22337203685478e+18"; $a+0; $a--
6312                needs to be the same as $a="9.22337203685478e+18"; $a--
6313                or we go insane. */
6314         
6315             (void) sv_2iv(sv);
6316             if (SvIOK(sv))
6317                 goto oops_its_int;
6318
6319             /* sv_2iv *should* have made this an NV */
6320             if (flags & SVp_NOK) {
6321                 (void)SvNOK_only(sv);
6322                 SvNV_set(sv, SvNVX(sv) - 1.0);
6323                 return;
6324             }
6325             /* I don't think we can get here. Maybe I should assert this
6326                And if we do get here I suspect that sv_setnv will croak. NWC
6327                Fall through. */
6328 #if defined(USE_LONG_DOUBLE)
6329             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6330                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6331 #else
6332             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6333                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6334 #endif
6335         }
6336     }
6337 #endif /* PERL_PRESERVE_IVUV */
6338     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6339 }
6340
6341 /*
6342 =for apidoc sv_mortalcopy
6343
6344 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6345 The new SV is marked as mortal. It will be destroyed "soon", either by an
6346 explicit call to FREETMPS, or by an implicit call at places such as
6347 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6348
6349 =cut
6350 */
6351
6352 /* Make a string that will exist for the duration of the expression
6353  * evaluation.  Actually, it may have to last longer than that, but
6354  * hopefully we won't free it until it has been assigned to a
6355  * permanent location. */
6356
6357 SV *
6358 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6359 {
6360     dVAR;
6361     register SV *sv;
6362
6363     new_SV(sv);
6364     sv_setsv(sv,oldstr);
6365     EXTEND_MORTAL(1);
6366     PL_tmps_stack[++PL_tmps_ix] = sv;
6367     SvTEMP_on(sv);
6368     return sv;
6369 }
6370
6371 /*
6372 =for apidoc sv_newmortal
6373
6374 Creates a new null SV which is mortal.  The reference count of the SV is
6375 set to 1. It will be destroyed "soon", either by an explicit call to
6376 FREETMPS, or by an implicit call at places such as statement boundaries.
6377 See also C<sv_mortalcopy> and C<sv_2mortal>.
6378
6379 =cut
6380 */
6381
6382 SV *
6383 Perl_sv_newmortal(pTHX)
6384 {
6385     dVAR;
6386     register SV *sv;
6387
6388     new_SV(sv);
6389     SvFLAGS(sv) = SVs_TEMP;
6390     EXTEND_MORTAL(1);
6391     PL_tmps_stack[++PL_tmps_ix] = sv;
6392     return sv;
6393 }
6394
6395 /*
6396 =for apidoc sv_2mortal
6397
6398 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6399 by an explicit call to FREETMPS, or by an implicit call at places such as
6400 statement boundaries.  SvTEMP() is turned on which means that the SV's
6401 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6402 and C<sv_mortalcopy>.
6403
6404 =cut
6405 */
6406
6407 SV *
6408 Perl_sv_2mortal(pTHX_ register SV *sv)
6409 {
6410     dVAR;
6411     if (!sv)
6412         return NULL;
6413     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6414         return sv;
6415     EXTEND_MORTAL(1);
6416     PL_tmps_stack[++PL_tmps_ix] = sv;
6417     SvTEMP_on(sv);
6418     return sv;
6419 }
6420
6421 /*
6422 =for apidoc newSVpv
6423
6424 Creates a new SV and copies a string into it.  The reference count for the
6425 SV is set to 1.  If C<len> is zero, Perl will compute the length using
6426 strlen().  For efficiency, consider using C<newSVpvn> instead.
6427
6428 =cut
6429 */
6430
6431 SV *
6432 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
6433 {
6434     dVAR;
6435     register SV *sv;
6436
6437     new_SV(sv);
6438     sv_setpvn(sv,s,len ? len : strlen(s));
6439     return sv;
6440 }
6441
6442 /*
6443 =for apidoc newSVpvn
6444
6445 Creates a new SV and copies a string into it.  The reference count for the
6446 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
6447 string.  You are responsible for ensuring that the source string is at least
6448 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
6449
6450 =cut
6451 */
6452
6453 SV *
6454 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
6455 {
6456     dVAR;
6457     register SV *sv;
6458
6459     new_SV(sv);
6460     sv_setpvn(sv,s,len);
6461     return sv;
6462 }
6463
6464
6465 /*
6466 =for apidoc newSVhek
6467
6468 Creates a new SV from the hash key structure.  It will generate scalars that
6469 point to the shared string table where possible. Returns a new (undefined)
6470 SV if the hek is NULL.
6471
6472 =cut
6473 */
6474
6475 SV *
6476 Perl_newSVhek(pTHX_ const HEK *hek)
6477 {
6478     dVAR;
6479     if (!hek) {
6480         SV *sv;
6481
6482         new_SV(sv);
6483         return sv;
6484     }
6485
6486     if (HEK_LEN(hek) == HEf_SVKEY) {
6487         return newSVsv(*(SV**)HEK_KEY(hek));
6488     } else {
6489         const int flags = HEK_FLAGS(hek);
6490         if (flags & HVhek_WASUTF8) {
6491             /* Trouble :-)
6492                Andreas would like keys he put in as utf8 to come back as utf8
6493             */
6494             STRLEN utf8_len = HEK_LEN(hek);
6495             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
6496             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
6497
6498             SvUTF8_on (sv);
6499             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
6500             return sv;
6501         } else if (flags & HVhek_REHASH) {
6502             /* We don't have a pointer to the hv, so we have to replicate the
6503                flag into every HEK. This hv is using custom a hasing
6504                algorithm. Hence we can't return a shared string scalar, as
6505                that would contain the (wrong) hash value, and might get passed
6506                into an hv routine with a regular hash  */
6507
6508             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
6509             if (HEK_UTF8(hek))
6510                 SvUTF8_on (sv);
6511             return sv;
6512         }
6513         /* This will be overwhelminly the most common case.  */
6514         return newSVpvn_share(HEK_KEY(hek),
6515                               (HEK_UTF8(hek) ? -HEK_LEN(hek) : HEK_LEN(hek)),
6516                               HEK_HASH(hek));
6517     }
6518 }
6519
6520 /*
6521 =for apidoc newSVpvn_share
6522
6523 Creates a new SV with its SvPVX_const pointing to a shared string in the string
6524 table. If the string does not already exist in the table, it is created
6525 first.  Turns on READONLY and FAKE.  The string's hash is stored in the UV
6526 slot of the SV; if the C<hash> parameter is non-zero, that value is used;
6527 otherwise the hash is computed.  The idea here is that as the string table
6528 is used for shared hash keys these strings will have SvPVX_const == HeKEY and
6529 hash lookup will avoid string compare.
6530
6531 =cut
6532 */
6533
6534 SV *
6535 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
6536 {
6537     dVAR;
6538     register SV *sv;
6539     bool is_utf8 = FALSE;
6540     if (len < 0) {
6541         STRLEN tmplen = -len;
6542         is_utf8 = TRUE;
6543         /* See the note in hv.c:hv_fetch() --jhi */
6544         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
6545         len = tmplen;
6546     }
6547     if (!hash)
6548         PERL_HASH(hash, src, len);
6549     new_SV(sv);
6550     sv_upgrade(sv, SVt_PV);
6551     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
6552     SvCUR_set(sv, len);
6553     SvLEN_set(sv, 0);
6554     SvREADONLY_on(sv);
6555     SvFAKE_on(sv);
6556     SvPOK_on(sv);
6557     if (is_utf8)
6558         SvUTF8_on(sv);
6559     return sv;
6560 }
6561
6562
6563 #if defined(PERL_IMPLICIT_CONTEXT)
6564
6565 /* pTHX_ magic can't cope with varargs, so this is a no-context
6566  * version of the main function, (which may itself be aliased to us).
6567  * Don't access this version directly.
6568  */
6569
6570 SV *
6571 Perl_newSVpvf_nocontext(const char* pat, ...)
6572 {
6573     dTHX;
6574     register SV *sv;
6575     va_list args;
6576     va_start(args, pat);
6577     sv = vnewSVpvf(pat, &args);
6578     va_end(args);
6579     return sv;
6580 }
6581 #endif
6582
6583 /*
6584 =for apidoc newSVpvf
6585
6586 Creates a new SV and initializes it with the string formatted like
6587 C<sprintf>.
6588
6589 =cut
6590 */
6591
6592 SV *
6593 Perl_newSVpvf(pTHX_ const char* pat, ...)
6594 {
6595     register SV *sv;
6596     va_list args;
6597     va_start(args, pat);
6598     sv = vnewSVpvf(pat, &args);
6599     va_end(args);
6600     return sv;
6601 }
6602
6603 /* backend for newSVpvf() and newSVpvf_nocontext() */
6604
6605 SV *
6606 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
6607 {
6608     dVAR;
6609     register SV *sv;
6610     new_SV(sv);
6611     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
6612     return sv;
6613 }
6614
6615 /*
6616 =for apidoc newSVnv
6617
6618 Creates a new SV and copies a floating point value into it.
6619 The reference count for the SV is set to 1.
6620
6621 =cut
6622 */
6623
6624 SV *
6625 Perl_newSVnv(pTHX_ NV n)
6626 {
6627     dVAR;
6628     register SV *sv;
6629
6630     new_SV(sv);
6631     sv_setnv(sv,n);
6632     return sv;
6633 }
6634
6635 /*
6636 =for apidoc newSViv
6637
6638 Creates a new SV and copies an integer into it.  The reference count for the
6639 SV is set to 1.
6640
6641 =cut
6642 */
6643
6644 SV *
6645 Perl_newSViv(pTHX_ IV i)
6646 {
6647     dVAR;
6648     register SV *sv;
6649
6650     new_SV(sv);
6651     sv_setiv(sv,i);
6652     return sv;
6653 }
6654
6655 /*
6656 =for apidoc newSVuv
6657
6658 Creates a new SV and copies an unsigned integer into it.
6659 The reference count for the SV is set to 1.
6660
6661 =cut
6662 */
6663
6664 SV *
6665 Perl_newSVuv(pTHX_ UV u)
6666 {
6667     dVAR;
6668     register SV *sv;
6669
6670     new_SV(sv);
6671     sv_setuv(sv,u);
6672     return sv;
6673 }
6674
6675 /*
6676 =for apidoc newRV_noinc
6677
6678 Creates an RV wrapper for an SV.  The reference count for the original
6679 SV is B<not> incremented.
6680
6681 =cut
6682 */
6683
6684 SV *
6685 Perl_newRV_noinc(pTHX_ SV *tmpRef)
6686 {
6687     dVAR;
6688     register SV *sv;
6689
6690     new_SV(sv);
6691     sv_upgrade(sv, SVt_RV);
6692     SvTEMP_off(tmpRef);
6693     SvRV_set(sv, tmpRef);
6694     SvROK_on(sv);
6695     return sv;
6696 }
6697
6698 /* newRV_inc is the official function name to use now.
6699  * newRV_inc is in fact #defined to newRV in sv.h
6700  */
6701
6702 SV *
6703 Perl_newRV(pTHX_ SV *tmpRef)
6704 {
6705     dVAR;
6706     return newRV_noinc(SvREFCNT_inc(tmpRef));
6707 }
6708
6709 /*
6710 =for apidoc newSVsv
6711
6712 Creates a new SV which is an exact duplicate of the original SV.
6713 (Uses C<sv_setsv>).
6714
6715 =cut
6716 */
6717
6718 SV *
6719 Perl_newSVsv(pTHX_ register SV *old)
6720 {
6721     dVAR;
6722     register SV *sv;
6723
6724     if (!old)
6725         return NULL;
6726     if (SvTYPE(old) == SVTYPEMASK) {
6727         if (ckWARN_d(WARN_INTERNAL))
6728             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
6729         return Nullsv;
6730     }
6731     new_SV(sv);
6732     /* SV_GMAGIC is the default for sv_setv()
6733        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
6734        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
6735     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
6736     return sv;
6737 }
6738
6739 /*
6740 =for apidoc sv_reset
6741
6742 Underlying implementation for the C<reset> Perl function.
6743 Note that the perl-level function is vaguely deprecated.
6744
6745 =cut
6746 */
6747
6748 void
6749 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
6750 {
6751     dVAR;
6752     char todo[PERL_UCHAR_MAX+1];
6753
6754     if (!stash)
6755         return;
6756
6757     if (!*s) {          /* reset ?? searches */
6758         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
6759         if (mg) {
6760             PMOP *pm = (PMOP *) mg->mg_obj;
6761             while (pm) {
6762                 pm->op_pmdynflags &= ~PMdf_USED;
6763                 pm = pm->op_pmnext;
6764             }
6765         }
6766         return;
6767     }
6768
6769     /* reset variables */
6770
6771     if (!HvARRAY(stash))
6772         return;
6773
6774     Zero(todo, 256, char);
6775     while (*s) {
6776         I32 max;
6777         I32 i = (unsigned char)*s;
6778         if (s[1] == '-') {
6779             s += 2;
6780         }
6781         max = (unsigned char)*s++;
6782         for ( ; i <= max; i++) {
6783             todo[i] = 1;
6784         }
6785         for (i = 0; i <= (I32) HvMAX(stash); i++) {
6786             HE *entry;
6787             for (entry = HvARRAY(stash)[i];
6788                  entry;
6789                  entry = HeNEXT(entry))
6790             {
6791                 register GV *gv;
6792                 register SV *sv;
6793
6794                 if (!todo[(U8)*HeKEY(entry)])
6795                     continue;
6796                 gv = (GV*)HeVAL(entry);
6797                 sv = GvSV(gv);
6798                 if (sv) {
6799                     if (SvTHINKFIRST(sv)) {
6800                         if (!SvREADONLY(sv) && SvROK(sv))
6801                             sv_unref(sv);
6802                         /* XXX Is this continue a bug? Why should THINKFIRST
6803                            exempt us from resetting arrays and hashes?  */
6804                         continue;
6805                     }
6806                     SvOK_off(sv);
6807                     if (SvTYPE(sv) >= SVt_PV) {
6808                         SvCUR_set(sv, 0);
6809                         if (SvPVX_const(sv) != Nullch)
6810                             *SvPVX(sv) = '\0';
6811                         SvTAINT(sv);
6812                     }
6813                 }
6814                 if (GvAV(gv)) {
6815                     av_clear(GvAV(gv));
6816                 }
6817                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
6818 #if defined(VMS)
6819                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
6820 #else /* ! VMS */
6821                     hv_clear(GvHV(gv));
6822 #  if defined(USE_ENVIRON_ARRAY)
6823                     if (gv == PL_envgv)
6824                         my_clearenv();
6825 #  endif /* USE_ENVIRON_ARRAY */
6826 #endif /* VMS */
6827                 }
6828             }
6829         }
6830     }
6831 }
6832
6833 /*
6834 =for apidoc sv_2io
6835
6836 Using various gambits, try to get an IO from an SV: the IO slot if its a
6837 GV; or the recursive result if we're an RV; or the IO slot of the symbol
6838 named after the PV if we're a string.
6839
6840 =cut
6841 */
6842
6843 IO*
6844 Perl_sv_2io(pTHX_ SV *sv)
6845 {
6846     IO* io;
6847     GV* gv;
6848
6849     switch (SvTYPE(sv)) {
6850     case SVt_PVIO:
6851         io = (IO*)sv;
6852         break;
6853     case SVt_PVGV:
6854         gv = (GV*)sv;
6855         io = GvIO(gv);
6856         if (!io)
6857             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
6858         break;
6859     default:
6860         if (!SvOK(sv))
6861             Perl_croak(aTHX_ PL_no_usym, "filehandle");
6862         if (SvROK(sv))
6863             return sv_2io(SvRV(sv));
6864         gv = gv_fetchsv(sv, 0, SVt_PVIO);
6865         if (gv)
6866             io = GvIO(gv);
6867         else
6868             io = 0;
6869         if (!io)
6870             Perl_croak(aTHX_ "Bad filehandle: %"SVf, sv);
6871         break;
6872     }
6873     return io;
6874 }
6875
6876 /*
6877 =for apidoc sv_2cv
6878
6879 Using various gambits, try to get a CV from an SV; in addition, try if
6880 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
6881 The flags in C<lref> are passed to sv_fetchsv.
6882
6883 =cut
6884 */
6885
6886 CV *
6887 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
6888 {
6889     dVAR;
6890     GV *gv = Nullgv;
6891     CV *cv = Nullcv;
6892
6893     if (!sv)
6894         return *st = NULL, *gvp = Nullgv, Nullcv;
6895     switch (SvTYPE(sv)) {
6896     case SVt_PVCV:
6897         *st = CvSTASH(sv);
6898         *gvp = Nullgv;
6899         return (CV*)sv;
6900     case SVt_PVHV:
6901     case SVt_PVAV:
6902         *st = NULL;
6903         *gvp = Nullgv;
6904         return Nullcv;
6905     case SVt_PVGV:
6906         gv = (GV*)sv;
6907         *gvp = gv;
6908         *st = GvESTASH(gv);
6909         goto fix_gv;
6910
6911     default:
6912         SvGETMAGIC(sv);
6913         if (SvROK(sv)) {
6914             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
6915             tryAMAGICunDEREF(to_cv);
6916
6917             sv = SvRV(sv);
6918             if (SvTYPE(sv) == SVt_PVCV) {
6919                 cv = (CV*)sv;
6920                 *gvp = Nullgv;
6921                 *st = CvSTASH(cv);
6922                 return cv;
6923             }
6924             else if(isGV(sv))
6925                 gv = (GV*)sv;
6926             else
6927                 Perl_croak(aTHX_ "Not a subroutine reference");
6928         }
6929         else if (isGV(sv))
6930             gv = (GV*)sv;
6931         else
6932             gv = gv_fetchsv(sv, lref, SVt_PVCV);
6933         *gvp = gv;
6934         if (!gv) {
6935             *st = NULL;
6936             return Nullcv;
6937         }
6938         /* Some flags to gv_fetchsv mean don't really create the GV  */
6939         if (SvTYPE(gv) != SVt_PVGV) {
6940             *st = NULL;
6941             return NULL;
6942         }
6943         *st = GvESTASH(gv);
6944     fix_gv:
6945         if (lref && !GvCVu(gv)) {
6946             SV *tmpsv;
6947             ENTER;
6948             tmpsv = newSV(0);
6949             gv_efullname3(tmpsv, gv, Nullch);
6950             /* XXX this is probably not what they think they're getting.
6951              * It has the same effect as "sub name;", i.e. just a forward
6952              * declaration! */
6953             newSUB(start_subparse(FALSE, 0),
6954                    newSVOP(OP_CONST, 0, tmpsv),
6955                    Nullop,
6956                    Nullop);
6957             LEAVE;
6958             if (!GvCVu(gv))
6959                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
6960                            sv);
6961         }
6962         return GvCVu(gv);
6963     }
6964 }
6965
6966 /*
6967 =for apidoc sv_true
6968
6969 Returns true if the SV has a true value by Perl's rules.
6970 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
6971 instead use an in-line version.
6972
6973 =cut
6974 */
6975
6976 I32
6977 Perl_sv_true(pTHX_ register SV *sv)
6978 {
6979     if (!sv)
6980         return 0;
6981     if (SvPOK(sv)) {
6982         register const XPV* const tXpv = (XPV*)SvANY(sv);
6983         if (tXpv &&
6984                 (tXpv->xpv_cur > 1 ||
6985                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
6986             return 1;
6987         else
6988             return 0;
6989     }
6990     else {
6991         if (SvIOK(sv))
6992             return SvIVX(sv) != 0;
6993         else {
6994             if (SvNOK(sv))
6995                 return SvNVX(sv) != 0.0;
6996             else
6997                 return sv_2bool(sv);
6998         }
6999     }
7000 }
7001
7002 /*
7003 =for apidoc sv_pvn_force
7004
7005 Get a sensible string out of the SV somehow.
7006 A private implementation of the C<SvPV_force> macro for compilers which
7007 can't cope with complex macro expressions. Always use the macro instead.
7008
7009 =for apidoc sv_pvn_force_flags
7010
7011 Get a sensible string out of the SV somehow.
7012 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7013 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7014 implemented in terms of this function.
7015 You normally want to use the various wrapper macros instead: see
7016 C<SvPV_force> and C<SvPV_force_nomg>
7017
7018 =cut
7019 */
7020
7021 char *
7022 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7023 {
7024     dVAR;
7025     if (SvTHINKFIRST(sv) && !SvROK(sv))
7026         sv_force_normal_flags(sv, 0);
7027
7028     if (SvPOK(sv)) {
7029         if (lp)
7030             *lp = SvCUR(sv);
7031     }
7032     else {
7033         char *s;
7034         STRLEN len;
7035  
7036         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7037             const char * const ref = sv_reftype(sv,0);
7038             if (PL_op)
7039                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7040                            ref, OP_NAME(PL_op));
7041             else
7042                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7043         }
7044         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7045             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7046                 OP_NAME(PL_op));
7047         s = sv_2pv_flags(sv, &len, flags);
7048         if (lp)
7049             *lp = len;
7050
7051         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7052             if (SvROK(sv))
7053                 sv_unref(sv);
7054             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7055             SvGROW(sv, len + 1);
7056             Move(s,SvPVX(sv),len,char);
7057             SvCUR_set(sv, len);
7058             *SvEND(sv) = '\0';
7059         }
7060         if (!SvPOK(sv)) {
7061             SvPOK_on(sv);               /* validate pointer */
7062             SvTAINT(sv);
7063             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7064                                   PTR2UV(sv),SvPVX_const(sv)));
7065         }
7066     }
7067     return SvPVX_mutable(sv);
7068 }
7069
7070 /*
7071 =for apidoc sv_pvbyten_force
7072
7073 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7074
7075 =cut
7076 */
7077
7078 char *
7079 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7080 {
7081     sv_pvn_force(sv,lp);
7082     sv_utf8_downgrade(sv,0);
7083     *lp = SvCUR(sv);
7084     return SvPVX(sv);
7085 }
7086
7087 /*
7088 =for apidoc sv_pvutf8n_force
7089
7090 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7091
7092 =cut
7093 */
7094
7095 char *
7096 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7097 {
7098     sv_pvn_force(sv,lp);
7099     sv_utf8_upgrade(sv);
7100     *lp = SvCUR(sv);
7101     return SvPVX(sv);
7102 }
7103
7104 /*
7105 =for apidoc sv_reftype
7106
7107 Returns a string describing what the SV is a reference to.
7108
7109 =cut
7110 */
7111
7112 char *
7113 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7114 {
7115     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7116        inside return suggests a const propagation bug in g++.  */
7117     if (ob && SvOBJECT(sv)) {
7118         char * const name = HvNAME_get(SvSTASH(sv));
7119         return name ? name : (char *) "__ANON__";
7120     }
7121     else {
7122         switch (SvTYPE(sv)) {
7123         case SVt_NULL:
7124         case SVt_IV:
7125         case SVt_NV:
7126         case SVt_RV:
7127         case SVt_PV:
7128         case SVt_PVIV:
7129         case SVt_PVNV:
7130         case SVt_PVMG:
7131         case SVt_PVBM:
7132                                 if (SvVOK(sv))
7133                                     return "VSTRING";
7134                                 if (SvROK(sv))
7135                                     return "REF";
7136                                 else
7137                                     return "SCALAR";
7138
7139         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7140                                 /* tied lvalues should appear to be
7141                                  * scalars for backwards compatitbility */
7142                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7143                                     ? "SCALAR" : "LVALUE");
7144         case SVt_PVAV:          return "ARRAY";
7145         case SVt_PVHV:          return "HASH";
7146         case SVt_PVCV:          return "CODE";
7147         case SVt_PVGV:          return "GLOB";
7148         case SVt_PVFM:          return "FORMAT";
7149         case SVt_PVIO:          return "IO";
7150         default:                return "UNKNOWN";
7151         }
7152     }
7153 }
7154
7155 /*
7156 =for apidoc sv_isobject
7157
7158 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7159 object.  If the SV is not an RV, or if the object is not blessed, then this
7160 will return false.
7161
7162 =cut
7163 */
7164
7165 int
7166 Perl_sv_isobject(pTHX_ SV *sv)
7167 {
7168     if (!sv)
7169         return 0;
7170     SvGETMAGIC(sv);
7171     if (!SvROK(sv))
7172         return 0;
7173     sv = (SV*)SvRV(sv);
7174     if (!SvOBJECT(sv))
7175         return 0;
7176     return 1;
7177 }
7178
7179 /*
7180 =for apidoc sv_isa
7181
7182 Returns a boolean indicating whether the SV is blessed into the specified
7183 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7184 an inheritance relationship.
7185
7186 =cut
7187 */
7188
7189 int
7190 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7191 {
7192     const char *hvname;
7193     if (!sv)
7194         return 0;
7195     SvGETMAGIC(sv);
7196     if (!SvROK(sv))
7197         return 0;
7198     sv = (SV*)SvRV(sv);
7199     if (!SvOBJECT(sv))
7200         return 0;
7201     hvname = HvNAME_get(SvSTASH(sv));
7202     if (!hvname)
7203         return 0;
7204
7205     return strEQ(hvname, name);
7206 }
7207
7208 /*
7209 =for apidoc newSVrv
7210
7211 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7212 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7213 be blessed in the specified package.  The new SV is returned and its
7214 reference count is 1.
7215
7216 =cut
7217 */
7218
7219 SV*
7220 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7221 {
7222     dVAR;
7223     SV *sv;
7224
7225     new_SV(sv);
7226
7227     SV_CHECK_THINKFIRST_COW_DROP(rv);
7228     SvAMAGIC_off(rv);
7229
7230     if (SvTYPE(rv) >= SVt_PVMG) {
7231         const U32 refcnt = SvREFCNT(rv);
7232         SvREFCNT(rv) = 0;
7233         sv_clear(rv);
7234         SvFLAGS(rv) = 0;
7235         SvREFCNT(rv) = refcnt;
7236     }
7237
7238     if (SvTYPE(rv) < SVt_RV)
7239         sv_upgrade(rv, SVt_RV);
7240     else if (SvTYPE(rv) > SVt_RV) {
7241         SvPV_free(rv);
7242         SvCUR_set(rv, 0);
7243         SvLEN_set(rv, 0);
7244     }
7245
7246     SvOK_off(rv);
7247     SvRV_set(rv, sv);
7248     SvROK_on(rv);
7249
7250     if (classname) {
7251         HV* const stash = gv_stashpv(classname, TRUE);
7252         (void)sv_bless(rv, stash);
7253     }
7254     return sv;
7255 }
7256
7257 /*
7258 =for apidoc sv_setref_pv
7259
7260 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7261 argument will be upgraded to an RV.  That RV will be modified to point to
7262 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7263 into the SV.  The C<classname> argument indicates the package for the
7264 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7265 will have a reference count of 1, and the RV will be returned.
7266
7267 Do not use with other Perl types such as HV, AV, SV, CV, because those
7268 objects will become corrupted by the pointer copy process.
7269
7270 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7271
7272 =cut
7273 */
7274
7275 SV*
7276 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7277 {
7278     dVAR;
7279     if (!pv) {
7280         sv_setsv(rv, &PL_sv_undef);
7281         SvSETMAGIC(rv);
7282     }
7283     else
7284         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7285     return rv;
7286 }
7287
7288 /*
7289 =for apidoc sv_setref_iv
7290
7291 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7292 argument will be upgraded to an RV.  That RV will be modified to point to
7293 the new SV.  The C<classname> argument indicates the package for the
7294 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7295 will have a reference count of 1, and the RV will be returned.
7296
7297 =cut
7298 */
7299
7300 SV*
7301 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7302 {
7303     sv_setiv(newSVrv(rv,classname), iv);
7304     return rv;
7305 }
7306
7307 /*
7308 =for apidoc sv_setref_uv
7309
7310 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7311 argument will be upgraded to an RV.  That RV will be modified to point to
7312 the new SV.  The C<classname> argument indicates the package for the
7313 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7314 will have a reference count of 1, and the RV will be returned.
7315
7316 =cut
7317 */
7318
7319 SV*
7320 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7321 {
7322     sv_setuv(newSVrv(rv,classname), uv);
7323     return rv;
7324 }
7325
7326 /*
7327 =for apidoc sv_setref_nv
7328
7329 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7330 argument will be upgraded to an RV.  That RV will be modified to point to
7331 the new SV.  The C<classname> argument indicates the package for the
7332 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7333 will have a reference count of 1, and the RV will be returned.
7334
7335 =cut
7336 */
7337
7338 SV*
7339 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7340 {
7341     sv_setnv(newSVrv(rv,classname), nv);
7342     return rv;
7343 }
7344
7345 /*
7346 =for apidoc sv_setref_pvn
7347
7348 Copies a string into a new SV, optionally blessing the SV.  The length of the
7349 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7350 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7351 argument indicates the package for the blessing.  Set C<classname> to
7352 C<Nullch> to avoid the blessing.  The new SV will have a reference count
7353 of 1, and the RV will be returned.
7354
7355 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7356
7357 =cut
7358 */
7359
7360 SV*
7361 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7362 {
7363     sv_setpvn(newSVrv(rv,classname), pv, n);
7364     return rv;
7365 }
7366
7367 /*
7368 =for apidoc sv_bless
7369
7370 Blesses an SV into a specified package.  The SV must be an RV.  The package
7371 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7372 of the SV is unaffected.
7373
7374 =cut
7375 */
7376
7377 SV*
7378 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7379 {
7380     dVAR;
7381     SV *tmpRef;
7382     if (!SvROK(sv))
7383         Perl_croak(aTHX_ "Can't bless non-reference value");
7384     tmpRef = SvRV(sv);
7385     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
7386         if (SvREADONLY(tmpRef))
7387             Perl_croak(aTHX_ PL_no_modify);
7388         if (SvOBJECT(tmpRef)) {
7389             if (SvTYPE(tmpRef) != SVt_PVIO)
7390                 --PL_sv_objcount;
7391             SvREFCNT_dec(SvSTASH(tmpRef));
7392         }
7393     }
7394     SvOBJECT_on(tmpRef);
7395     if (SvTYPE(tmpRef) != SVt_PVIO)
7396         ++PL_sv_objcount;
7397     SvUPGRADE(tmpRef, SVt_PVMG);
7398     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc(stash));
7399
7400     if (Gv_AMG(stash))
7401         SvAMAGIC_on(sv);
7402     else
7403         SvAMAGIC_off(sv);
7404
7405     if(SvSMAGICAL(tmpRef))
7406         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
7407             mg_set(tmpRef);
7408
7409
7410
7411     return sv;
7412 }
7413
7414 /* Downgrades a PVGV to a PVMG.
7415  */
7416
7417 STATIC void
7418 S_sv_unglob(pTHX_ SV *sv)
7419 {
7420     dVAR;
7421     void *xpvmg;
7422
7423     assert(SvTYPE(sv) == SVt_PVGV);
7424     SvFAKE_off(sv);
7425     if (GvGP(sv))
7426         gp_free((GV*)sv);
7427     if (GvSTASH(sv)) {
7428         sv_del_backref((SV*)GvSTASH(sv), sv);
7429         GvSTASH(sv) = NULL;
7430     }
7431     sv_unmagic(sv, PERL_MAGIC_glob);
7432     Safefree(GvNAME(sv));
7433     GvMULTI_off(sv);
7434
7435     /* need to keep SvANY(sv) in the right arena */
7436     xpvmg = new_XPVMG();
7437     StructCopy(SvANY(sv), xpvmg, XPVMG);
7438     del_XPVGV(SvANY(sv));
7439     SvANY(sv) = xpvmg;
7440
7441     SvFLAGS(sv) &= ~SVTYPEMASK;
7442     SvFLAGS(sv) |= SVt_PVMG;
7443 }
7444
7445 /*
7446 =for apidoc sv_unref_flags
7447
7448 Unsets the RV status of the SV, and decrements the reference count of
7449 whatever was being referenced by the RV.  This can almost be thought of
7450 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
7451 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
7452 (otherwise the decrementing is conditional on the reference count being
7453 different from one or the reference being a readonly SV).
7454 See C<SvROK_off>.
7455
7456 =cut
7457 */
7458
7459 void
7460 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
7461 {
7462     SV* const target = SvRV(ref);
7463
7464     if (SvWEAKREF(ref)) {
7465         sv_del_backref(target, ref);
7466         SvWEAKREF_off(ref);
7467         SvRV_set(ref, NULL);
7468         return;
7469     }
7470     SvRV_set(ref, NULL);
7471     SvROK_off(ref);
7472     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
7473        assigned to as BEGIN {$a = \"Foo"} will fail.  */
7474     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
7475         SvREFCNT_dec(target);
7476     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
7477         sv_2mortal(target);     /* Schedule for freeing later */
7478 }
7479
7480 /*
7481 =for apidoc sv_untaint
7482
7483 Untaint an SV. Use C<SvTAINTED_off> instead.
7484 =cut
7485 */
7486
7487 void
7488 Perl_sv_untaint(pTHX_ SV *sv)
7489 {
7490     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
7491         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
7492         if (mg)
7493             mg->mg_len &= ~1;
7494     }
7495 }
7496
7497 /*
7498 =for apidoc sv_tainted
7499
7500 Test an SV for taintedness. Use C<SvTAINTED> instead.
7501 =cut
7502 */
7503
7504 bool
7505 Perl_sv_tainted(pTHX_ SV *sv)
7506 {
7507     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
7508         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
7509         if (mg && (mg->mg_len & 1) )
7510             return TRUE;
7511     }
7512     return FALSE;
7513 }
7514
7515 /*
7516 =for apidoc sv_setpviv
7517
7518 Copies an integer into the given SV, also updating its string value.
7519 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
7520
7521 =cut
7522 */
7523
7524 void
7525 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
7526 {
7527     char buf[TYPE_CHARS(UV)];
7528     char *ebuf;
7529     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
7530
7531     sv_setpvn(sv, ptr, ebuf - ptr);
7532 }
7533
7534 /*
7535 =for apidoc sv_setpviv_mg
7536
7537 Like C<sv_setpviv>, but also handles 'set' magic.
7538
7539 =cut
7540 */
7541
7542 void
7543 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
7544 {
7545     sv_setpviv(sv, iv);
7546     SvSETMAGIC(sv);
7547 }
7548
7549 #if defined(PERL_IMPLICIT_CONTEXT)
7550
7551 /* pTHX_ magic can't cope with varargs, so this is a no-context
7552  * version of the main function, (which may itself be aliased to us).
7553  * Don't access this version directly.
7554  */
7555
7556 void
7557 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
7558 {
7559     dTHX;
7560     va_list args;
7561     va_start(args, pat);
7562     sv_vsetpvf(sv, pat, &args);
7563     va_end(args);
7564 }
7565
7566 /* pTHX_ magic can't cope with varargs, so this is a no-context
7567  * version of the main function, (which may itself be aliased to us).
7568  * Don't access this version directly.
7569  */
7570
7571 void
7572 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
7573 {
7574     dTHX;
7575     va_list args;
7576     va_start(args, pat);
7577     sv_vsetpvf_mg(sv, pat, &args);
7578     va_end(args);
7579 }
7580 #endif
7581
7582 /*
7583 =for apidoc sv_setpvf
7584
7585 Works like C<sv_catpvf> but copies the text into the SV instead of
7586 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
7587
7588 =cut
7589 */
7590
7591 void
7592 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
7593 {
7594     va_list args;
7595     va_start(args, pat);
7596     sv_vsetpvf(sv, pat, &args);
7597     va_end(args);
7598 }
7599
7600 /*
7601 =for apidoc sv_vsetpvf
7602
7603 Works like C<sv_vcatpvf> but copies the text into the SV instead of
7604 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
7605
7606 Usually used via its frontend C<sv_setpvf>.
7607
7608 =cut
7609 */
7610
7611 void
7612 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
7613 {
7614     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7615 }
7616
7617 /*
7618 =for apidoc sv_setpvf_mg
7619
7620 Like C<sv_setpvf>, but also handles 'set' magic.
7621
7622 =cut
7623 */
7624
7625 void
7626 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
7627 {
7628     va_list args;
7629     va_start(args, pat);
7630     sv_vsetpvf_mg(sv, pat, &args);
7631     va_end(args);
7632 }
7633
7634 /*
7635 =for apidoc sv_vsetpvf_mg
7636
7637 Like C<sv_vsetpvf>, but also handles 'set' magic.
7638
7639 Usually used via its frontend C<sv_setpvf_mg>.
7640
7641 =cut
7642 */
7643
7644 void
7645 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
7646 {
7647     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7648     SvSETMAGIC(sv);
7649 }
7650
7651 #if defined(PERL_IMPLICIT_CONTEXT)
7652
7653 /* pTHX_ magic can't cope with varargs, so this is a no-context
7654  * version of the main function, (which may itself be aliased to us).
7655  * Don't access this version directly.
7656  */
7657
7658 void
7659 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
7660 {
7661     dTHX;
7662     va_list args;
7663     va_start(args, pat);
7664     sv_vcatpvf(sv, pat, &args);
7665     va_end(args);
7666 }
7667
7668 /* pTHX_ magic can't cope with varargs, so this is a no-context
7669  * version of the main function, (which may itself be aliased to us).
7670  * Don't access this version directly.
7671  */
7672
7673 void
7674 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
7675 {
7676     dTHX;
7677     va_list args;
7678     va_start(args, pat);
7679     sv_vcatpvf_mg(sv, pat, &args);
7680     va_end(args);
7681 }
7682 #endif
7683
7684 /*
7685 =for apidoc sv_catpvf
7686
7687 Processes its arguments like C<sprintf> and appends the formatted
7688 output to an SV.  If the appended data contains "wide" characters
7689 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
7690 and characters >255 formatted with %c), the original SV might get
7691 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
7692 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
7693 valid UTF-8; if the original SV was bytes, the pattern should be too.
7694
7695 =cut */
7696
7697 void
7698 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
7699 {
7700     va_list args;
7701     va_start(args, pat);
7702     sv_vcatpvf(sv, pat, &args);
7703     va_end(args);
7704 }
7705
7706 /*
7707 =for apidoc sv_vcatpvf
7708
7709 Processes its arguments like C<vsprintf> and appends the formatted output
7710 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
7711
7712 Usually used via its frontend C<sv_catpvf>.
7713
7714 =cut
7715 */
7716
7717 void
7718 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
7719 {
7720     sv_vcatpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7721 }
7722
7723 /*
7724 =for apidoc sv_catpvf_mg
7725
7726 Like C<sv_catpvf>, but also handles 'set' magic.
7727
7728 =cut
7729 */
7730
7731 void
7732 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
7733 {
7734     va_list args;
7735     va_start(args, pat);
7736     sv_vcatpvf_mg(sv, pat, &args);
7737     va_end(args);
7738 }
7739
7740 /*
7741 =for apidoc sv_vcatpvf_mg
7742
7743 Like C<sv_vcatpvf>, but also handles 'set' magic.
7744
7745 Usually used via its frontend C<sv_catpvf_mg>.
7746
7747 =cut
7748 */
7749
7750 void
7751 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
7752 {
7753     sv_vcatpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7754     SvSETMAGIC(sv);
7755 }
7756
7757 /*
7758 =for apidoc sv_vsetpvfn
7759
7760 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
7761 appending it.
7762
7763 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
7764
7765 =cut
7766 */
7767
7768 void
7769 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
7770 {
7771     sv_setpvn(sv, "", 0);
7772     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
7773 }
7774
7775 STATIC I32
7776 S_expect_number(pTHX_ char** pattern)
7777 {
7778     dVAR;
7779     I32 var = 0;
7780     switch (**pattern) {
7781     case '1': case '2': case '3':
7782     case '4': case '5': case '6':
7783     case '7': case '8': case '9':
7784         var = *(*pattern)++ - '0';
7785         while (isDIGIT(**pattern)) {
7786             I32 tmp = var * 10 + (*(*pattern)++ - '0');
7787             if (tmp < var)
7788                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_NAME(PL_op) : "sv_vcatpvfn"));
7789             var = tmp;
7790         }
7791     }
7792     return var;
7793 }
7794
7795 STATIC char *
7796 S_F0convert(NV nv, char *endbuf, STRLEN *len)
7797 {
7798     const int neg = nv < 0;
7799     UV uv;
7800
7801     if (neg)
7802         nv = -nv;
7803     if (nv < UV_MAX) {
7804         char *p = endbuf;
7805         nv += 0.5;
7806         uv = (UV)nv;
7807         if (uv & 1 && uv == nv)
7808             uv--;                       /* Round to even */
7809         do {
7810             const unsigned dig = uv % 10;
7811             *--p = '0' + dig;
7812         } while (uv /= 10);
7813         if (neg)
7814             *--p = '-';
7815         *len = endbuf - p;
7816         return p;
7817     }
7818     return Nullch;
7819 }
7820
7821
7822 /*
7823 =for apidoc sv_vcatpvfn
7824
7825 Processes its arguments like C<vsprintf> and appends the formatted output
7826 to an SV.  Uses an array of SVs if the C style variable argument list is
7827 missing (NULL).  When running with taint checks enabled, indicates via
7828 C<maybe_tainted> if results are untrustworthy (often due to the use of
7829 locales).
7830
7831 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
7832
7833 =cut
7834 */
7835
7836
7837 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
7838                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
7839                         vec_utf8 = DO_UTF8(vecsv);
7840
7841 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
7842
7843 void
7844 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
7845 {
7846     dVAR;
7847     char *p;
7848     char *q;
7849     const char *patend;
7850     STRLEN origlen;
7851     I32 svix = 0;
7852     static const char nullstr[] = "(null)";
7853     SV *argsv = Nullsv;
7854     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
7855     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
7856     SV *nsv = Nullsv;
7857     /* Times 4: a decimal digit takes more than 3 binary digits.
7858      * NV_DIG: mantissa takes than many decimal digits.
7859      * Plus 32: Playing safe. */
7860     char ebuf[IV_DIG * 4 + NV_DIG + 32];
7861     /* large enough for "%#.#f" --chip */
7862     /* what about long double NVs? --jhi */
7863
7864     PERL_UNUSED_ARG(maybe_tainted);
7865
7866     /* no matter what, this is a string now */
7867     (void)SvPV_force(sv, origlen);
7868
7869     /* special-case "", "%s", and "%-p" (SVf - see below) */
7870     if (patlen == 0)
7871         return;
7872     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
7873         if (args) {
7874             const char * const s = va_arg(*args, char*);
7875             sv_catpv(sv, s ? s : nullstr);
7876         }
7877         else if (svix < svmax) {
7878             sv_catsv(sv, *svargs);
7879         }
7880         return;
7881     }
7882     if (args && patlen == 3 && pat[0] == '%' &&
7883                 pat[1] == '-' && pat[2] == 'p') {
7884         argsv = va_arg(*args, SV*);
7885         sv_catsv(sv, argsv);
7886         return;
7887     }
7888
7889 #ifndef USE_LONG_DOUBLE
7890     /* special-case "%.<number>[gf]" */
7891     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
7892          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
7893         unsigned digits = 0;
7894         const char *pp;
7895
7896         pp = pat + 2;
7897         while (*pp >= '0' && *pp <= '9')
7898             digits = 10 * digits + (*pp++ - '0');
7899         if (pp - pat == (int)patlen - 1) {
7900             NV nv;
7901
7902             if (svix < svmax)
7903                 nv = SvNV(*svargs);
7904             else
7905                 return;
7906             if (*pp == 'g') {
7907                 /* Add check for digits != 0 because it seems that some
7908                    gconverts are buggy in this case, and we don't yet have
7909                    a Configure test for this.  */
7910                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
7911                      /* 0, point, slack */
7912                     Gconvert(nv, (int)digits, 0, ebuf);
7913                     sv_catpv(sv, ebuf);
7914                     if (*ebuf)  /* May return an empty string for digits==0 */
7915                         return;
7916                 }
7917             } else if (!digits) {
7918                 STRLEN l;
7919
7920                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
7921                     sv_catpvn(sv, p, l);
7922                     return;
7923                 }
7924             }
7925         }
7926     }
7927 #endif /* !USE_LONG_DOUBLE */
7928
7929     if (!args && svix < svmax && DO_UTF8(*svargs))
7930         has_utf8 = TRUE;
7931
7932     patend = (char*)pat + patlen;
7933     for (p = (char*)pat; p < patend; p = q) {
7934         bool alt = FALSE;
7935         bool left = FALSE;
7936         bool vectorize = FALSE;
7937         bool vectorarg = FALSE;
7938         bool vec_utf8 = FALSE;
7939         char fill = ' ';
7940         char plus = 0;
7941         char intsize = 0;
7942         STRLEN width = 0;
7943         STRLEN zeros = 0;
7944         bool has_precis = FALSE;
7945         STRLEN precis = 0;
7946         const I32 osvix = svix;
7947         bool is_utf8 = FALSE;  /* is this item utf8?   */
7948 #ifdef HAS_LDBL_SPRINTF_BUG
7949         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
7950            with sfio - Allen <allens@cpan.org> */
7951         bool fix_ldbl_sprintf_bug = FALSE;
7952 #endif
7953
7954         char esignbuf[4];
7955         U8 utf8buf[UTF8_MAXBYTES+1];
7956         STRLEN esignlen = 0;
7957
7958         const char *eptr = Nullch;
7959         STRLEN elen = 0;
7960         SV *vecsv = Nullsv;
7961         const U8 *vecstr = Null(U8*);
7962         STRLEN veclen = 0;
7963         char c = 0;
7964         int i;
7965         unsigned base = 0;
7966         IV iv = 0;
7967         UV uv = 0;
7968         /* we need a long double target in case HAS_LONG_DOUBLE but
7969            not USE_LONG_DOUBLE
7970         */
7971 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
7972         long double nv;
7973 #else
7974         NV nv;
7975 #endif
7976         STRLEN have;
7977         STRLEN need;
7978         STRLEN gap;
7979         const char *dotstr = ".";
7980         STRLEN dotstrlen = 1;
7981         I32 efix = 0; /* explicit format parameter index */
7982         I32 ewix = 0; /* explicit width index */
7983         I32 epix = 0; /* explicit precision index */
7984         I32 evix = 0; /* explicit vector index */
7985         bool asterisk = FALSE;
7986
7987         /* echo everything up to the next format specification */
7988         for (q = p; q < patend && *q != '%'; ++q) ;
7989         if (q > p) {
7990             if (has_utf8 && !pat_utf8)
7991                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
7992             else
7993                 sv_catpvn(sv, p, q - p);
7994             p = q;
7995         }
7996         if (q++ >= patend)
7997             break;
7998
7999 /*
8000     We allow format specification elements in this order:
8001         \d+\$              explicit format parameter index
8002         [-+ 0#]+           flags
8003         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8004         0                  flag (as above): repeated to allow "v02"     
8005         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8006         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8007         [hlqLV]            size
8008     [%bcdefginopsuxDFOUX] format (mandatory)
8009 */
8010
8011         if (args) {
8012 /*  
8013         As of perl5.9.3, printf format checking is on by default.
8014         Internally, perl uses %p formats to provide an escape to
8015         some extended formatting.  This block deals with those
8016         extensions: if it does not match, (char*)q is reset and
8017         the normal format processing code is used.
8018
8019         Currently defined extensions are:
8020                 %p              include pointer address (standard)      
8021                 %-p     (SVf)   include an SV (previously %_)
8022                 %-<num>p        include an SV with precision <num>      
8023                 %1p     (VDf)   include a v-string (as %vd)
8024                 %<num>p         reserved for future extensions
8025
8026         Robin Barker 2005-07-14
8027 */
8028             char* r = q; 
8029             bool sv = FALSE;    
8030             STRLEN n = 0;
8031             if (*q == '-')
8032                 sv = *q++;
8033             n = expect_number(&q);
8034             if (*q++ == 'p') {
8035                 if (sv) {                       /* SVf */
8036                     if (n) {
8037                         precis = n;
8038                         has_precis = TRUE;
8039                     }
8040                     argsv = va_arg(*args, SV*);
8041                     eptr = SvPVx_const(argsv, elen);
8042                     if (DO_UTF8(argsv))
8043                         is_utf8 = TRUE;
8044                     goto string;
8045                 }
8046 #if vdNUMBER
8047                 else if (n == vdNUMBER) {       /* VDf */
8048                     vectorize = TRUE;
8049                     VECTORIZE_ARGS
8050                     goto format_vd;
8051                 }
8052 #endif
8053                 else if (n) {
8054                     if (ckWARN_d(WARN_INTERNAL))
8055                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8056                         "internal %%<num>p might conflict with future printf extensions");
8057                 }
8058             }
8059             q = r; 
8060         }
8061
8062         if ( (width = expect_number(&q)) ) {
8063             if (*q == '$') {
8064                 ++q;
8065                 efix = width;
8066             } else {
8067                 goto gotwidth;
8068             }
8069         }
8070
8071         /* FLAGS */
8072
8073         while (*q) {
8074             switch (*q) {
8075             case ' ':
8076             case '+':
8077                 plus = *q++;
8078                 continue;
8079
8080             case '-':
8081                 left = TRUE;
8082                 q++;
8083                 continue;
8084
8085             case '0':
8086                 fill = *q++;
8087                 continue;
8088
8089             case '#':
8090                 alt = TRUE;
8091                 q++;
8092                 continue;
8093
8094             default:
8095                 break;
8096             }
8097             break;
8098         }
8099
8100       tryasterisk:
8101         if (*q == '*') {
8102             q++;
8103             if ( (ewix = expect_number(&q)) )
8104                 if (*q++ != '$')
8105                     goto unknown;
8106             asterisk = TRUE;
8107         }
8108         if (*q == 'v') {
8109             q++;
8110             if (vectorize)
8111                 goto unknown;
8112             if ((vectorarg = asterisk)) {
8113                 evix = ewix;
8114                 ewix = 0;
8115                 asterisk = FALSE;
8116             }
8117             vectorize = TRUE;
8118             goto tryasterisk;
8119         }
8120
8121         if (!asterisk)
8122         {
8123             if( *q == '0' )
8124                 fill = *q++;
8125             width = expect_number(&q);
8126         }
8127
8128         if (vectorize) {
8129             if (vectorarg) {
8130                 if (args)
8131                     vecsv = va_arg(*args, SV*);
8132                 else if (evix) {
8133                     vecsv = (evix > 0 && evix <= svmax)
8134                         ? svargs[evix-1] : &PL_sv_undef;
8135                 } else {
8136                     vecsv = svix < svmax ? svargs[svix++] : &PL_sv_undef;
8137                 }
8138                 dotstr = SvPV_const(vecsv, dotstrlen);
8139                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
8140                    bad with tied or overloaded values that return UTF8.  */
8141                 if (DO_UTF8(vecsv))
8142                     is_utf8 = TRUE;
8143                 else if (has_utf8) {
8144                     vecsv = sv_mortalcopy(vecsv);
8145                     sv_utf8_upgrade(vecsv);
8146                     dotstr = SvPV_const(vecsv, dotstrlen);
8147                     is_utf8 = TRUE;
8148                 }                   
8149             }
8150             if (args) {
8151                 VECTORIZE_ARGS
8152             }
8153             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
8154                 vecsv = svargs[efix ? efix-1 : svix++];
8155                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8156                 vec_utf8 = DO_UTF8(vecsv);
8157
8158                 /* if this is a version object, we need to convert
8159                  * back into v-string notation and then let the
8160                  * vectorize happen normally
8161                  */
8162                 if (sv_derived_from(vecsv, "version")) {
8163                     char *version = savesvpv(vecsv);
8164                     if ( hv_exists((HV*)SvRV(vecsv), "alpha", 5 ) ) {
8165                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8166                         "vector argument not supported with alpha versions");
8167                         goto unknown;
8168                     }
8169                     vecsv = sv_newmortal();
8170                     /* scan_vstring is expected to be called during
8171                      * tokenization, so we need to fake up the end
8172                      * of the buffer for it
8173                      */
8174                     PL_bufend = version + veclen;
8175                     scan_vstring(version, vecsv);
8176                     vecstr = (U8*)SvPV_const(vecsv, veclen);
8177                     vec_utf8 = DO_UTF8(vecsv);
8178                     Safefree(version);
8179                 }
8180             }
8181             else {
8182                 vecstr = (U8*)"";
8183                 veclen = 0;
8184             }
8185         }
8186
8187         if (asterisk) {
8188             if (args)
8189                 i = va_arg(*args, int);
8190             else
8191                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8192                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8193             left |= (i < 0);
8194             width = (i < 0) ? -i : i;
8195         }
8196       gotwidth:
8197
8198         /* PRECISION */
8199
8200         if (*q == '.') {
8201             q++;
8202             if (*q == '*') {
8203                 q++;
8204                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
8205                     goto unknown;
8206                 /* XXX: todo, support specified precision parameter */
8207                 if (epix)
8208                     goto unknown;
8209                 if (args)
8210                     i = va_arg(*args, int);
8211                 else
8212                     i = (ewix ? ewix <= svmax : svix < svmax)
8213                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8214                 precis = (i < 0) ? 0 : i;
8215             }
8216             else {
8217                 precis = 0;
8218                 while (isDIGIT(*q))
8219                     precis = precis * 10 + (*q++ - '0');
8220             }
8221             has_precis = TRUE;
8222         }
8223
8224         /* SIZE */
8225
8226         switch (*q) {
8227 #ifdef WIN32
8228         case 'I':                       /* Ix, I32x, and I64x */
8229 #  ifdef WIN64
8230             if (q[1] == '6' && q[2] == '4') {
8231                 q += 3;
8232                 intsize = 'q';
8233                 break;
8234             }
8235 #  endif
8236             if (q[1] == '3' && q[2] == '2') {
8237                 q += 3;
8238                 break;
8239             }
8240 #  ifdef WIN64
8241             intsize = 'q';
8242 #  endif
8243             q++;
8244             break;
8245 #endif
8246 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8247         case 'L':                       /* Ld */
8248             /* FALL THROUGH */
8249 #ifdef HAS_QUAD
8250         case 'q':                       /* qd */
8251 #endif
8252             intsize = 'q';
8253             q++;
8254             break;
8255 #endif
8256         case 'l':
8257 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8258             if (*(q + 1) == 'l') {      /* lld, llf */
8259                 intsize = 'q';
8260                 q += 2;
8261                 break;
8262              }
8263 #endif
8264             /* FALL THROUGH */
8265         case 'h':
8266             /* FALL THROUGH */
8267         case 'V':
8268             intsize = *q++;
8269             break;
8270         }
8271
8272         /* CONVERSION */
8273
8274         if (*q == '%') {
8275             eptr = q++;
8276             elen = 1;
8277             if (vectorize) {
8278                 c = '%';
8279                 goto unknown;
8280             }
8281             goto string;
8282         }
8283
8284         if (!vectorize && !args) {
8285             if (efix) {
8286                 const I32 i = efix-1;
8287                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8288             } else {
8289                 argsv = (svix >= 0 && svix < svmax)
8290                     ? svargs[svix++] : &PL_sv_undef;
8291             }
8292         }
8293
8294         switch (c = *q++) {
8295
8296             /* STRINGS */
8297
8298         case 'c':
8299             if (vectorize)
8300                 goto unknown;
8301             uv = (args) ? va_arg(*args, int) : SvIVx(argsv);
8302             if ((uv > 255 ||
8303                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8304                 && !IN_BYTES) {
8305                 eptr = (char*)utf8buf;
8306                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8307                 is_utf8 = TRUE;
8308             }
8309             else {
8310                 c = (char)uv;
8311                 eptr = &c;
8312                 elen = 1;
8313             }
8314             goto string;
8315
8316         case 's':
8317             if (vectorize)
8318                 goto unknown;
8319             if (args) {
8320                 eptr = va_arg(*args, char*);
8321                 if (eptr)
8322 #ifdef MACOS_TRADITIONAL
8323                   /* On MacOS, %#s format is used for Pascal strings */
8324                   if (alt)
8325                     elen = *eptr++;
8326                   else
8327 #endif
8328                     elen = strlen(eptr);
8329                 else {
8330                     eptr = (char *)nullstr;
8331                     elen = sizeof nullstr - 1;
8332                 }
8333             }
8334             else {
8335                 eptr = SvPVx_const(argsv, elen);
8336                 if (DO_UTF8(argsv)) {
8337                     if (has_precis && precis < elen) {
8338                         I32 p = precis;
8339                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8340                         precis = p;
8341                     }
8342                     if (width) { /* fudge width (can't fudge elen) */
8343                         width += elen - sv_len_utf8(argsv);
8344                     }
8345                     is_utf8 = TRUE;
8346                 }
8347             }
8348
8349         string:
8350             if (has_precis && elen > precis)
8351                 elen = precis;
8352             break;
8353
8354             /* INTEGERS */
8355
8356         case 'p':
8357             if (alt || vectorize)
8358                 goto unknown;
8359             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8360             base = 16;
8361             goto integer;
8362
8363         case 'D':
8364 #ifdef IV_IS_QUAD
8365             intsize = 'q';
8366 #else
8367             intsize = 'l';
8368 #endif
8369             /* FALL THROUGH */
8370         case 'd':
8371         case 'i':
8372 #if vdNUMBER
8373         format_vd:
8374 #endif
8375             if (vectorize) {
8376                 STRLEN ulen;
8377                 if (!veclen)
8378                     continue;
8379                 if (vec_utf8)
8380                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8381                                         UTF8_ALLOW_ANYUV);
8382                 else {
8383                     uv = *vecstr;
8384                     ulen = 1;
8385                 }
8386                 vecstr += ulen;
8387                 veclen -= ulen;
8388                 if (plus)
8389                      esignbuf[esignlen++] = plus;
8390             }
8391             else if (args) {
8392                 switch (intsize) {
8393                 case 'h':       iv = (short)va_arg(*args, int); break;
8394                 case 'l':       iv = va_arg(*args, long); break;
8395                 case 'V':       iv = va_arg(*args, IV); break;
8396                 default:        iv = va_arg(*args, int); break;
8397 #ifdef HAS_QUAD
8398                 case 'q':       iv = va_arg(*args, Quad_t); break;
8399 #endif
8400                 }
8401             }
8402             else {
8403                 IV tiv = SvIVx(argsv); /* work around GCC bug #13488 */
8404                 switch (intsize) {
8405                 case 'h':       iv = (short)tiv; break;
8406                 case 'l':       iv = (long)tiv; break;
8407                 case 'V':
8408                 default:        iv = tiv; break;
8409 #ifdef HAS_QUAD
8410                 case 'q':       iv = (Quad_t)tiv; break;
8411 #endif
8412                 }
8413             }
8414             if ( !vectorize )   /* we already set uv above */
8415             {
8416                 if (iv >= 0) {
8417                     uv = iv;
8418                     if (plus)
8419                         esignbuf[esignlen++] = plus;
8420                 }
8421                 else {
8422                     uv = -iv;
8423                     esignbuf[esignlen++] = '-';
8424                 }
8425             }
8426             base = 10;
8427             goto integer;
8428
8429         case 'U':
8430 #ifdef IV_IS_QUAD
8431             intsize = 'q';
8432 #else
8433             intsize = 'l';
8434 #endif
8435             /* FALL THROUGH */
8436         case 'u':
8437             base = 10;
8438             goto uns_integer;
8439
8440         case 'b':
8441             base = 2;
8442             goto uns_integer;
8443
8444         case 'O':
8445 #ifdef IV_IS_QUAD
8446             intsize = 'q';
8447 #else
8448             intsize = 'l';
8449 #endif
8450             /* FALL THROUGH */
8451         case 'o':
8452             base = 8;
8453             goto uns_integer;
8454
8455         case 'X':
8456         case 'x':
8457             base = 16;
8458
8459         uns_integer:
8460             if (vectorize) {
8461                 STRLEN ulen;
8462         vector:
8463                 if (!veclen)
8464                     continue;
8465                 if (vec_utf8)
8466                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8467                                         UTF8_ALLOW_ANYUV);
8468                 else {
8469                     uv = *vecstr;
8470                     ulen = 1;
8471                 }
8472                 vecstr += ulen;
8473                 veclen -= ulen;
8474             }
8475             else if (args) {
8476                 switch (intsize) {
8477                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
8478                 case 'l':  uv = va_arg(*args, unsigned long); break;
8479                 case 'V':  uv = va_arg(*args, UV); break;
8480                 default:   uv = va_arg(*args, unsigned); break;
8481 #ifdef HAS_QUAD
8482                 case 'q':  uv = va_arg(*args, Uquad_t); break;
8483 #endif
8484                 }
8485             }
8486             else {
8487                 UV tuv = SvUVx(argsv); /* work around GCC bug #13488 */
8488                 switch (intsize) {
8489                 case 'h':       uv = (unsigned short)tuv; break;
8490                 case 'l':       uv = (unsigned long)tuv; break;
8491                 case 'V':
8492                 default:        uv = tuv; break;
8493 #ifdef HAS_QUAD
8494                 case 'q':       uv = (Uquad_t)tuv; break;
8495 #endif
8496                 }
8497             }
8498
8499         integer:
8500             {
8501                 char *ptr = ebuf + sizeof ebuf;
8502                 switch (base) {
8503                     unsigned dig;
8504                 case 16:
8505                     if (!uv)
8506                         alt = FALSE;
8507                     p = (char*)((c == 'X')
8508                                 ? "0123456789ABCDEF" : "0123456789abcdef");
8509                     do {
8510                         dig = uv & 15;
8511                         *--ptr = p[dig];
8512                     } while (uv >>= 4);
8513                     if (alt) {
8514                         esignbuf[esignlen++] = '0';
8515                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
8516                     }
8517                     break;
8518                 case 8:
8519                     do {
8520                         dig = uv & 7;
8521                         *--ptr = '0' + dig;
8522                     } while (uv >>= 3);
8523                     if (alt && *ptr != '0')
8524                         *--ptr = '0';
8525                     break;
8526                 case 2:
8527                     if (!uv)
8528                         alt = FALSE;
8529                     do {
8530                         dig = uv & 1;
8531                         *--ptr = '0' + dig;
8532                     } while (uv >>= 1);
8533                     if (alt) {
8534                         esignbuf[esignlen++] = '0';
8535                         esignbuf[esignlen++] = 'b';
8536                     }
8537                     break;
8538                 default:                /* it had better be ten or less */
8539                     do {
8540                         dig = uv % base;
8541                         *--ptr = '0' + dig;
8542                     } while (uv /= base);
8543                     break;
8544                 }
8545                 elen = (ebuf + sizeof ebuf) - ptr;
8546                 eptr = ptr;
8547                 if (has_precis) {
8548                     if (precis > elen)
8549                         zeros = precis - elen;
8550                     else if (precis == 0 && elen == 1 && *eptr == '0')
8551                         elen = 0;
8552                 }
8553             }
8554             break;
8555
8556             /* FLOATING POINT */
8557
8558         case 'F':
8559             c = 'f';            /* maybe %F isn't supported here */
8560             /* FALL THROUGH */
8561         case 'e': case 'E':
8562         case 'f':
8563         case 'g': case 'G':
8564             if (vectorize)
8565                 goto unknown;
8566
8567             /* This is evil, but floating point is even more evil */
8568
8569             /* for SV-style calling, we can only get NV
8570                for C-style calling, we assume %f is double;
8571                for simplicity we allow any of %Lf, %llf, %qf for long double
8572             */
8573             switch (intsize) {
8574             case 'V':
8575 #if defined(USE_LONG_DOUBLE)
8576                 intsize = 'q';
8577 #endif
8578                 break;
8579 /* [perl #20339] - we should accept and ignore %lf rather than die */
8580             case 'l':
8581                 /* FALL THROUGH */
8582             default:
8583 #if defined(USE_LONG_DOUBLE)
8584                 intsize = args ? 0 : 'q';
8585 #endif
8586                 break;
8587             case 'q':
8588 #if defined(HAS_LONG_DOUBLE)
8589                 break;
8590 #else
8591                 /* FALL THROUGH */
8592 #endif
8593             case 'h':
8594                 goto unknown;
8595             }
8596
8597             /* now we need (long double) if intsize == 'q', else (double) */
8598             nv = (args) ?
8599 #if LONG_DOUBLESIZE > DOUBLESIZE
8600                 intsize == 'q' ?
8601                     va_arg(*args, long double) :
8602                     va_arg(*args, double)
8603 #else
8604                     va_arg(*args, double)
8605 #endif
8606                 : SvNVx(argsv);
8607
8608             need = 0;
8609             if (c != 'e' && c != 'E') {
8610                 i = PERL_INT_MIN;
8611                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
8612                    will cast our (long double) to (double) */
8613                 (void)Perl_frexp(nv, &i);
8614                 if (i == PERL_INT_MIN)
8615                     Perl_die(aTHX_ "panic: frexp");
8616                 if (i > 0)
8617                     need = BIT_DIGITS(i);
8618             }
8619             need += has_precis ? precis : 6; /* known default */
8620
8621             if (need < width)
8622                 need = width;
8623
8624 #ifdef HAS_LDBL_SPRINTF_BUG
8625             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8626                with sfio - Allen <allens@cpan.org> */
8627
8628 #  ifdef DBL_MAX
8629 #    define MY_DBL_MAX DBL_MAX
8630 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
8631 #    if DOUBLESIZE >= 8
8632 #      define MY_DBL_MAX 1.7976931348623157E+308L
8633 #    else
8634 #      define MY_DBL_MAX 3.40282347E+38L
8635 #    endif
8636 #  endif
8637
8638 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
8639 #    define MY_DBL_MAX_BUG 1L
8640 #  else
8641 #    define MY_DBL_MAX_BUG MY_DBL_MAX
8642 #  endif
8643
8644 #  ifdef DBL_MIN
8645 #    define MY_DBL_MIN DBL_MIN
8646 #  else  /* XXX guessing! -Allen */
8647 #    if DOUBLESIZE >= 8
8648 #      define MY_DBL_MIN 2.2250738585072014E-308L
8649 #    else
8650 #      define MY_DBL_MIN 1.17549435E-38L
8651 #    endif
8652 #  endif
8653
8654             if ((intsize == 'q') && (c == 'f') &&
8655                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
8656                 (need < DBL_DIG)) {
8657                 /* it's going to be short enough that
8658                  * long double precision is not needed */
8659
8660                 if ((nv <= 0L) && (nv >= -0L))
8661                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
8662                 else {
8663                     /* would use Perl_fp_class as a double-check but not
8664                      * functional on IRIX - see perl.h comments */
8665
8666                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
8667                         /* It's within the range that a double can represent */
8668 #if defined(DBL_MAX) && !defined(DBL_MIN)
8669                         if ((nv >= ((long double)1/DBL_MAX)) ||
8670                             (nv <= (-(long double)1/DBL_MAX)))
8671 #endif
8672                         fix_ldbl_sprintf_bug = TRUE;
8673                     }
8674                 }
8675                 if (fix_ldbl_sprintf_bug == TRUE) {
8676                     double temp;
8677
8678                     intsize = 0;
8679                     temp = (double)nv;
8680                     nv = (NV)temp;
8681                 }
8682             }
8683
8684 #  undef MY_DBL_MAX
8685 #  undef MY_DBL_MAX_BUG
8686 #  undef MY_DBL_MIN
8687
8688 #endif /* HAS_LDBL_SPRINTF_BUG */
8689
8690             need += 20; /* fudge factor */
8691             if (PL_efloatsize < need) {
8692                 Safefree(PL_efloatbuf);
8693                 PL_efloatsize = need + 20; /* more fudge */
8694                 Newx(PL_efloatbuf, PL_efloatsize, char);
8695                 PL_efloatbuf[0] = '\0';
8696             }
8697
8698             if ( !(width || left || plus || alt) && fill != '0'
8699                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
8700                 /* See earlier comment about buggy Gconvert when digits,
8701                    aka precis is 0  */
8702                 if ( c == 'g' && precis) {
8703                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
8704                     /* May return an empty string for digits==0 */
8705                     if (*PL_efloatbuf) {
8706                         elen = strlen(PL_efloatbuf);
8707                         goto float_converted;
8708                     }
8709                 } else if ( c == 'f' && !precis) {
8710                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
8711                         break;
8712                 }
8713             }
8714             {
8715                 char *ptr = ebuf + sizeof ebuf;
8716                 *--ptr = '\0';
8717                 *--ptr = c;
8718                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
8719 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
8720                 if (intsize == 'q') {
8721                     /* Copy the one or more characters in a long double
8722                      * format before the 'base' ([efgEFG]) character to
8723                      * the format string. */
8724                     static char const prifldbl[] = PERL_PRIfldbl;
8725                     char const *p = prifldbl + sizeof(prifldbl) - 3;
8726                     while (p >= prifldbl) { *--ptr = *p--; }
8727                 }
8728 #endif
8729                 if (has_precis) {
8730                     base = precis;
8731                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
8732                     *--ptr = '.';
8733                 }
8734                 if (width) {
8735                     base = width;
8736                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
8737                 }
8738                 if (fill == '0')
8739                     *--ptr = fill;
8740                 if (left)
8741                     *--ptr = '-';
8742                 if (plus)
8743                     *--ptr = plus;
8744                 if (alt)
8745                     *--ptr = '#';
8746                 *--ptr = '%';
8747
8748                 /* No taint.  Otherwise we are in the strange situation
8749                  * where printf() taints but print($float) doesn't.
8750                  * --jhi */
8751 #if defined(HAS_LONG_DOUBLE)
8752                 elen = ((intsize == 'q')
8753                         ? my_sprintf(PL_efloatbuf, ptr, nv)
8754                         : my_sprintf(PL_efloatbuf, ptr, (double)nv));
8755 #else
8756                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
8757 #endif
8758             }
8759         float_converted:
8760             eptr = PL_efloatbuf;
8761             break;
8762
8763             /* SPECIAL */
8764
8765         case 'n':
8766             if (vectorize)
8767                 goto unknown;
8768             i = SvCUR(sv) - origlen;
8769             if (args) {
8770                 switch (intsize) {
8771                 case 'h':       *(va_arg(*args, short*)) = i; break;
8772                 default:        *(va_arg(*args, int*)) = i; break;
8773                 case 'l':       *(va_arg(*args, long*)) = i; break;
8774                 case 'V':       *(va_arg(*args, IV*)) = i; break;
8775 #ifdef HAS_QUAD
8776                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
8777 #endif
8778                 }
8779             }
8780             else
8781                 sv_setuv_mg(argsv, (UV)i);
8782             continue;   /* not "break" */
8783
8784             /* UNKNOWN */
8785
8786         default:
8787       unknown:
8788             if (!args
8789                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
8790                 && ckWARN(WARN_PRINTF))
8791             {
8792                 SV * const msg = sv_newmortal();
8793                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
8794                           (PL_op->op_type == OP_PRTF) ? "" : "s");
8795                 if (c) {
8796                     if (isPRINT(c))
8797                         Perl_sv_catpvf(aTHX_ msg,
8798                                        "\"%%%c\"", c & 0xFF);
8799                     else
8800                         Perl_sv_catpvf(aTHX_ msg,
8801                                        "\"%%\\%03"UVof"\"",
8802                                        (UV)c & 0xFF);
8803                 } else
8804                     sv_catpvs(msg, "end of string");
8805                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, msg); /* yes, this is reentrant */
8806             }
8807
8808             /* output mangled stuff ... */
8809             if (c == '\0')
8810                 --q;
8811             eptr = p;
8812             elen = q - p;
8813
8814             /* ... right here, because formatting flags should not apply */
8815             SvGROW(sv, SvCUR(sv) + elen + 1);
8816             p = SvEND(sv);
8817             Copy(eptr, p, elen, char);
8818             p += elen;
8819             *p = '\0';
8820             SvCUR_set(sv, p - SvPVX_const(sv));
8821             svix = osvix;
8822             continue;   /* not "break" */
8823         }
8824
8825         /* calculate width before utf8_upgrade changes it */
8826         have = esignlen + zeros + elen;
8827         if (have < zeros)
8828             Perl_croak_nocontext(PL_memory_wrap);
8829
8830         if (is_utf8 != has_utf8) {
8831              if (is_utf8) {
8832                   if (SvCUR(sv))
8833                        sv_utf8_upgrade(sv);
8834              }
8835              else {
8836                   SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
8837                   sv_utf8_upgrade(nsv);
8838                   eptr = SvPVX_const(nsv);
8839                   elen = SvCUR(nsv);
8840              }
8841              SvGROW(sv, SvCUR(sv) + elen + 1);
8842              p = SvEND(sv);
8843              *p = '\0';
8844         }
8845
8846         need = (have > width ? have : width);
8847         gap = need - have;
8848
8849         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
8850             Perl_croak_nocontext(PL_memory_wrap);
8851         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
8852         p = SvEND(sv);
8853         if (esignlen && fill == '0') {
8854             int i;
8855             for (i = 0; i < (int)esignlen; i++)
8856                 *p++ = esignbuf[i];
8857         }
8858         if (gap && !left) {
8859             memset(p, fill, gap);
8860             p += gap;
8861         }
8862         if (esignlen && fill != '0') {
8863             int i;
8864             for (i = 0; i < (int)esignlen; i++)
8865                 *p++ = esignbuf[i];
8866         }
8867         if (zeros) {
8868             int i;
8869             for (i = zeros; i; i--)
8870                 *p++ = '0';
8871         }
8872         if (elen) {
8873             Copy(eptr, p, elen, char);
8874             p += elen;
8875         }
8876         if (gap && left) {
8877             memset(p, ' ', gap);
8878             p += gap;
8879         }
8880         if (vectorize) {
8881             if (veclen) {
8882                 Copy(dotstr, p, dotstrlen, char);
8883                 p += dotstrlen;
8884             }
8885             else
8886                 vectorize = FALSE;              /* done iterating over vecstr */
8887         }
8888         if (is_utf8)
8889             has_utf8 = TRUE;
8890         if (has_utf8)
8891             SvUTF8_on(sv);
8892         *p = '\0';
8893         SvCUR_set(sv, p - SvPVX_const(sv));
8894         if (vectorize) {
8895             esignlen = 0;
8896             goto vector;
8897         }
8898     }
8899 }
8900
8901 /* =========================================================================
8902
8903 =head1 Cloning an interpreter
8904
8905 All the macros and functions in this section are for the private use of
8906 the main function, perl_clone().
8907
8908 The foo_dup() functions make an exact copy of an existing foo thinngy.
8909 During the course of a cloning, a hash table is used to map old addresses
8910 to new addresses. The table is created and manipulated with the
8911 ptr_table_* functions.
8912
8913 =cut
8914
8915 ============================================================================*/
8916
8917
8918 #if defined(USE_ITHREADS)
8919
8920 #ifndef GpREFCNT_inc
8921 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
8922 #endif
8923
8924
8925 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
8926 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
8927 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8928 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
8929 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8930 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
8931 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8932 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
8933 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
8934 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
8935 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8936 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
8937 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
8938
8939
8940 /* Duplicate a regexp. Required reading: pregcomp() and pregfree() in
8941    regcomp.c. AMS 20010712 */
8942
8943 REGEXP *
8944 Perl_re_dup(pTHX_ const REGEXP *r, CLONE_PARAMS *param)
8945 {
8946     dVAR;
8947     REGEXP *ret;
8948     int i, len, npar;
8949     struct reg_substr_datum *s;
8950
8951     if (!r)
8952         return (REGEXP *)NULL;
8953
8954     if ((ret = (REGEXP *)ptr_table_fetch(PL_ptr_table, r)))
8955         return ret;
8956
8957     len = r->offsets[0];
8958     npar = r->nparens+1;
8959
8960     Newxc(ret, sizeof(regexp) + (len+1)*sizeof(regnode), char, regexp);
8961     Copy(r->program, ret->program, len+1, regnode);
8962
8963     Newx(ret->startp, npar, I32);
8964     Copy(r->startp, ret->startp, npar, I32);
8965     Newx(ret->endp, npar, I32);
8966     Copy(r->startp, ret->startp, npar, I32);
8967
8968     Newx(ret->substrs, 1, struct reg_substr_data);
8969     for (s = ret->substrs->data, i = 0; i < 3; i++, s++) {
8970         s->min_offset = r->substrs->data[i].min_offset;
8971         s->max_offset = r->substrs->data[i].max_offset;
8972         s->substr     = sv_dup_inc(r->substrs->data[i].substr, param);
8973         s->utf8_substr = sv_dup_inc(r->substrs->data[i].utf8_substr, param);
8974     }
8975
8976     ret->regstclass = NULL;
8977     if (r->data) {
8978         struct reg_data *d;
8979         const int count = r->data->count;
8980         int i;
8981
8982         Newxc(d, sizeof(struct reg_data) + count*sizeof(void *),
8983                 char, struct reg_data);
8984         Newx(d->what, count, U8);
8985
8986         d->count = count;
8987         for (i = 0; i < count; i++) {
8988             d->what[i] = r->data->what[i];
8989             switch (d->what[i]) {
8990                 /* legal options are one of: sfpont
8991                    see also regcomp.h and pregfree() */
8992             case 's':
8993                 d->data[i] = sv_dup_inc((SV *)r->data->data[i], param);
8994                 break;
8995             case 'p':
8996                 d->data[i] = av_dup_inc((AV *)r->data->data[i], param);
8997                 break;
8998             case 'f':
8999                 /* This is cheating. */
9000                 Newx(d->data[i], 1, struct regnode_charclass_class);
9001                 StructCopy(r->data->data[i], d->data[i],
9002                             struct regnode_charclass_class);
9003                 ret->regstclass = (regnode*)d->data[i];
9004                 break;
9005             case 'o':
9006                 /* Compiled op trees are readonly, and can thus be
9007                    shared without duplication. */
9008                 OP_REFCNT_LOCK;
9009                 d->data[i] = (void*)OpREFCNT_inc((OP*)r->data->data[i]);
9010                 OP_REFCNT_UNLOCK;
9011                 break;
9012             case 'n':
9013                 d->data[i] = r->data->data[i];
9014                 break;
9015             case 't':
9016                 d->data[i] = r->data->data[i];
9017                 OP_REFCNT_LOCK;
9018                 ((reg_trie_data*)d->data[i])->refcount++;
9019                 OP_REFCNT_UNLOCK;
9020                 break;
9021             default:
9022                 Perl_croak(aTHX_ "panic: re_dup unknown data code '%c'", r->data->what[i]);
9023             }
9024         }
9025
9026         ret->data = d;
9027     }
9028     else
9029         ret->data = NULL;
9030
9031     Newx(ret->offsets, 2*len+1, U32);
9032     Copy(r->offsets, ret->offsets, 2*len+1, U32);
9033
9034     ret->precomp        = SAVEPVN(r->precomp, r->prelen);
9035     ret->refcnt         = r->refcnt;
9036     ret->minlen         = r->minlen;
9037     ret->prelen         = r->prelen;
9038     ret->nparens        = r->nparens;
9039     ret->lastparen      = r->lastparen;
9040     ret->lastcloseparen = r->lastcloseparen;
9041     ret->reganch        = r->reganch;
9042
9043     ret->sublen         = r->sublen;
9044
9045     if (RX_MATCH_COPIED(ret))
9046         ret->subbeg  = SAVEPVN(r->subbeg, r->sublen);
9047     else
9048         ret->subbeg = Nullch;
9049 #ifdef PERL_OLD_COPY_ON_WRITE
9050     ret->saved_copy = Nullsv;
9051 #endif
9052
9053     ptr_table_store(PL_ptr_table, r, ret);
9054     return ret;
9055 }
9056
9057 /* duplicate a file handle */
9058
9059 PerlIO *
9060 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9061 {
9062     PerlIO *ret;
9063
9064     PERL_UNUSED_ARG(type);
9065
9066     if (!fp)
9067         return (PerlIO*)NULL;
9068
9069     /* look for it in the table first */
9070     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9071     if (ret)
9072         return ret;
9073
9074     /* create anew and remember what it is */
9075     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9076     ptr_table_store(PL_ptr_table, fp, ret);
9077     return ret;
9078 }
9079
9080 /* duplicate a directory handle */
9081
9082 DIR *
9083 Perl_dirp_dup(pTHX_ DIR *dp)
9084 {
9085     if (!dp)
9086         return (DIR*)NULL;
9087     /* XXX TODO */
9088     return dp;
9089 }
9090
9091 /* duplicate a typeglob */
9092
9093 GP *
9094 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9095 {
9096     GP *ret;
9097     if (!gp)
9098         return (GP*)NULL;
9099     /* look for it in the table first */
9100     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9101     if (ret)
9102         return ret;
9103
9104     /* create anew and remember what it is */
9105     Newxz(ret, 1, GP);
9106     ptr_table_store(PL_ptr_table, gp, ret);
9107
9108     /* clone */
9109     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9110     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9111     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9112     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9113     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9114     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9115     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9116     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9117     ret->gp_cvgen       = gp->gp_cvgen;
9118     ret->gp_line        = gp->gp_line;
9119     ret->gp_file        = gp->gp_file;          /* points to COP.cop_file */
9120     return ret;
9121 }
9122
9123 /* duplicate a chain of magic */
9124
9125 MAGIC *
9126 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9127 {
9128     MAGIC *mgprev = (MAGIC*)NULL;
9129     MAGIC *mgret;
9130     if (!mg)
9131         return (MAGIC*)NULL;
9132     /* look for it in the table first */
9133     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9134     if (mgret)
9135         return mgret;
9136
9137     for (; mg; mg = mg->mg_moremagic) {
9138         MAGIC *nmg;
9139         Newxz(nmg, 1, MAGIC);
9140         if (mgprev)
9141             mgprev->mg_moremagic = nmg;
9142         else
9143             mgret = nmg;
9144         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9145         nmg->mg_private = mg->mg_private;
9146         nmg->mg_type    = mg->mg_type;
9147         nmg->mg_flags   = mg->mg_flags;
9148         if (mg->mg_type == PERL_MAGIC_qr) {
9149             nmg->mg_obj = (SV*)re_dup((REGEXP*)mg->mg_obj, param);
9150         }
9151         else if(mg->mg_type == PERL_MAGIC_backref) {
9152             /* The backref AV has its reference count deliberately bumped by
9153                1.  */
9154             nmg->mg_obj = SvREFCNT_inc(av_dup_inc((AV*) mg->mg_obj, param));
9155         }
9156         else if (mg->mg_type == PERL_MAGIC_symtab) {
9157             nmg->mg_obj = mg->mg_obj;
9158         }
9159         else {
9160             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9161                               ? sv_dup_inc(mg->mg_obj, param)
9162                               : sv_dup(mg->mg_obj, param);
9163         }
9164         nmg->mg_len     = mg->mg_len;
9165         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9166         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9167             if (mg->mg_len > 0) {
9168                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9169                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9170                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9171                 {
9172                     const AMT * const amtp = (AMT*)mg->mg_ptr;
9173                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9174                     I32 i;
9175                     for (i = 1; i < NofAMmeth; i++) {
9176                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9177                     }
9178                 }
9179             }
9180             else if (mg->mg_len == HEf_SVKEY)
9181                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9182         }
9183         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9184             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9185         }
9186         mgprev = nmg;
9187     }
9188     return mgret;
9189 }
9190
9191 /* create a new pointer-mapping table */
9192
9193 PTR_TBL_t *
9194 Perl_ptr_table_new(pTHX)
9195 {
9196     PTR_TBL_t *tbl;
9197     Newxz(tbl, 1, PTR_TBL_t);
9198     tbl->tbl_max        = 511;
9199     tbl->tbl_items      = 0;
9200     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9201     return tbl;
9202 }
9203
9204 #define PTR_TABLE_HASH(ptr) \
9205   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
9206
9207 /* 
9208    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9209    following define) and at call to new_body_inline made below in 
9210    Perl_ptr_table_store()
9211  */
9212
9213 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9214
9215 /* map an existing pointer using a table */
9216
9217 STATIC PTR_TBL_ENT_t *
9218 S_ptr_table_find(pTHX_ PTR_TBL_t *tbl, const void *sv) {
9219     PTR_TBL_ENT_t *tblent;
9220     const UV hash = PTR_TABLE_HASH(sv);
9221     assert(tbl);
9222     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9223     for (; tblent; tblent = tblent->next) {
9224         if (tblent->oldval == sv)
9225             return tblent;
9226     }
9227     return 0;
9228 }
9229
9230 void *
9231 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9232 {
9233     PTR_TBL_ENT_t const *const tblent = S_ptr_table_find(aTHX_ tbl, sv);
9234     return tblent ? tblent->newval : (void *) 0;
9235 }
9236
9237 /* add a new entry to a pointer-mapping table */
9238
9239 void
9240 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9241 {
9242     PTR_TBL_ENT_t *tblent = S_ptr_table_find(aTHX_ tbl, oldsv);
9243
9244     if (tblent) {
9245         tblent->newval = newsv;
9246     } else {
9247         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
9248
9249         new_body_inline(tblent, sizeof(struct ptr_tbl_ent), PTE_SVSLOT);
9250         tblent->oldval = oldsv;
9251         tblent->newval = newsv;
9252         tblent->next = tbl->tbl_ary[entry];
9253         tbl->tbl_ary[entry] = tblent;
9254         tbl->tbl_items++;
9255         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
9256             ptr_table_split(tbl);
9257     }
9258 }
9259
9260 /* double the hash bucket size of an existing ptr table */
9261
9262 void
9263 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9264 {
9265     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9266     const UV oldsize = tbl->tbl_max + 1;
9267     UV newsize = oldsize * 2;
9268     UV i;
9269
9270     Renew(ary, newsize, PTR_TBL_ENT_t*);
9271     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9272     tbl->tbl_max = --newsize;
9273     tbl->tbl_ary = ary;
9274     for (i=0; i < oldsize; i++, ary++) {
9275         PTR_TBL_ENT_t **curentp, **entp, *ent;
9276         if (!*ary)
9277             continue;
9278         curentp = ary + oldsize;
9279         for (entp = ary, ent = *ary; ent; ent = *entp) {
9280             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9281                 *entp = ent->next;
9282                 ent->next = *curentp;
9283                 *curentp = ent;
9284                 continue;
9285             }
9286             else
9287                 entp = &ent->next;
9288         }
9289     }
9290 }
9291
9292 /* remove all the entries from a ptr table */
9293
9294 void
9295 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9296 {
9297     if (tbl && tbl->tbl_items) {
9298         register PTR_TBL_ENT_t * const * const array = tbl->tbl_ary;
9299         UV riter = tbl->tbl_max;
9300
9301         do {
9302             PTR_TBL_ENT_t *entry = array[riter];
9303
9304             while (entry) {
9305                 PTR_TBL_ENT_t * const oentry = entry;
9306                 entry = entry->next;
9307                 del_pte(oentry);
9308             }
9309         } while (riter--);
9310
9311         tbl->tbl_items = 0;
9312     }
9313 }
9314
9315 /* clear and free a ptr table */
9316
9317 void
9318 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9319 {
9320     if (!tbl) {
9321         return;
9322     }
9323     ptr_table_clear(tbl);
9324     Safefree(tbl->tbl_ary);
9325     Safefree(tbl);
9326 }
9327
9328
9329 void
9330 Perl_rvpv_dup(pTHX_ SV *dstr, const SV *sstr, CLONE_PARAMS* param)
9331 {
9332     if (SvROK(sstr)) {
9333         SvRV_set(dstr, SvWEAKREF(sstr)
9334                        ? sv_dup(SvRV(sstr), param)
9335                        : sv_dup_inc(SvRV(sstr), param));
9336
9337     }
9338     else if (SvPVX_const(sstr)) {
9339         /* Has something there */
9340         if (SvLEN(sstr)) {
9341             /* Normal PV - clone whole allocated space */
9342             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9343             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9344                 /* Not that normal - actually sstr is copy on write.
9345                    But we are a true, independant SV, so:  */
9346                 SvREADONLY_off(dstr);
9347                 SvFAKE_off(dstr);
9348             }
9349         }
9350         else {
9351             /* Special case - not normally malloced for some reason */
9352             if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
9353                 /* A "shared" PV - clone it as "shared" PV */
9354                 SvPV_set(dstr,
9355                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
9356                                          param)));
9357             }
9358             else {
9359                 /* Some other special case - random pointer */
9360                 SvPV_set(dstr, SvPVX(sstr));            
9361             }
9362         }
9363     }
9364     else {
9365         /* Copy the Null */
9366         if (SvTYPE(dstr) == SVt_RV)
9367             SvRV_set(dstr, NULL);
9368         else
9369             SvPV_set(dstr, NULL);
9370     }
9371 }
9372
9373 /* duplicate an SV of any type (including AV, HV etc) */
9374
9375 SV *
9376 Perl_sv_dup(pTHX_ const SV *sstr, CLONE_PARAMS* param)
9377 {
9378     dVAR;
9379     SV *dstr;
9380
9381     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
9382         return NULL;
9383     /* look for it in the table first */
9384     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
9385     if (dstr)
9386         return dstr;
9387
9388     if(param->flags & CLONEf_JOIN_IN) {
9389         /** We are joining here so we don't want do clone
9390             something that is bad **/
9391         if (SvTYPE(sstr) == SVt_PVHV) {
9392             const char * const hvname = HvNAME_get(sstr);
9393             if (hvname)
9394                 /** don't clone stashes if they already exist **/
9395                 return (SV*)gv_stashpv(hvname,0);
9396         }
9397     }
9398
9399     /* create anew and remember what it is */
9400     new_SV(dstr);
9401
9402 #ifdef DEBUG_LEAKING_SCALARS
9403     dstr->sv_debug_optype = sstr->sv_debug_optype;
9404     dstr->sv_debug_line = sstr->sv_debug_line;
9405     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
9406     dstr->sv_debug_cloned = 1;
9407     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
9408 #endif
9409
9410     ptr_table_store(PL_ptr_table, sstr, dstr);
9411
9412     /* clone */
9413     SvFLAGS(dstr)       = SvFLAGS(sstr);
9414     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
9415     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
9416
9417 #ifdef DEBUGGING
9418     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
9419         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
9420                       PL_watch_pvx, SvPVX_const(sstr));
9421 #endif
9422
9423     /* don't clone objects whose class has asked us not to */
9424     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
9425         SvFLAGS(dstr) &= ~SVTYPEMASK;
9426         SvOBJECT_off(dstr);
9427         return dstr;
9428     }
9429
9430     switch (SvTYPE(sstr)) {
9431     case SVt_NULL:
9432         SvANY(dstr)     = NULL;
9433         break;
9434     case SVt_IV:
9435         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
9436         SvIV_set(dstr, SvIVX(sstr));
9437         break;
9438     case SVt_NV:
9439         SvANY(dstr)     = new_XNV();
9440         SvNV_set(dstr, SvNVX(sstr));
9441         break;
9442     case SVt_RV:
9443         SvANY(dstr)     = &(dstr->sv_u.svu_rv);
9444         Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9445         break;
9446     default:
9447         {
9448             /* These are all the types that need complex bodies allocating.  */
9449             void *new_body;
9450             const svtype sv_type = SvTYPE(sstr);
9451             const struct body_details *const sv_type_details
9452                 = bodies_by_type + sv_type;
9453
9454             switch (sv_type) {
9455             default:
9456                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]",
9457                            (IV)SvTYPE(sstr));
9458                 break;
9459
9460             case SVt_PVGV:
9461                 if (GvUNIQUE((GV*)sstr)) {
9462                     /* Do sharing here, and fall through */
9463                 }
9464             case SVt_PVIO:
9465             case SVt_PVFM:
9466             case SVt_PVHV:
9467             case SVt_PVAV:
9468             case SVt_PVBM:
9469             case SVt_PVCV:
9470             case SVt_PVLV:
9471             case SVt_PVMG:
9472             case SVt_PVNV:
9473             case SVt_PVIV:
9474             case SVt_PV:
9475                 assert(sv_type_details->size);
9476                 if (sv_type_details->arena) {
9477                     new_body_inline(new_body, sv_type_details->size, sv_type);
9478                     new_body
9479                         = (void*)((char*)new_body - sv_type_details->offset);
9480                 } else {
9481                     new_body = new_NOARENA(sv_type_details);
9482                 }
9483             }
9484             assert(new_body);
9485             SvANY(dstr) = new_body;
9486
9487 #ifndef PURIFY
9488             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
9489                  ((char*)SvANY(dstr)) + sv_type_details->offset,
9490                  sv_type_details->copy, char);
9491 #else
9492             Copy(((char*)SvANY(sstr)),
9493                  ((char*)SvANY(dstr)),
9494                  sv_type_details->size + sv_type_details->offset, char);
9495 #endif
9496
9497             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV)
9498                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9499
9500             /* The Copy above means that all the source (unduplicated) pointers
9501                are now in the destination.  We can check the flags and the
9502                pointers in either, but it's possible that there's less cache
9503                missing by always going for the destination.
9504                FIXME - instrument and check that assumption  */
9505             if (sv_type >= SVt_PVMG) {
9506                 if (SvMAGIC(dstr))
9507                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
9508                 if (SvSTASH(dstr))
9509                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
9510             }
9511
9512             /* The cast silences a GCC warning about unhandled types.  */
9513             switch ((int)sv_type) {
9514             case SVt_PV:
9515                 break;
9516             case SVt_PVIV:
9517                 break;
9518             case SVt_PVNV:
9519                 break;
9520             case SVt_PVMG:
9521                 break;
9522             case SVt_PVBM:
9523                 break;
9524             case SVt_PVLV:
9525                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
9526                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
9527                     LvTARG(dstr) = dstr;
9528                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
9529                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
9530                 else
9531                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
9532                 break;
9533             case SVt_PVGV:
9534                 GvNAME(dstr)    = SAVEPVN(GvNAME(dstr), GvNAMELEN(dstr));
9535                 GvSTASH(dstr)   = hv_dup(GvSTASH(dstr), param);
9536                 /* Don't call sv_add_backref here as it's going to be created
9537                    as part of the magic cloning of the symbol table.  */
9538                 GvGP(dstr)      = gp_dup(GvGP(dstr), param);
9539                 (void)GpREFCNT_inc(GvGP(dstr));
9540                 break;
9541             case SVt_PVIO:
9542                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
9543                 if (IoOFP(dstr) == IoIFP(sstr))
9544                     IoOFP(dstr) = IoIFP(dstr);
9545                 else
9546                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
9547                 /* PL_rsfp_filters entries have fake IoDIRP() */
9548                 if (IoDIRP(dstr) && !(IoFLAGS(dstr) & IOf_FAKE_DIRP))
9549                     IoDIRP(dstr)        = dirp_dup(IoDIRP(dstr));
9550                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
9551                     /* I have no idea why fake dirp (rsfps)
9552                        should be treated differently but otherwise
9553                        we end up with leaks -- sky*/
9554                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
9555                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
9556                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
9557                 } else {
9558                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
9559                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
9560                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
9561                 }
9562                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
9563                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
9564                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
9565                 break;
9566             case SVt_PVAV:
9567                 if (AvARRAY((AV*)sstr)) {
9568                     SV **dst_ary, **src_ary;
9569                     SSize_t items = AvFILLp((AV*)sstr) + 1;
9570
9571                     src_ary = AvARRAY((AV*)sstr);
9572                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
9573                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
9574                     SvPV_set(dstr, (char*)dst_ary);
9575                     AvALLOC((AV*)dstr) = dst_ary;
9576                     if (AvREAL((AV*)sstr)) {
9577                         while (items-- > 0)
9578                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
9579                     }
9580                     else {
9581                         while (items-- > 0)
9582                             *dst_ary++ = sv_dup(*src_ary++, param);
9583                     }
9584                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
9585                     while (items-- > 0) {
9586                         *dst_ary++ = &PL_sv_undef;
9587                     }
9588                 }
9589                 else {
9590                     SvPV_set(dstr, Nullch);
9591                     AvALLOC((AV*)dstr)  = (SV**)NULL;
9592                 }
9593                 break;
9594             case SVt_PVHV:
9595                 {
9596                     HEK *hvname = NULL;
9597
9598                     if (HvARRAY((HV*)sstr)) {
9599                         STRLEN i = 0;
9600                         const bool sharekeys = !!HvSHAREKEYS(sstr);
9601                         XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
9602                         XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
9603                         char *darray;
9604                         Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
9605                             + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
9606                             char);
9607                         HvARRAY(dstr) = (HE**)darray;
9608                         while (i <= sxhv->xhv_max) {
9609                             const HE *source = HvARRAY(sstr)[i];
9610                             HvARRAY(dstr)[i] = source
9611                                 ? he_dup(source, sharekeys, param) : 0;
9612                             ++i;
9613                         }
9614                         if (SvOOK(sstr)) {
9615                             struct xpvhv_aux * const saux = HvAUX(sstr);
9616                             struct xpvhv_aux * const daux = HvAUX(dstr);
9617                             /* This flag isn't copied.  */
9618                             /* SvOOK_on(hv) attacks the IV flags.  */
9619                             SvFLAGS(dstr) |= SVf_OOK;
9620
9621                             hvname = saux->xhv_name;
9622                             daux->xhv_name
9623                                 = hvname ? hek_dup(hvname, param) : hvname;
9624
9625                             daux->xhv_riter = saux->xhv_riter;
9626                             daux->xhv_eiter = saux->xhv_eiter
9627                                 ? he_dup(saux->xhv_eiter,
9628                                          (bool)!!HvSHAREKEYS(sstr), param) : 0;
9629                             daux->xhv_backreferences = saux->xhv_backreferences
9630                                 ? (AV*) SvREFCNT_inc(
9631                                                      sv_dup((SV*)saux->
9632                                                             xhv_backreferences,
9633                                                             param))
9634                                 : 0;
9635                         }
9636                     }
9637                     else {
9638                         SvPV_set(dstr, Nullch);
9639                     }
9640                     /* Record stashes for possible cloning in Perl_clone(). */
9641                     if(hvname)
9642                         av_push(param->stashes, dstr);
9643                 }
9644                 break;
9645             case SVt_PVFM:
9646             case SVt_PVCV:
9647                 /* NOTE: not refcounted */
9648                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
9649                 OP_REFCNT_LOCK;
9650                 CvROOT(dstr)    = OpREFCNT_inc(CvROOT(dstr));
9651                 OP_REFCNT_UNLOCK;
9652                 if (CvCONST(dstr)) {
9653                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
9654                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
9655                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
9656                 }
9657                 /* don't dup if copying back - CvGV isn't refcounted, so the
9658                  * duped GV may never be freed. A bit of a hack! DAPM */
9659                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
9660                     Nullgv : gv_dup(CvGV(dstr), param) ;
9661                 if (!(param->flags & CLONEf_COPY_STACKS)) {
9662                     CvDEPTH(dstr) = 0;
9663                 }
9664                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
9665                 CvOUTSIDE(dstr) =
9666                     CvWEAKOUTSIDE(sstr)
9667                     ? cv_dup(    CvOUTSIDE(dstr), param)
9668                     : cv_dup_inc(CvOUTSIDE(dstr), param);
9669                 if (!CvXSUB(dstr))
9670                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
9671                 break;
9672             }
9673         }
9674     }
9675
9676     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
9677         ++PL_sv_objcount;
9678
9679     return dstr;
9680  }
9681
9682 /* duplicate a context */
9683
9684 PERL_CONTEXT *
9685 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
9686 {
9687     PERL_CONTEXT *ncxs;
9688
9689     if (!cxs)
9690         return (PERL_CONTEXT*)NULL;
9691
9692     /* look for it in the table first */
9693     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
9694     if (ncxs)
9695         return ncxs;
9696
9697     /* create anew and remember what it is */
9698     Newxz(ncxs, max + 1, PERL_CONTEXT);
9699     ptr_table_store(PL_ptr_table, cxs, ncxs);
9700
9701     while (ix >= 0) {
9702         PERL_CONTEXT * const cx = &cxs[ix];
9703         PERL_CONTEXT * const ncx = &ncxs[ix];
9704         ncx->cx_type    = cx->cx_type;
9705         if (CxTYPE(cx) == CXt_SUBST) {
9706             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
9707         }
9708         else {
9709             ncx->blk_oldsp      = cx->blk_oldsp;
9710             ncx->blk_oldcop     = cx->blk_oldcop;
9711             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
9712             ncx->blk_oldscopesp = cx->blk_oldscopesp;
9713             ncx->blk_oldpm      = cx->blk_oldpm;
9714             ncx->blk_gimme      = cx->blk_gimme;
9715             switch (CxTYPE(cx)) {
9716             case CXt_SUB:
9717                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
9718                                            ? cv_dup_inc(cx->blk_sub.cv, param)
9719                                            : cv_dup(cx->blk_sub.cv,param));
9720                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
9721                                            ? av_dup_inc(cx->blk_sub.argarray, param)
9722                                            : NULL);
9723                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
9724                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
9725                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
9726                 ncx->blk_sub.lval       = cx->blk_sub.lval;
9727                 ncx->blk_sub.retop      = cx->blk_sub.retop;
9728                 break;
9729             case CXt_EVAL:
9730                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
9731                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
9732                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
9733                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
9734                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
9735                 ncx->blk_eval.retop = cx->blk_eval.retop;
9736                 break;
9737             case CXt_LOOP:
9738                 ncx->blk_loop.label     = cx->blk_loop.label;
9739                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
9740                 ncx->blk_loop.redo_op   = cx->blk_loop.redo_op;
9741                 ncx->blk_loop.next_op   = cx->blk_loop.next_op;
9742                 ncx->blk_loop.last_op   = cx->blk_loop.last_op;
9743                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
9744                                            ? cx->blk_loop.iterdata
9745                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
9746                 ncx->blk_loop.oldcomppad
9747                     = (PAD*)ptr_table_fetch(PL_ptr_table,
9748                                             cx->blk_loop.oldcomppad);
9749                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
9750                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
9751                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
9752                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
9753                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
9754                 break;
9755             case CXt_FORMAT:
9756                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
9757                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
9758                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
9759                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
9760                 ncx->blk_sub.retop      = cx->blk_sub.retop;
9761                 break;
9762             case CXt_BLOCK:
9763             case CXt_NULL:
9764                 break;
9765             }
9766         }
9767         --ix;
9768     }
9769     return ncxs;
9770 }
9771
9772 /* duplicate a stack info structure */
9773
9774 PERL_SI *
9775 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
9776 {
9777     PERL_SI *nsi;
9778
9779     if (!si)
9780         return (PERL_SI*)NULL;
9781
9782     /* look for it in the table first */
9783     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
9784     if (nsi)
9785         return nsi;
9786
9787     /* create anew and remember what it is */
9788     Newxz(nsi, 1, PERL_SI);
9789     ptr_table_store(PL_ptr_table, si, nsi);
9790
9791     nsi->si_stack       = av_dup_inc(si->si_stack, param);
9792     nsi->si_cxix        = si->si_cxix;
9793     nsi->si_cxmax       = si->si_cxmax;
9794     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
9795     nsi->si_type        = si->si_type;
9796     nsi->si_prev        = si_dup(si->si_prev, param);
9797     nsi->si_next        = si_dup(si->si_next, param);
9798     nsi->si_markoff     = si->si_markoff;
9799
9800     return nsi;
9801 }
9802
9803 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
9804 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
9805 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
9806 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
9807 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
9808 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
9809 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
9810 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
9811 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
9812 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
9813 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
9814 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
9815 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
9816 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
9817
9818 /* XXXXX todo */
9819 #define pv_dup_inc(p)   SAVEPV(p)
9820 #define pv_dup(p)       SAVEPV(p)
9821 #define svp_dup_inc(p,pp)       any_dup(p,pp)
9822
9823 /* map any object to the new equivent - either something in the
9824  * ptr table, or something in the interpreter structure
9825  */
9826
9827 void *
9828 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
9829 {
9830     void *ret;
9831
9832     if (!v)
9833         return (void*)NULL;
9834
9835     /* look for it in the table first */
9836     ret = ptr_table_fetch(PL_ptr_table, v);
9837     if (ret)
9838         return ret;
9839
9840     /* see if it is part of the interpreter structure */
9841     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
9842         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
9843     else {
9844         ret = v;
9845     }
9846
9847     return ret;
9848 }
9849
9850 /* duplicate the save stack */
9851
9852 ANY *
9853 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
9854 {
9855     ANY * const ss      = proto_perl->Tsavestack;
9856     const I32 max       = proto_perl->Tsavestack_max;
9857     I32 ix              = proto_perl->Tsavestack_ix;
9858     ANY *nss;
9859     SV *sv;
9860     GV *gv;
9861     AV *av;
9862     HV *hv;
9863     void* ptr;
9864     int intval;
9865     long longval;
9866     GP *gp;
9867     IV iv;
9868     char *c = NULL;
9869     void (*dptr) (void*);
9870     void (*dxptr) (pTHX_ void*);
9871
9872     Newxz(nss, max, ANY);
9873
9874     while (ix > 0) {
9875         I32 i = POPINT(ss,ix);
9876         TOPINT(nss,ix) = i;
9877         switch (i) {
9878         case SAVEt_ITEM:                        /* normal string */
9879             sv = (SV*)POPPTR(ss,ix);
9880             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9881             sv = (SV*)POPPTR(ss,ix);
9882             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9883             break;
9884         case SAVEt_SV:                          /* scalar reference */
9885             sv = (SV*)POPPTR(ss,ix);
9886             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9887             gv = (GV*)POPPTR(ss,ix);
9888             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
9889             break;
9890         case SAVEt_GENERIC_PVREF:               /* generic char* */
9891             c = (char*)POPPTR(ss,ix);
9892             TOPPTR(nss,ix) = pv_dup(c);
9893             ptr = POPPTR(ss,ix);
9894             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9895             break;
9896         case SAVEt_SHARED_PVREF:                /* char* in shared space */
9897             c = (char*)POPPTR(ss,ix);
9898             TOPPTR(nss,ix) = savesharedpv(c);
9899             ptr = POPPTR(ss,ix);
9900             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9901             break;
9902         case SAVEt_GENERIC_SVREF:               /* generic sv */
9903         case SAVEt_SVREF:                       /* scalar reference */
9904             sv = (SV*)POPPTR(ss,ix);
9905             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9906             ptr = POPPTR(ss,ix);
9907             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
9908             break;
9909         case SAVEt_AV:                          /* array reference */
9910             av = (AV*)POPPTR(ss,ix);
9911             TOPPTR(nss,ix) = av_dup_inc(av, param);
9912             gv = (GV*)POPPTR(ss,ix);
9913             TOPPTR(nss,ix) = gv_dup(gv, param);
9914             break;
9915         case SAVEt_HV:                          /* hash reference */
9916             hv = (HV*)POPPTR(ss,ix);
9917             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
9918             gv = (GV*)POPPTR(ss,ix);
9919             TOPPTR(nss,ix) = gv_dup(gv, param);
9920             break;
9921         case SAVEt_INT:                         /* int reference */
9922             ptr = POPPTR(ss,ix);
9923             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9924             intval = (int)POPINT(ss,ix);
9925             TOPINT(nss,ix) = intval;
9926             break;
9927         case SAVEt_LONG:                        /* long reference */
9928             ptr = POPPTR(ss,ix);
9929             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9930             longval = (long)POPLONG(ss,ix);
9931             TOPLONG(nss,ix) = longval;
9932             break;
9933         case SAVEt_I32:                         /* I32 reference */
9934         case SAVEt_I16:                         /* I16 reference */
9935         case SAVEt_I8:                          /* I8 reference */
9936             ptr = POPPTR(ss,ix);
9937             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9938             i = POPINT(ss,ix);
9939             TOPINT(nss,ix) = i;
9940             break;
9941         case SAVEt_IV:                          /* IV reference */
9942             ptr = POPPTR(ss,ix);
9943             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9944             iv = POPIV(ss,ix);
9945             TOPIV(nss,ix) = iv;
9946             break;
9947         case SAVEt_SPTR:                        /* SV* reference */
9948             ptr = POPPTR(ss,ix);
9949             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9950             sv = (SV*)POPPTR(ss,ix);
9951             TOPPTR(nss,ix) = sv_dup(sv, param);
9952             break;
9953         case SAVEt_VPTR:                        /* random* reference */
9954             ptr = POPPTR(ss,ix);
9955             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9956             ptr = POPPTR(ss,ix);
9957             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9958             break;
9959         case SAVEt_PPTR:                        /* char* reference */
9960             ptr = POPPTR(ss,ix);
9961             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9962             c = (char*)POPPTR(ss,ix);
9963             TOPPTR(nss,ix) = pv_dup(c);
9964             break;
9965         case SAVEt_HPTR:                        /* HV* reference */
9966             ptr = POPPTR(ss,ix);
9967             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9968             hv = (HV*)POPPTR(ss,ix);
9969             TOPPTR(nss,ix) = hv_dup(hv, param);
9970             break;
9971         case SAVEt_APTR:                        /* AV* reference */
9972             ptr = POPPTR(ss,ix);
9973             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9974             av = (AV*)POPPTR(ss,ix);
9975             TOPPTR(nss,ix) = av_dup(av, param);
9976             break;
9977         case SAVEt_NSTAB:
9978             gv = (GV*)POPPTR(ss,ix);
9979             TOPPTR(nss,ix) = gv_dup(gv, param);
9980             break;
9981         case SAVEt_GP:                          /* scalar reference */
9982             gp = (GP*)POPPTR(ss,ix);
9983             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
9984             (void)GpREFCNT_inc(gp);
9985             gv = (GV*)POPPTR(ss,ix);
9986             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
9987             c = (char*)POPPTR(ss,ix);
9988             TOPPTR(nss,ix) = pv_dup(c);
9989             iv = POPIV(ss,ix);
9990             TOPIV(nss,ix) = iv;
9991             iv = POPIV(ss,ix);
9992             TOPIV(nss,ix) = iv;
9993             break;
9994         case SAVEt_FREESV:
9995         case SAVEt_MORTALIZESV:
9996             sv = (SV*)POPPTR(ss,ix);
9997             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9998             break;
9999         case SAVEt_FREEOP:
10000             ptr = POPPTR(ss,ix);
10001             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10002                 /* these are assumed to be refcounted properly */
10003                 OP *o;
10004                 switch (((OP*)ptr)->op_type) {
10005                 case OP_LEAVESUB:
10006                 case OP_LEAVESUBLV:
10007                 case OP_LEAVEEVAL:
10008                 case OP_LEAVE:
10009                 case OP_SCOPE:
10010                 case OP_LEAVEWRITE:
10011                     TOPPTR(nss,ix) = ptr;
10012                     o = (OP*)ptr;
10013                     OpREFCNT_inc(o);
10014                     break;
10015                 default:
10016                     TOPPTR(nss,ix) = Nullop;
10017                     break;
10018                 }
10019             }
10020             else
10021                 TOPPTR(nss,ix) = Nullop;
10022             break;
10023         case SAVEt_FREEPV:
10024             c = (char*)POPPTR(ss,ix);
10025             TOPPTR(nss,ix) = pv_dup_inc(c);
10026             break;
10027         case SAVEt_CLEARSV:
10028             longval = POPLONG(ss,ix);
10029             TOPLONG(nss,ix) = longval;
10030             break;
10031         case SAVEt_DELETE:
10032             hv = (HV*)POPPTR(ss,ix);
10033             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10034             c = (char*)POPPTR(ss,ix);
10035             TOPPTR(nss,ix) = pv_dup_inc(c);
10036             i = POPINT(ss,ix);
10037             TOPINT(nss,ix) = i;
10038             break;
10039         case SAVEt_DESTRUCTOR:
10040             ptr = POPPTR(ss,ix);
10041             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10042             dptr = POPDPTR(ss,ix);
10043             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10044                                         any_dup(FPTR2DPTR(void *, dptr),
10045                                                 proto_perl));
10046             break;
10047         case SAVEt_DESTRUCTOR_X:
10048             ptr = POPPTR(ss,ix);
10049             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10050             dxptr = POPDXPTR(ss,ix);
10051             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10052                                          any_dup(FPTR2DPTR(void *, dxptr),
10053                                                  proto_perl));
10054             break;
10055         case SAVEt_REGCONTEXT:
10056         case SAVEt_ALLOC:
10057             i = POPINT(ss,ix);
10058             TOPINT(nss,ix) = i;
10059             ix -= i;
10060             break;
10061         case SAVEt_STACK_POS:           /* Position on Perl stack */
10062             i = POPINT(ss,ix);
10063             TOPINT(nss,ix) = i;
10064             break;
10065         case SAVEt_AELEM:               /* array element */
10066             sv = (SV*)POPPTR(ss,ix);
10067             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10068             i = POPINT(ss,ix);
10069             TOPINT(nss,ix) = i;
10070             av = (AV*)POPPTR(ss,ix);
10071             TOPPTR(nss,ix) = av_dup_inc(av, param);
10072             break;
10073         case SAVEt_HELEM:               /* hash element */
10074             sv = (SV*)POPPTR(ss,ix);
10075             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10076             sv = (SV*)POPPTR(ss,ix);
10077             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10078             hv = (HV*)POPPTR(ss,ix);
10079             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10080             break;
10081         case SAVEt_OP:
10082             ptr = POPPTR(ss,ix);
10083             TOPPTR(nss,ix) = ptr;
10084             break;
10085         case SAVEt_HINTS:
10086             i = POPINT(ss,ix);
10087             TOPINT(nss,ix) = i;
10088             break;
10089         case SAVEt_COMPPAD:
10090             av = (AV*)POPPTR(ss,ix);
10091             TOPPTR(nss,ix) = av_dup(av, param);
10092             break;
10093         case SAVEt_PADSV:
10094             longval = (long)POPLONG(ss,ix);
10095             TOPLONG(nss,ix) = longval;
10096             ptr = POPPTR(ss,ix);
10097             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10098             sv = (SV*)POPPTR(ss,ix);
10099             TOPPTR(nss,ix) = sv_dup(sv, param);
10100             break;
10101         case SAVEt_BOOL:
10102             ptr = POPPTR(ss,ix);
10103             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10104             longval = (long)POPBOOL(ss,ix);
10105             TOPBOOL(nss,ix) = (bool)longval;
10106             break;
10107         case SAVEt_SET_SVFLAGS:
10108             i = POPINT(ss,ix);
10109             TOPINT(nss,ix) = i;
10110             i = POPINT(ss,ix);
10111             TOPINT(nss,ix) = i;
10112             sv = (SV*)POPPTR(ss,ix);
10113             TOPPTR(nss,ix) = sv_dup(sv, param);
10114             break;
10115         default:
10116             Perl_croak(aTHX_ "panic: ss_dup inconsistency");
10117         }
10118     }
10119
10120     return nss;
10121 }
10122
10123
10124 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10125  * flag to the result. This is done for each stash before cloning starts,
10126  * so we know which stashes want their objects cloned */
10127
10128 static void
10129 do_mark_cloneable_stash(pTHX_ SV *sv)
10130 {
10131     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10132     if (hvname) {
10133         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10134         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10135         if (cloner && GvCV(cloner)) {
10136             dSP;
10137             UV status;
10138
10139             ENTER;
10140             SAVETMPS;
10141             PUSHMARK(SP);
10142             XPUSHs(sv_2mortal(newSVhek(hvname)));
10143             PUTBACK;
10144             call_sv((SV*)GvCV(cloner), G_SCALAR);
10145             SPAGAIN;
10146             status = POPu;
10147             PUTBACK;
10148             FREETMPS;
10149             LEAVE;
10150             if (status)
10151                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10152         }
10153     }
10154 }
10155
10156
10157
10158 /*
10159 =for apidoc perl_clone
10160
10161 Create and return a new interpreter by cloning the current one.
10162
10163 perl_clone takes these flags as parameters:
10164
10165 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10166 without it we only clone the data and zero the stacks,
10167 with it we copy the stacks and the new perl interpreter is
10168 ready to run at the exact same point as the previous one.
10169 The pseudo-fork code uses COPY_STACKS while the
10170 threads->new doesn't.
10171
10172 CLONEf_KEEP_PTR_TABLE
10173 perl_clone keeps a ptr_table with the pointer of the old
10174 variable as a key and the new variable as a value,
10175 this allows it to check if something has been cloned and not
10176 clone it again but rather just use the value and increase the
10177 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10178 the ptr_table using the function
10179 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10180 reason to keep it around is if you want to dup some of your own
10181 variable who are outside the graph perl scans, example of this
10182 code is in threads.xs create
10183
10184 CLONEf_CLONE_HOST
10185 This is a win32 thing, it is ignored on unix, it tells perls
10186 win32host code (which is c++) to clone itself, this is needed on
10187 win32 if you want to run two threads at the same time,
10188 if you just want to do some stuff in a separate perl interpreter
10189 and then throw it away and return to the original one,
10190 you don't need to do anything.
10191
10192 =cut
10193 */
10194
10195 /* XXX the above needs expanding by someone who actually understands it ! */
10196 EXTERN_C PerlInterpreter *
10197 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10198
10199 PerlInterpreter *
10200 perl_clone(PerlInterpreter *proto_perl, UV flags)
10201 {
10202    dVAR;
10203 #ifdef PERL_IMPLICIT_SYS
10204
10205    /* perlhost.h so we need to call into it
10206    to clone the host, CPerlHost should have a c interface, sky */
10207
10208    if (flags & CLONEf_CLONE_HOST) {
10209        return perl_clone_host(proto_perl,flags);
10210    }
10211    return perl_clone_using(proto_perl, flags,
10212                             proto_perl->IMem,
10213                             proto_perl->IMemShared,
10214                             proto_perl->IMemParse,
10215                             proto_perl->IEnv,
10216                             proto_perl->IStdIO,
10217                             proto_perl->ILIO,
10218                             proto_perl->IDir,
10219                             proto_perl->ISock,
10220                             proto_perl->IProc);
10221 }
10222
10223 PerlInterpreter *
10224 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10225                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10226                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10227                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10228                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10229                  struct IPerlProc* ipP)
10230 {
10231     /* XXX many of the string copies here can be optimized if they're
10232      * constants; they need to be allocated as common memory and just
10233      * their pointers copied. */
10234
10235     IV i;
10236     CLONE_PARAMS clone_params;
10237     CLONE_PARAMS* param = &clone_params;
10238
10239     PerlInterpreter *my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10240     /* for each stash, determine whether its objects should be cloned */
10241     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10242     PERL_SET_THX(my_perl);
10243
10244 #  ifdef DEBUGGING
10245     Poison(my_perl, 1, PerlInterpreter);
10246     PL_op = Nullop;
10247     PL_curcop = (COP *)Nullop;
10248     PL_markstack = 0;
10249     PL_scopestack = 0;
10250     PL_savestack = 0;
10251     PL_savestack_ix = 0;
10252     PL_savestack_max = -1;
10253     PL_sig_pending = 0;
10254     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10255 #  else /* !DEBUGGING */
10256     Zero(my_perl, 1, PerlInterpreter);
10257 #  endif        /* DEBUGGING */
10258
10259     /* host pointers */
10260     PL_Mem              = ipM;
10261     PL_MemShared        = ipMS;
10262     PL_MemParse         = ipMP;
10263     PL_Env              = ipE;
10264     PL_StdIO            = ipStd;
10265     PL_LIO              = ipLIO;
10266     PL_Dir              = ipD;
10267     PL_Sock             = ipS;
10268     PL_Proc             = ipP;
10269 #else           /* !PERL_IMPLICIT_SYS */
10270     IV i;
10271     CLONE_PARAMS clone_params;
10272     CLONE_PARAMS* param = &clone_params;
10273     PerlInterpreter *my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10274     /* for each stash, determine whether its objects should be cloned */
10275     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10276     PERL_SET_THX(my_perl);
10277
10278 #    ifdef DEBUGGING
10279     Poison(my_perl, 1, PerlInterpreter);
10280     PL_op = Nullop;
10281     PL_curcop = (COP *)Nullop;
10282     PL_markstack = 0;
10283     PL_scopestack = 0;
10284     PL_savestack = 0;
10285     PL_savestack_ix = 0;
10286     PL_savestack_max = -1;
10287     PL_sig_pending = 0;
10288     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10289 #    else       /* !DEBUGGING */
10290     Zero(my_perl, 1, PerlInterpreter);
10291 #    endif      /* DEBUGGING */
10292 #endif          /* PERL_IMPLICIT_SYS */
10293     param->flags = flags;
10294     param->proto_perl = proto_perl;
10295
10296     Zero(&PL_body_arenaroots, 1, PL_body_arenaroots);
10297     Zero(&PL_body_roots, 1, PL_body_roots);
10298     
10299     PL_nice_chunk       = NULL;
10300     PL_nice_chunk_size  = 0;
10301     PL_sv_count         = 0;
10302     PL_sv_objcount      = 0;
10303     PL_sv_root          = Nullsv;
10304     PL_sv_arenaroot     = Nullsv;
10305
10306     PL_debug            = proto_perl->Idebug;
10307
10308     PL_hash_seed        = proto_perl->Ihash_seed;
10309     PL_rehash_seed      = proto_perl->Irehash_seed;
10310
10311 #ifdef USE_REENTRANT_API
10312     /* XXX: things like -Dm will segfault here in perlio, but doing
10313      *  PERL_SET_CONTEXT(proto_perl);
10314      * breaks too many other things
10315      */
10316     Perl_reentrant_init(aTHX);
10317 #endif
10318
10319     /* create SV map for pointer relocation */
10320     PL_ptr_table = ptr_table_new();
10321
10322     /* initialize these special pointers as early as possible */
10323     SvANY(&PL_sv_undef)         = NULL;
10324     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
10325     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
10326     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
10327
10328     SvANY(&PL_sv_no)            = new_XPVNV();
10329     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
10330     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10331                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10332     SvPV_set(&PL_sv_no, SAVEPVN(PL_No, 0));
10333     SvCUR_set(&PL_sv_no, 0);
10334     SvLEN_set(&PL_sv_no, 1);
10335     SvIV_set(&PL_sv_no, 0);
10336     SvNV_set(&PL_sv_no, 0);
10337     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
10338
10339     SvANY(&PL_sv_yes)           = new_XPVNV();
10340     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
10341     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10342                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10343     SvPV_set(&PL_sv_yes, SAVEPVN(PL_Yes, 1));
10344     SvCUR_set(&PL_sv_yes, 1);
10345     SvLEN_set(&PL_sv_yes, 2);
10346     SvIV_set(&PL_sv_yes, 1);
10347     SvNV_set(&PL_sv_yes, 1);
10348     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
10349
10350     /* create (a non-shared!) shared string table */
10351     PL_strtab           = newHV();
10352     HvSHAREKEYS_off(PL_strtab);
10353     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
10354     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
10355
10356     PL_compiling = proto_perl->Icompiling;
10357
10358     /* These two PVs will be free'd special way so must set them same way op.c does */
10359     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
10360     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
10361
10362     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
10363     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
10364
10365     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
10366     if (!specialWARN(PL_compiling.cop_warnings))
10367         PL_compiling.cop_warnings = sv_dup_inc(PL_compiling.cop_warnings, param);
10368     if (!specialCopIO(PL_compiling.cop_io))
10369         PL_compiling.cop_io = sv_dup_inc(PL_compiling.cop_io, param);
10370     PL_curcop           = (COP*)any_dup(proto_perl->Tcurcop, proto_perl);
10371
10372     /* pseudo environmental stuff */
10373     PL_origargc         = proto_perl->Iorigargc;
10374     PL_origargv         = proto_perl->Iorigargv;
10375
10376     param->stashes      = newAV();  /* Setup array of objects to call clone on */
10377
10378     /* Set tainting stuff before PerlIO_debug can possibly get called */
10379     PL_tainting         = proto_perl->Itainting;
10380     PL_taint_warn       = proto_perl->Itaint_warn;
10381
10382 #ifdef PERLIO_LAYERS
10383     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
10384     PerlIO_clone(aTHX_ proto_perl, param);
10385 #endif
10386
10387     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
10388     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
10389     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
10390     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
10391     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
10392     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
10393
10394     /* switches */
10395     PL_minus_c          = proto_perl->Iminus_c;
10396     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
10397     PL_localpatches     = proto_perl->Ilocalpatches;
10398     PL_splitstr         = proto_perl->Isplitstr;
10399     PL_preprocess       = proto_perl->Ipreprocess;
10400     PL_minus_n          = proto_perl->Iminus_n;
10401     PL_minus_p          = proto_perl->Iminus_p;
10402     PL_minus_l          = proto_perl->Iminus_l;
10403     PL_minus_a          = proto_perl->Iminus_a;
10404     PL_minus_E          = proto_perl->Iminus_E;
10405     PL_minus_F          = proto_perl->Iminus_F;
10406     PL_doswitches       = proto_perl->Idoswitches;
10407     PL_dowarn           = proto_perl->Idowarn;
10408     PL_doextract        = proto_perl->Idoextract;
10409     PL_sawampersand     = proto_perl->Isawampersand;
10410     PL_unsafe           = proto_perl->Iunsafe;
10411     PL_inplace          = SAVEPV(proto_perl->Iinplace);
10412     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
10413     PL_perldb           = proto_perl->Iperldb;
10414     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
10415     PL_exit_flags       = proto_perl->Iexit_flags;
10416
10417     /* magical thingies */
10418     /* XXX time(&PL_basetime) when asked for? */
10419     PL_basetime         = proto_perl->Ibasetime;
10420     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
10421
10422     PL_maxsysfd         = proto_perl->Imaxsysfd;
10423     PL_multiline        = proto_perl->Imultiline;
10424     PL_statusvalue      = proto_perl->Istatusvalue;
10425 #ifdef VMS
10426     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
10427 #else
10428     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
10429 #endif
10430     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
10431
10432     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
10433     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
10434     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
10435
10436     /* Clone the regex array */
10437     PL_regex_padav = newAV();
10438     {
10439         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
10440         SV* const * const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
10441         IV i;
10442         av_push(PL_regex_padav,
10443                 sv_dup_inc(regexen[0],param));
10444         for(i = 1; i <= len; i++) {
10445             const SV * const regex = regexen[i];
10446             SV * const sv =
10447                 SvREPADTMP(regex)
10448                     ? sv_dup_inc(regex, param)
10449                     : SvREFCNT_inc(
10450                         newSViv(PTR2IV(re_dup(
10451                                 INT2PTR(REGEXP *, SvIVX(regex)), param))))
10452                 ;
10453             av_push(PL_regex_padav, sv);
10454         }
10455     }
10456     PL_regex_pad = AvARRAY(PL_regex_padav);
10457
10458     /* shortcuts to various I/O objects */
10459     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
10460     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
10461     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
10462     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
10463     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
10464     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
10465
10466     /* shortcuts to regexp stuff */
10467     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
10468
10469     /* shortcuts to misc objects */
10470     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
10471
10472     /* shortcuts to debugging objects */
10473     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
10474     PL_DBline           = gv_dup(proto_perl->IDBline, param);
10475     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
10476     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
10477     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
10478     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
10479     PL_DBassertion      = sv_dup(proto_perl->IDBassertion, param);
10480     PL_lineary          = av_dup(proto_perl->Ilineary, param);
10481     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
10482
10483     /* symbol tables */
10484     PL_defstash         = hv_dup_inc(proto_perl->Tdefstash, param);
10485     PL_curstash         = hv_dup(proto_perl->Tcurstash, param);
10486     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
10487     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
10488     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
10489
10490     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
10491     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
10492     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
10493     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
10494     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
10495     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
10496
10497     PL_sub_generation   = proto_perl->Isub_generation;
10498
10499     /* funky return mechanisms */
10500     PL_forkprocess      = proto_perl->Iforkprocess;
10501
10502     /* subprocess state */
10503     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
10504
10505     /* internal state */
10506     PL_maxo             = proto_perl->Imaxo;
10507     if (proto_perl->Iop_mask)
10508         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
10509     else
10510         PL_op_mask      = Nullch;
10511     /* PL_asserting        = proto_perl->Iasserting; */
10512
10513     /* current interpreter roots */
10514     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
10515     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
10516     PL_main_start       = proto_perl->Imain_start;
10517     PL_eval_root        = proto_perl->Ieval_root;
10518     PL_eval_start       = proto_perl->Ieval_start;
10519
10520     /* runtime control stuff */
10521     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
10522     PL_copline          = proto_perl->Icopline;
10523
10524     PL_filemode         = proto_perl->Ifilemode;
10525     PL_lastfd           = proto_perl->Ilastfd;
10526     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
10527     PL_Argv             = NULL;
10528     PL_Cmd              = Nullch;
10529     PL_gensym           = proto_perl->Igensym;
10530     PL_preambled        = proto_perl->Ipreambled;
10531     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
10532     PL_laststatval      = proto_perl->Ilaststatval;
10533     PL_laststype        = proto_perl->Ilaststype;
10534     PL_mess_sv          = Nullsv;
10535
10536     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
10537
10538     /* interpreter atexit processing */
10539     PL_exitlistlen      = proto_perl->Iexitlistlen;
10540     if (PL_exitlistlen) {
10541         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
10542         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
10543     }
10544     else
10545         PL_exitlist     = (PerlExitListEntry*)NULL;
10546
10547     PL_my_cxt_size = proto_perl->Imy_cxt_size;
10548     if (PL_my_cxt_size) {
10549         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
10550         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
10551     }
10552     else
10553         PL_my_cxt_list  = (void**)NULL;
10554     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
10555     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
10556     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
10557
10558     PL_profiledata      = NULL;
10559     PL_rsfp             = fp_dup(proto_perl->Irsfp, '<', param);
10560     /* PL_rsfp_filters entries have fake IoDIRP() */
10561     PL_rsfp_filters     = av_dup_inc(proto_perl->Irsfp_filters, param);
10562
10563     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
10564
10565     PAD_CLONE_VARS(proto_perl, param);
10566
10567 #ifdef HAVE_INTERP_INTERN
10568     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
10569 #endif
10570
10571     /* more statics moved here */
10572     PL_generation       = proto_perl->Igeneration;
10573     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
10574
10575     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
10576     PL_in_clean_all     = proto_perl->Iin_clean_all;
10577
10578     PL_uid              = proto_perl->Iuid;
10579     PL_euid             = proto_perl->Ieuid;
10580     PL_gid              = proto_perl->Igid;
10581     PL_egid             = proto_perl->Iegid;
10582     PL_nomemok          = proto_perl->Inomemok;
10583     PL_an               = proto_perl->Ian;
10584     PL_evalseq          = proto_perl->Ievalseq;
10585     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
10586     PL_origalen         = proto_perl->Iorigalen;
10587 #ifdef PERL_USES_PL_PIDSTATUS
10588     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
10589 #endif
10590     PL_osname           = SAVEPV(proto_perl->Iosname);
10591     PL_sighandlerp      = proto_perl->Isighandlerp;
10592
10593     PL_runops           = proto_perl->Irunops;
10594
10595     Copy(proto_perl->Itokenbuf, PL_tokenbuf, 256, char);
10596
10597 #ifdef CSH
10598     PL_cshlen           = proto_perl->Icshlen;
10599     PL_cshname          = proto_perl->Icshname; /* XXX never deallocated */
10600 #endif
10601
10602     PL_lex_state        = proto_perl->Ilex_state;
10603     PL_lex_defer        = proto_perl->Ilex_defer;
10604     PL_lex_expect       = proto_perl->Ilex_expect;
10605     PL_lex_formbrack    = proto_perl->Ilex_formbrack;
10606     PL_lex_dojoin       = proto_perl->Ilex_dojoin;
10607     PL_lex_starts       = proto_perl->Ilex_starts;
10608     PL_lex_stuff        = sv_dup_inc(proto_perl->Ilex_stuff, param);
10609     PL_lex_repl         = sv_dup_inc(proto_perl->Ilex_repl, param);
10610     PL_lex_op           = proto_perl->Ilex_op;
10611     PL_lex_inpat        = proto_perl->Ilex_inpat;
10612     PL_lex_inwhat       = proto_perl->Ilex_inwhat;
10613     PL_lex_brackets     = proto_perl->Ilex_brackets;
10614     i = (PL_lex_brackets < 120 ? 120 : PL_lex_brackets);
10615     PL_lex_brackstack   = SAVEPVN(proto_perl->Ilex_brackstack,i);
10616     PL_lex_casemods     = proto_perl->Ilex_casemods;
10617     i = (PL_lex_casemods < 12 ? 12 : PL_lex_casemods);
10618     PL_lex_casestack    = SAVEPVN(proto_perl->Ilex_casestack,i);
10619
10620     Copy(proto_perl->Inextval, PL_nextval, 5, YYSTYPE);
10621     Copy(proto_perl->Inexttype, PL_nexttype, 5, I32);
10622     PL_nexttoke         = proto_perl->Inexttoke;
10623
10624     /* XXX This is probably masking the deeper issue of why
10625      * SvANY(proto_perl->Ilinestr) can be NULL at this point. For test case:
10626      * http://archive.develooper.com/perl5-porters%40perl.org/msg83298.html
10627      * (A little debugging with a watchpoint on it may help.)
10628      */
10629     if (SvANY(proto_perl->Ilinestr)) {
10630         PL_linestr              = sv_dup_inc(proto_perl->Ilinestr, param);
10631         i = proto_perl->Ibufptr - SvPVX_const(proto_perl->Ilinestr);
10632         PL_bufptr               = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10633         i = proto_perl->Ioldbufptr - SvPVX_const(proto_perl->Ilinestr);
10634         PL_oldbufptr    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10635         i = proto_perl->Ioldoldbufptr - SvPVX_const(proto_perl->Ilinestr);
10636         PL_oldoldbufptr = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10637         i = proto_perl->Ilinestart - SvPVX_const(proto_perl->Ilinestr);
10638         PL_linestart    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10639     }
10640     else {
10641         PL_linestr = newSV(79);
10642         sv_upgrade(PL_linestr,SVt_PVIV);
10643         sv_setpvn(PL_linestr,"",0);
10644         PL_bufptr = PL_oldbufptr = PL_oldoldbufptr = PL_linestart = SvPVX(PL_linestr);
10645     }
10646     PL_bufend           = SvPVX(PL_linestr) + SvCUR(PL_linestr);
10647     PL_pending_ident    = proto_perl->Ipending_ident;
10648     PL_sublex_info      = proto_perl->Isublex_info;     /* XXX not quite right */
10649
10650     PL_expect           = proto_perl->Iexpect;
10651
10652     PL_multi_start      = proto_perl->Imulti_start;
10653     PL_multi_end        = proto_perl->Imulti_end;
10654     PL_multi_open       = proto_perl->Imulti_open;
10655     PL_multi_close      = proto_perl->Imulti_close;
10656
10657     PL_error_count      = proto_perl->Ierror_count;
10658     PL_subline          = proto_perl->Isubline;
10659     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
10660
10661     /* XXX See comment on SvANY(proto_perl->Ilinestr) above */
10662     if (SvANY(proto_perl->Ilinestr)) {
10663         i = proto_perl->Ilast_uni - SvPVX_const(proto_perl->Ilinestr);
10664         PL_last_uni             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10665         i = proto_perl->Ilast_lop - SvPVX_const(proto_perl->Ilinestr);
10666         PL_last_lop             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10667         PL_last_lop_op  = proto_perl->Ilast_lop_op;
10668     }
10669     else {
10670         PL_last_uni     = SvPVX(PL_linestr);
10671         PL_last_lop     = SvPVX(PL_linestr);
10672         PL_last_lop_op  = 0;
10673     }
10674     PL_in_my            = proto_perl->Iin_my;
10675     PL_in_my_stash      = hv_dup(proto_perl->Iin_my_stash, param);
10676 #ifdef FCRYPT
10677     PL_cryptseen        = proto_perl->Icryptseen;
10678 #endif
10679
10680     PL_hints            = proto_perl->Ihints;
10681
10682     PL_amagic_generation        = proto_perl->Iamagic_generation;
10683
10684 #ifdef USE_LOCALE_COLLATE
10685     PL_collation_ix     = proto_perl->Icollation_ix;
10686     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
10687     PL_collation_standard       = proto_perl->Icollation_standard;
10688     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
10689     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
10690 #endif /* USE_LOCALE_COLLATE */
10691
10692 #ifdef USE_LOCALE_NUMERIC
10693     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
10694     PL_numeric_standard = proto_perl->Inumeric_standard;
10695     PL_numeric_local    = proto_perl->Inumeric_local;
10696     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
10697 #endif /* !USE_LOCALE_NUMERIC */
10698
10699     /* utf8 character classes */
10700     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
10701     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
10702     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
10703     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
10704     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
10705     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
10706     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
10707     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
10708     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
10709     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
10710     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
10711     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
10712     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
10713     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
10714     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
10715     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
10716     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
10717     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
10718     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
10719     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
10720
10721     /* Did the locale setup indicate UTF-8? */
10722     PL_utf8locale       = proto_perl->Iutf8locale;
10723     /* Unicode features (see perlrun/-C) */
10724     PL_unicode          = proto_perl->Iunicode;
10725
10726     /* Pre-5.8 signals control */
10727     PL_signals          = proto_perl->Isignals;
10728
10729     /* times() ticks per second */
10730     PL_clocktick        = proto_perl->Iclocktick;
10731
10732     /* Recursion stopper for PerlIO_find_layer */
10733     PL_in_load_module   = proto_perl->Iin_load_module;
10734
10735     /* sort() routine */
10736     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
10737
10738     /* Not really needed/useful since the reenrant_retint is "volatile",
10739      * but do it for consistency's sake. */
10740     PL_reentrant_retint = proto_perl->Ireentrant_retint;
10741
10742     /* Hooks to shared SVs and locks. */
10743     PL_sharehook        = proto_perl->Isharehook;
10744     PL_lockhook         = proto_perl->Ilockhook;
10745     PL_unlockhook       = proto_perl->Iunlockhook;
10746     PL_threadhook       = proto_perl->Ithreadhook;
10747
10748     PL_runops_std       = proto_perl->Irunops_std;
10749     PL_runops_dbg       = proto_perl->Irunops_dbg;
10750
10751 #ifdef THREADS_HAVE_PIDS
10752     PL_ppid             = proto_perl->Ippid;
10753 #endif
10754
10755     /* swatch cache */
10756     PL_last_swash_hv    = NULL; /* reinits on demand */
10757     PL_last_swash_klen  = 0;
10758     PL_last_swash_key[0]= '\0';
10759     PL_last_swash_tmps  = (U8*)NULL;
10760     PL_last_swash_slen  = 0;
10761
10762     PL_glob_index       = proto_perl->Iglob_index;
10763     PL_srand_called     = proto_perl->Isrand_called;
10764     PL_uudmap['M']      = 0;            /* reinits on demand */
10765     PL_bitcount         = Nullch;       /* reinits on demand */
10766
10767     if (proto_perl->Ipsig_pend) {
10768         Newxz(PL_psig_pend, SIG_SIZE, int);
10769     }
10770     else {
10771         PL_psig_pend    = (int*)NULL;
10772     }
10773
10774     if (proto_perl->Ipsig_ptr) {
10775         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
10776         Newxz(PL_psig_name, SIG_SIZE, SV*);
10777         for (i = 1; i < SIG_SIZE; i++) {
10778             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
10779             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
10780         }
10781     }
10782     else {
10783         PL_psig_ptr     = (SV**)NULL;
10784         PL_psig_name    = (SV**)NULL;
10785     }
10786
10787     /* thrdvar.h stuff */
10788
10789     if (flags & CLONEf_COPY_STACKS) {
10790         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
10791         PL_tmps_ix              = proto_perl->Ttmps_ix;
10792         PL_tmps_max             = proto_perl->Ttmps_max;
10793         PL_tmps_floor           = proto_perl->Ttmps_floor;
10794         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
10795         i = 0;
10796         while (i <= PL_tmps_ix) {
10797             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Ttmps_stack[i], param);
10798             ++i;
10799         }
10800
10801         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
10802         i = proto_perl->Tmarkstack_max - proto_perl->Tmarkstack;
10803         Newxz(PL_markstack, i, I32);
10804         PL_markstack_max        = PL_markstack + (proto_perl->Tmarkstack_max
10805                                                   - proto_perl->Tmarkstack);
10806         PL_markstack_ptr        = PL_markstack + (proto_perl->Tmarkstack_ptr
10807                                                   - proto_perl->Tmarkstack);
10808         Copy(proto_perl->Tmarkstack, PL_markstack,
10809              PL_markstack_ptr - PL_markstack + 1, I32);
10810
10811         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
10812          * NOTE: unlike the others! */
10813         PL_scopestack_ix        = proto_perl->Tscopestack_ix;
10814         PL_scopestack_max       = proto_perl->Tscopestack_max;
10815         Newxz(PL_scopestack, PL_scopestack_max, I32);
10816         Copy(proto_perl->Tscopestack, PL_scopestack, PL_scopestack_ix, I32);
10817
10818         /* NOTE: si_dup() looks at PL_markstack */
10819         PL_curstackinfo         = si_dup(proto_perl->Tcurstackinfo, param);
10820
10821         /* PL_curstack          = PL_curstackinfo->si_stack; */
10822         PL_curstack             = av_dup(proto_perl->Tcurstack, param);
10823         PL_mainstack            = av_dup(proto_perl->Tmainstack, param);
10824
10825         /* next PUSHs() etc. set *(PL_stack_sp+1) */
10826         PL_stack_base           = AvARRAY(PL_curstack);
10827         PL_stack_sp             = PL_stack_base + (proto_perl->Tstack_sp
10828                                                    - proto_perl->Tstack_base);
10829         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
10830
10831         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
10832          * NOTE: unlike the others! */
10833         PL_savestack_ix         = proto_perl->Tsavestack_ix;
10834         PL_savestack_max        = proto_perl->Tsavestack_max;
10835         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
10836         PL_savestack            = ss_dup(proto_perl, param);
10837     }
10838     else {
10839         init_stacks();
10840         ENTER;                  /* perl_destruct() wants to LEAVE; */
10841
10842         /* although we're not duplicating the tmps stack, we should still
10843          * add entries for any SVs on the tmps stack that got cloned by a
10844          * non-refcount means (eg a temp in @_); otherwise they will be
10845          * orphaned
10846          */
10847         for (i = 0; i<= proto_perl->Ttmps_ix; i++) {
10848             SV * const nsv = (SV*)ptr_table_fetch(PL_ptr_table,
10849                     proto_perl->Ttmps_stack[i]);
10850             if (nsv && !SvREFCNT(nsv)) {
10851                 EXTEND_MORTAL(1);
10852                 PL_tmps_stack[++PL_tmps_ix] = SvREFCNT_inc(nsv);
10853             }
10854         }
10855     }
10856
10857     PL_start_env        = proto_perl->Tstart_env;       /* XXXXXX */
10858     PL_top_env          = &PL_start_env;
10859
10860     PL_op               = proto_perl->Top;
10861
10862     PL_Sv               = Nullsv;
10863     PL_Xpv              = (XPV*)NULL;
10864     PL_na               = proto_perl->Tna;
10865
10866     PL_statbuf          = proto_perl->Tstatbuf;
10867     PL_statcache        = proto_perl->Tstatcache;
10868     PL_statgv           = gv_dup(proto_perl->Tstatgv, param);
10869     PL_statname         = sv_dup_inc(proto_perl->Tstatname, param);
10870 #ifdef HAS_TIMES
10871     PL_timesbuf         = proto_perl->Ttimesbuf;
10872 #endif
10873
10874     PL_tainted          = proto_perl->Ttainted;
10875     PL_curpm            = proto_perl->Tcurpm;   /* XXX No PMOP ref count */
10876     PL_rs               = sv_dup_inc(proto_perl->Trs, param);
10877     PL_last_in_gv       = gv_dup(proto_perl->Tlast_in_gv, param);
10878     PL_ofs_sv           = sv_dup_inc(proto_perl->Tofs_sv, param);
10879     PL_defoutgv         = gv_dup_inc(proto_perl->Tdefoutgv, param);
10880     PL_chopset          = proto_perl->Tchopset; /* XXX never deallocated */
10881     PL_toptarget        = sv_dup_inc(proto_perl->Ttoptarget, param);
10882     PL_bodytarget       = sv_dup_inc(proto_perl->Tbodytarget, param);
10883     PL_formtarget       = sv_dup(proto_perl->Tformtarget, param);
10884
10885     PL_restartop        = proto_perl->Trestartop;
10886     PL_in_eval          = proto_perl->Tin_eval;
10887     PL_delaymagic       = proto_perl->Tdelaymagic;
10888     PL_dirty            = proto_perl->Tdirty;
10889     PL_localizing       = proto_perl->Tlocalizing;
10890
10891     PL_errors           = sv_dup_inc(proto_perl->Terrors, param);
10892     PL_hv_fetch_ent_mh  = Nullhe;
10893     PL_modcount         = proto_perl->Tmodcount;
10894     PL_lastgotoprobe    = Nullop;
10895     PL_dumpindent       = proto_perl->Tdumpindent;
10896
10897     PL_sortcop          = (OP*)any_dup(proto_perl->Tsortcop, proto_perl);
10898     PL_sortstash        = hv_dup(proto_perl->Tsortstash, param);
10899     PL_firstgv          = gv_dup(proto_perl->Tfirstgv, param);
10900     PL_secondgv         = gv_dup(proto_perl->Tsecondgv, param);
10901     PL_efloatbuf        = Nullch;               /* reinits on demand */
10902     PL_efloatsize       = 0;                    /* reinits on demand */
10903
10904     /* regex stuff */
10905
10906     PL_screamfirst      = NULL;
10907     PL_screamnext       = NULL;
10908     PL_maxscream        = -1;                   /* reinits on demand */
10909     PL_lastscream       = Nullsv;
10910
10911     PL_watchaddr        = NULL;
10912     PL_watchok          = Nullch;
10913
10914     PL_regdummy         = proto_perl->Tregdummy;
10915     PL_regprecomp       = Nullch;
10916     PL_regnpar          = 0;
10917     PL_regsize          = 0;
10918     PL_colorset         = 0;            /* reinits PL_colors[] */
10919     /*PL_colors[6]      = {0,0,0,0,0,0};*/
10920     PL_reginput         = Nullch;
10921     PL_regbol           = Nullch;
10922     PL_regeol           = Nullch;
10923     PL_regstartp        = (I32*)NULL;
10924     PL_regendp          = (I32*)NULL;
10925     PL_reglastparen     = (U32*)NULL;
10926     PL_reglastcloseparen        = (U32*)NULL;
10927     PL_regtill          = Nullch;
10928     PL_reg_start_tmp    = (char**)NULL;
10929     PL_reg_start_tmpl   = 0;
10930     PL_regdata          = (struct reg_data*)NULL;
10931     PL_bostr            = Nullch;
10932     PL_reg_flags        = 0;
10933     PL_reg_eval_set     = 0;
10934     PL_regnarrate       = 0;
10935     PL_regprogram       = (regnode*)NULL;
10936     PL_regindent        = 0;
10937     PL_regcc            = (CURCUR*)NULL;
10938     PL_reg_call_cc      = (struct re_cc_state*)NULL;
10939     PL_reg_re           = (regexp*)NULL;
10940     PL_reg_ganch        = Nullch;
10941     PL_reg_sv           = Nullsv;
10942     PL_reg_match_utf8   = FALSE;
10943     PL_reg_magic        = (MAGIC*)NULL;
10944     PL_reg_oldpos       = 0;
10945     PL_reg_oldcurpm     = (PMOP*)NULL;
10946     PL_reg_curpm        = (PMOP*)NULL;
10947     PL_reg_oldsaved     = Nullch;
10948     PL_reg_oldsavedlen  = 0;
10949 #ifdef PERL_OLD_COPY_ON_WRITE
10950     PL_nrs              = Nullsv;
10951 #endif
10952     PL_reg_maxiter      = 0;
10953     PL_reg_leftiter     = 0;
10954     PL_reg_poscache     = Nullch;
10955     PL_reg_poscache_size= 0;
10956
10957     /* RE engine - function pointers */
10958     PL_regcompp         = proto_perl->Tregcompp;
10959     PL_regexecp         = proto_perl->Tregexecp;
10960     PL_regint_start     = proto_perl->Tregint_start;
10961     PL_regint_string    = proto_perl->Tregint_string;
10962     PL_regfree          = proto_perl->Tregfree;
10963
10964     PL_reginterp_cnt    = 0;
10965     PL_reg_starttry     = 0;
10966
10967     /* Pluggable optimizer */
10968     PL_peepp            = proto_perl->Tpeepp;
10969
10970     PL_stashcache       = newHV();
10971
10972     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
10973         ptr_table_free(PL_ptr_table);
10974         PL_ptr_table = NULL;
10975     }
10976
10977     /* Call the ->CLONE method, if it exists, for each of the stashes
10978        identified by sv_dup() above.
10979     */
10980     while(av_len(param->stashes) != -1) {
10981         HV* const stash = (HV*) av_shift(param->stashes);
10982         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
10983         if (cloner && GvCV(cloner)) {
10984             dSP;
10985             ENTER;
10986             SAVETMPS;
10987             PUSHMARK(SP);
10988             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
10989             PUTBACK;
10990             call_sv((SV*)GvCV(cloner), G_DISCARD);
10991             FREETMPS;
10992             LEAVE;
10993         }
10994     }
10995
10996     SvREFCNT_dec(param->stashes);
10997
10998     /* orphaned? eg threads->new inside BEGIN or use */
10999     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11000         (void)SvREFCNT_inc(PL_compcv);
11001         SAVEFREESV(PL_compcv);
11002     }
11003
11004     return my_perl;
11005 }
11006
11007 #endif /* USE_ITHREADS */
11008
11009 /*
11010 =head1 Unicode Support
11011
11012 =for apidoc sv_recode_to_utf8
11013
11014 The encoding is assumed to be an Encode object, on entry the PV
11015 of the sv is assumed to be octets in that encoding, and the sv
11016 will be converted into Unicode (and UTF-8).
11017
11018 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11019 is not a reference, nothing is done to the sv.  If the encoding is not
11020 an C<Encode::XS> Encoding object, bad things will happen.
11021 (See F<lib/encoding.pm> and L<Encode>).
11022
11023 The PV of the sv is returned.
11024
11025 =cut */
11026
11027 char *
11028 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11029 {
11030     dVAR;
11031     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11032         SV *uni;
11033         STRLEN len;
11034         const char *s;
11035         dSP;
11036         ENTER;
11037         SAVETMPS;
11038         save_re_context();
11039         PUSHMARK(sp);
11040         EXTEND(SP, 3);
11041         XPUSHs(encoding);
11042         XPUSHs(sv);
11043 /*
11044   NI-S 2002/07/09
11045   Passing sv_yes is wrong - it needs to be or'ed set of constants
11046   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11047   remove converted chars from source.
11048
11049   Both will default the value - let them.
11050
11051         XPUSHs(&PL_sv_yes);
11052 */
11053         PUTBACK;
11054         call_method("decode", G_SCALAR);
11055         SPAGAIN;
11056         uni = POPs;
11057         PUTBACK;
11058         s = SvPV_const(uni, len);
11059         if (s != SvPVX_const(sv)) {
11060             SvGROW(sv, len + 1);
11061             Move(s, SvPVX(sv), len + 1, char);
11062             SvCUR_set(sv, len);
11063         }
11064         FREETMPS;
11065         LEAVE;
11066         SvUTF8_on(sv);
11067         return SvPVX(sv);
11068     }
11069     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11070 }
11071
11072 /*
11073 =for apidoc sv_cat_decode
11074
11075 The encoding is assumed to be an Encode object, the PV of the ssv is
11076 assumed to be octets in that encoding and decoding the input starts
11077 from the position which (PV + *offset) pointed to.  The dsv will be
11078 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11079 when the string tstr appears in decoding output or the input ends on
11080 the PV of the ssv. The value which the offset points will be modified
11081 to the last input position on the ssv.
11082
11083 Returns TRUE if the terminator was found, else returns FALSE.
11084
11085 =cut */
11086
11087 bool
11088 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11089                    SV *ssv, int *offset, char *tstr, int tlen)
11090 {
11091     dVAR;
11092     bool ret = FALSE;
11093     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11094         SV *offsv;
11095         dSP;
11096         ENTER;
11097         SAVETMPS;
11098         save_re_context();
11099         PUSHMARK(sp);
11100         EXTEND(SP, 6);
11101         XPUSHs(encoding);
11102         XPUSHs(dsv);
11103         XPUSHs(ssv);
11104         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11105         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11106         PUTBACK;
11107         call_method("cat_decode", G_SCALAR);
11108         SPAGAIN;
11109         ret = SvTRUE(TOPs);
11110         *offset = SvIV(offsv);
11111         PUTBACK;
11112         FREETMPS;
11113         LEAVE;
11114     }
11115     else
11116         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11117     return ret;
11118
11119 }
11120
11121 /* ---------------------------------------------------------------------
11122  *
11123  * support functions for report_uninit()
11124  */
11125
11126 /* the maxiumum size of array or hash where we will scan looking
11127  * for the undefined element that triggered the warning */
11128
11129 #define FUV_MAX_SEARCH_SIZE 1000
11130
11131 /* Look for an entry in the hash whose value has the same SV as val;
11132  * If so, return a mortal copy of the key. */
11133
11134 STATIC SV*
11135 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11136 {
11137     dVAR;
11138     register HE **array;
11139     I32 i;
11140
11141     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11142                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11143         return Nullsv;
11144
11145     array = HvARRAY(hv);
11146
11147     for (i=HvMAX(hv); i>0; i--) {
11148         register HE *entry;
11149         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11150             if (HeVAL(entry) != val)
11151                 continue;
11152             if (    HeVAL(entry) == &PL_sv_undef ||
11153                     HeVAL(entry) == &PL_sv_placeholder)
11154                 continue;
11155             if (!HeKEY(entry))
11156                 return Nullsv;
11157             if (HeKLEN(entry) == HEf_SVKEY)
11158                 return sv_mortalcopy(HeKEY_sv(entry));
11159             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11160         }
11161     }
11162     return Nullsv;
11163 }
11164
11165 /* Look for an entry in the array whose value has the same SV as val;
11166  * If so, return the index, otherwise return -1. */
11167
11168 STATIC I32
11169 S_find_array_subscript(pTHX_ AV *av, SV* val)
11170 {
11171     dVAR;
11172     SV** svp;
11173     I32 i;
11174     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11175                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11176         return -1;
11177
11178     svp = AvARRAY(av);
11179     for (i=AvFILLp(av); i>=0; i--) {
11180         if (svp[i] == val && svp[i] != &PL_sv_undef)
11181             return i;
11182     }
11183     return -1;
11184 }
11185
11186 /* S_varname(): return the name of a variable, optionally with a subscript.
11187  * If gv is non-zero, use the name of that global, along with gvtype (one
11188  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11189  * targ.  Depending on the value of the subscript_type flag, return:
11190  */
11191
11192 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11193 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11194 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11195 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11196
11197 STATIC SV*
11198 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11199         SV* keyname, I32 aindex, int subscript_type)
11200 {
11201
11202     SV * const name = sv_newmortal();
11203     if (gv) {
11204         char buffer[2];
11205         buffer[0] = gvtype;
11206         buffer[1] = 0;
11207
11208         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11209
11210         gv_fullname4(name, gv, buffer, 0);
11211
11212         if ((unsigned int)SvPVX(name)[1] <= 26) {
11213             buffer[0] = '^';
11214             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11215
11216             /* Swap the 1 unprintable control character for the 2 byte pretty
11217                version - ie substr($name, 1, 1) = $buffer; */
11218             sv_insert(name, 1, 1, buffer, 2);
11219         }
11220     }
11221     else {
11222         U32 unused;
11223         CV * const cv = find_runcv(&unused);
11224         SV *sv;
11225         AV *av;
11226
11227         if (!cv || !CvPADLIST(cv))
11228             return Nullsv;
11229         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11230         sv = *av_fetch(av, targ, FALSE);
11231         /* SvLEN in a pad name is not to be trusted */
11232         sv_setpv(name, SvPV_nolen_const(sv));
11233     }
11234
11235     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11236         SV * const sv = newSV(0);
11237         *SvPVX(name) = '$';
11238         Perl_sv_catpvf(aTHX_ name, "{%s}",
11239             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11240         SvREFCNT_dec(sv);
11241     }
11242     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11243         *SvPVX(name) = '$';
11244         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11245     }
11246     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11247         Perl_sv_insert(aTHX_ name, 0, 0,  STR_WITH_LEN("within "));
11248
11249     return name;
11250 }
11251
11252
11253 /*
11254 =for apidoc find_uninit_var
11255
11256 Find the name of the undefined variable (if any) that caused the operator o
11257 to issue a "Use of uninitialized value" warning.
11258 If match is true, only return a name if it's value matches uninit_sv.
11259 So roughly speaking, if a unary operator (such as OP_COS) generates a
11260 warning, then following the direct child of the op may yield an
11261 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11262 other hand, with OP_ADD there are two branches to follow, so we only print
11263 the variable name if we get an exact match.
11264
11265 The name is returned as a mortal SV.
11266
11267 Assumes that PL_op is the op that originally triggered the error, and that
11268 PL_comppad/PL_curpad points to the currently executing pad.
11269
11270 =cut
11271 */
11272
11273 STATIC SV *
11274 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11275 {
11276     dVAR;
11277     SV *sv;
11278     AV *av;
11279     GV *gv;
11280     OP *o, *o2, *kid;
11281
11282     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11283                             uninit_sv == &PL_sv_placeholder)))
11284         return Nullsv;
11285
11286     switch (obase->op_type) {
11287
11288     case OP_RV2AV:
11289     case OP_RV2HV:
11290     case OP_PADAV:
11291     case OP_PADHV:
11292       {
11293         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11294         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11295         I32 index = 0;
11296         SV *keysv = Nullsv;
11297         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11298
11299         if (pad) { /* @lex, %lex */
11300             sv = PAD_SVl(obase->op_targ);
11301             gv = Nullgv;
11302         }
11303         else {
11304             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11305             /* @global, %global */
11306                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11307                 if (!gv)
11308                     break;
11309                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11310             }
11311             else /* @{expr}, %{expr} */
11312                 return find_uninit_var(cUNOPx(obase)->op_first,
11313                                                     uninit_sv, match);
11314         }
11315
11316         /* attempt to find a match within the aggregate */
11317         if (hash) {
11318             keysv = S_find_hash_subscript(aTHX_ (HV*)sv, uninit_sv);
11319             if (keysv)
11320                 subscript_type = FUV_SUBSCRIPT_HASH;
11321         }
11322         else {
11323             index = S_find_array_subscript(aTHX_ (AV*)sv, uninit_sv);
11324             if (index >= 0)
11325                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11326         }
11327
11328         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11329             break;
11330
11331         return varname(gv, hash ? '%' : '@', obase->op_targ,
11332                                     keysv, index, subscript_type);
11333       }
11334
11335     case OP_PADSV:
11336         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11337             break;
11338         return varname(Nullgv, '$', obase->op_targ,
11339                                     Nullsv, 0, FUV_SUBSCRIPT_NONE);
11340
11341     case OP_GVSV:
11342         gv = cGVOPx_gv(obase);
11343         if (!gv || (match && GvSV(gv) != uninit_sv))
11344             break;
11345         return varname(gv, '$', 0, Nullsv, 0, FUV_SUBSCRIPT_NONE);
11346
11347     case OP_AELEMFAST:
11348         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11349             if (match) {
11350                 SV **svp;
11351                 av = (AV*)PAD_SV(obase->op_targ);
11352                 if (!av || SvRMAGICAL(av))
11353                     break;
11354                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11355                 if (!svp || *svp != uninit_sv)
11356                     break;
11357             }
11358             return varname(Nullgv, '$', obase->op_targ,
11359                     Nullsv, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11360         }
11361         else {
11362             gv = cGVOPx_gv(obase);
11363             if (!gv)
11364                 break;
11365             if (match) {
11366                 SV **svp;
11367                 av = GvAV(gv);
11368                 if (!av || SvRMAGICAL(av))
11369                     break;
11370                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11371                 if (!svp || *svp != uninit_sv)
11372                     break;
11373             }
11374             return varname(gv, '$', 0,
11375                     Nullsv, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11376         }
11377         break;
11378
11379     case OP_EXISTS:
11380         o = cUNOPx(obase)->op_first;
11381         if (!o || o->op_type != OP_NULL ||
11382                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11383             break;
11384         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11385
11386     case OP_AELEM:
11387     case OP_HELEM:
11388         if (PL_op == obase)
11389             /* $a[uninit_expr] or $h{uninit_expr} */
11390             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11391
11392         gv = Nullgv;
11393         o = cBINOPx(obase)->op_first;
11394         kid = cBINOPx(obase)->op_last;
11395
11396         /* get the av or hv, and optionally the gv */
11397         sv = Nullsv;
11398         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
11399             sv = PAD_SV(o->op_targ);
11400         }
11401         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
11402                 && cUNOPo->op_first->op_type == OP_GV)
11403         {
11404             gv = cGVOPx_gv(cUNOPo->op_first);
11405             if (!gv)
11406                 break;
11407             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
11408         }
11409         if (!sv)
11410             break;
11411
11412         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
11413             /* index is constant */
11414             if (match) {
11415                 if (SvMAGICAL(sv))
11416                     break;
11417                 if (obase->op_type == OP_HELEM) {
11418                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
11419                     if (!he || HeVAL(he) != uninit_sv)
11420                         break;
11421                 }
11422                 else {
11423                     SV * const * const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
11424                     if (!svp || *svp != uninit_sv)
11425                         break;
11426                 }
11427             }
11428             if (obase->op_type == OP_HELEM)
11429                 return varname(gv, '%', o->op_targ,
11430                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
11431             else
11432                 return varname(gv, '@', o->op_targ, Nullsv,
11433                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
11434         }
11435         else  {
11436             /* index is an expression;
11437              * attempt to find a match within the aggregate */
11438             if (obase->op_type == OP_HELEM) {
11439                 SV * const keysv = S_find_hash_subscript(aTHX_ (HV*)sv, uninit_sv);
11440                 if (keysv)
11441                     return varname(gv, '%', o->op_targ,
11442                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
11443             }
11444             else {
11445                 const I32 index = S_find_array_subscript(aTHX_ (AV*)sv, uninit_sv);
11446                 if (index >= 0)
11447                     return varname(gv, '@', o->op_targ,
11448                                         Nullsv, index, FUV_SUBSCRIPT_ARRAY);
11449             }
11450             if (match)
11451                 break;
11452             return varname(gv,
11453                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
11454                 ? '@' : '%',
11455                 o->op_targ, Nullsv, 0, FUV_SUBSCRIPT_WITHIN);
11456         }
11457
11458         break;
11459
11460     case OP_AASSIGN:
11461         /* only examine RHS */
11462         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
11463
11464     case OP_OPEN:
11465         o = cUNOPx(obase)->op_first;
11466         if (o->op_type == OP_PUSHMARK)
11467             o = o->op_sibling;
11468
11469         if (!o->op_sibling) {
11470             /* one-arg version of open is highly magical */
11471
11472             if (o->op_type == OP_GV) { /* open FOO; */
11473                 gv = cGVOPx_gv(o);
11474                 if (match && GvSV(gv) != uninit_sv)
11475                     break;
11476                 return varname(gv, '$', 0,
11477                             Nullsv, 0, FUV_SUBSCRIPT_NONE);
11478             }
11479             /* other possibilities not handled are:
11480              * open $x; or open my $x;  should return '${*$x}'
11481              * open expr;               should return '$'.expr ideally
11482              */
11483              break;
11484         }
11485         goto do_op;
11486
11487     /* ops where $_ may be an implicit arg */
11488     case OP_TRANS:
11489     case OP_SUBST:
11490     case OP_MATCH:
11491         if ( !(obase->op_flags & OPf_STACKED)) {
11492             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
11493                                  ? PAD_SVl(obase->op_targ)
11494                                  : DEFSV))
11495             {
11496                 sv = sv_newmortal();
11497                 sv_setpvn(sv, "$_", 2);
11498                 return sv;
11499             }
11500         }
11501         goto do_op;
11502
11503     case OP_PRTF:
11504     case OP_PRINT:
11505         /* skip filehandle as it can't produce 'undef' warning  */
11506         o = cUNOPx(obase)->op_first;
11507         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
11508             o = o->op_sibling->op_sibling;
11509         goto do_op2;
11510
11511
11512     case OP_RV2SV:
11513     case OP_CUSTOM:
11514     case OP_ENTERSUB:
11515         match = 1; /* XS or custom code could trigger random warnings */
11516         goto do_op;
11517
11518     case OP_SCHOMP:
11519     case OP_CHOMP:
11520         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
11521             return sv_2mortal(newSVpvs("${$/}"));
11522         /* FALL THROUGH */
11523
11524     default:
11525     do_op:
11526         if (!(obase->op_flags & OPf_KIDS))
11527             break;
11528         o = cUNOPx(obase)->op_first;
11529         
11530     do_op2:
11531         if (!o)
11532             break;
11533
11534         /* if all except one arg are constant, or have no side-effects,
11535          * or are optimized away, then it's unambiguous */
11536         o2 = Nullop;
11537         for (kid=o; kid; kid = kid->op_sibling) {
11538             if (kid &&
11539                 (    (kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid)))
11540                   || (kid->op_type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
11541                   || (kid->op_type == OP_PUSHMARK)
11542                 )
11543             )
11544                 continue;
11545             if (o2) { /* more than one found */
11546                 o2 = Nullop;
11547                 break;
11548             }
11549             o2 = kid;
11550         }
11551         if (o2)
11552             return find_uninit_var(o2, uninit_sv, match);
11553
11554         /* scan all args */
11555         while (o) {
11556             sv = find_uninit_var(o, uninit_sv, 1);
11557             if (sv)
11558                 return sv;
11559             o = o->op_sibling;
11560         }
11561         break;
11562     }
11563     return Nullsv;
11564 }
11565
11566
11567 /*
11568 =for apidoc report_uninit
11569
11570 Print appropriate "Use of uninitialized variable" warning
11571
11572 =cut
11573 */
11574
11575 void
11576 Perl_report_uninit(pTHX_ SV* uninit_sv)
11577 {
11578     dVAR;
11579     if (PL_op) {
11580         SV* varname = Nullsv;
11581         if (uninit_sv) {
11582             varname = find_uninit_var(PL_op, uninit_sv,0);
11583             if (varname)
11584                 sv_insert(varname, 0, 0, " ", 1);
11585         }
11586         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
11587                 varname ? SvPV_nolen_const(varname) : "",
11588                 " in ", OP_DESC(PL_op));
11589     }
11590     else
11591         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
11592                     "", "", "");
11593 }
11594
11595 /*
11596  * Local variables:
11597  * c-indentation-style: bsd
11598  * c-basic-offset: 4
11599  * indent-tabs-mode: t
11600  * End:
11601  *
11602  * ex: set ts=8 sts=4 sw=4 noet:
11603  */