55bb6742f624b6be74e7c87e81c0d7232efff8b7
[p5sagit/p5-mst-13.2.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999,
4  *    2000, 2001, 2002, 2003, 2004, 2005, by Larry Wall and others
5  *
6  *    You may distribute under the terms of either the GNU General Public
7  *    License or the Artistic License, as specified in the README file.
8  *
9  * "I wonder what the Entish is for 'yes' and 'no'," he thought.
10  *
11  *
12  * This file contains the code that creates, manipulates and destroys
13  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
14  * structure of an SV, so their creation and destruction is handled
15  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
16  * level functions (eg. substr, split, join) for each of the types are
17  * in the pp*.c files.
18  */
19
20 #include "EXTERN.h"
21 #define PERL_IN_SV_C
22 #include "perl.h"
23 #include "regcomp.h"
24
25 #define FCALL *f
26
27 #ifdef __Lynx__
28 /* Missing proto on LynxOS */
29   char *gconvert(double, int, int,  char *);
30 #endif
31
32 #ifdef PERL_UTF8_CACHE_ASSERT
33 /* The cache element 0 is the Unicode offset;
34  * the cache element 1 is the byte offset of the element 0;
35  * the cache element 2 is the Unicode length of the substring;
36  * the cache element 3 is the byte length of the substring;
37  * The checking of the substring side would be good
38  * but substr() has enough code paths to make my head spin;
39  * if adding more checks watch out for the following tests:
40  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
41  *   lib/utf8.t lib/Unicode/Collate/t/index.t
42  * --jhi
43  */
44 #define ASSERT_UTF8_CACHE(cache) \
45         STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); } } STMT_END
46 #else
47 #define ASSERT_UTF8_CACHE(cache) NOOP
48 #endif
49
50 #ifdef PERL_OLD_COPY_ON_WRITE
51 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
52 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
53 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
54    on-write.  */
55 #endif
56
57 /* ============================================================================
58
59 =head1 Allocation and deallocation of SVs.
60
61 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct sv,
62 av, hv...) contains type and reference count information, as well as a
63 pointer to the body (struct xrv, xpv, xpviv...), which contains fields
64 specific to each type.
65
66 In all but the most memory-paranoid configuations (ex: PURIFY), this
67 allocation is done using arenas, which by default are approximately 4K
68 chunks of memory parcelled up into N heads or bodies (of same size).
69 Sv-bodies are allocated by their sv-type, guaranteeing size
70 consistency needed to allocate safely from arrays.
71
72 The first slot in each arena is reserved, and is used to hold a link
73 to the next arena.  In the case of heads, the unused first slot also
74 contains some flags and a note of the number of slots.  Snaked through
75 each arena chain is a linked list of free items; when this becomes
76 empty, an extra arena is allocated and divided up into N items which
77 are threaded into the free list.
78
79 The following global variables are associated with arenas:
80
81     PL_sv_arenaroot     pointer to list of SV arenas
82     PL_sv_root          pointer to list of free SV structures
83
84     PL_body_arenaroots[]  array of pointers to list of arenas, 1 per svtype
85     PL_body_roots[]       array of pointers to list of free bodies of svtype
86                           arrays are indexed by the svtype needed
87
88 Note that some of the larger and more rarely used body types (eg
89 xpvio) are not allocated using arenas, but are instead just
90 malloc()/free()ed as required.
91
92 In addition, a few SV heads are not allocated from an arena, but are
93 instead directly created as static or auto variables, eg PL_sv_undef.
94 The size of arenas can be changed from the default by setting
95 PERL_ARENA_SIZE appropriately at compile time.
96
97 The SV arena serves the secondary purpose of allowing still-live SVs
98 to be located and destroyed during final cleanup.
99
100 At the lowest level, the macros new_SV() and del_SV() grab and free
101 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
102 to return the SV to the free list with error checking.) new_SV() calls
103 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
104 SVs in the free list have their SvTYPE field set to all ones.
105
106 Similarly, there are macros new_XIV()/del_XIV(), new_XNV()/del_XNV() etc
107 that allocate and return individual body types. Normally these are mapped
108 to the arena-manipulating functions new_xiv()/del_xiv() etc, but may be
109 instead mapped directly to malloc()/free() if PURIFY is defined. The
110 new/del functions remove from, or add to, the appropriate PL_foo_root
111 list, and call more_xiv() etc to add a new arena if the list is empty.
112
113 At the time of very final cleanup, sv_free_arenas() is called from
114 perl_destruct() to physically free all the arenas allocated since the
115 start of the interpreter.
116
117 Manipulation of any of the PL_*root pointers is protected by enclosing
118 LOCK_SV_MUTEX; ... UNLOCK_SV_MUTEX calls which should Do the Right Thing
119 if threads are enabled.
120
121 The function visit() scans the SV arenas list, and calls a specified
122 function for each SV it finds which is still live - ie which has an SvTYPE
123 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
124 following functions (specified as [function that calls visit()] / [function
125 called by visit() for each SV]):
126
127     sv_report_used() / do_report_used()
128                         dump all remaining SVs (debugging aid)
129
130     sv_clean_objs() / do_clean_objs(),do_clean_named_objs()
131                         Attempt to free all objects pointed to by RVs,
132                         and, unless DISABLE_DESTRUCTOR_KLUDGE is defined,
133                         try to do the same for all objects indirectly
134                         referenced by typeglobs too.  Called once from
135                         perl_destruct(), prior to calling sv_clean_all()
136                         below.
137
138     sv_clean_all() / do_clean_all()
139                         SvREFCNT_dec(sv) each remaining SV, possibly
140                         triggering an sv_free(). It also sets the
141                         SVf_BREAK flag on the SV to indicate that the
142                         refcnt has been artificially lowered, and thus
143                         stopping sv_free() from giving spurious warnings
144                         about SVs which unexpectedly have a refcnt
145                         of zero.  called repeatedly from perl_destruct()
146                         until there are no SVs left.
147
148 =head2 Arena allocator API Summary
149
150 Private API to rest of sv.c
151
152     new_SV(),  del_SV(),
153
154     new_XIV(), del_XIV(),
155     new_XNV(), del_XNV(),
156     etc
157
158 Public API:
159
160     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
161
162
163 =cut
164
165 ============================================================================ */
166
167
168
169 /*
170  * "A time to plant, and a time to uproot what was planted..."
171  */
172
173 /*
174  * nice_chunk and nice_chunk size need to be set
175  * and queried under the protection of sv_mutex
176  */
177 void
178 Perl_offer_nice_chunk(pTHX_ void *chunk, U32 chunk_size)
179 {
180     void *new_chunk;
181     U32 new_chunk_size;
182     LOCK_SV_MUTEX;
183     new_chunk = (void *)(chunk);
184     new_chunk_size = (chunk_size);
185     if (new_chunk_size > PL_nice_chunk_size) {
186         Safefree(PL_nice_chunk);
187         PL_nice_chunk = (char *) new_chunk;
188         PL_nice_chunk_size = new_chunk_size;
189     } else {
190         Safefree(chunk);
191     }
192     UNLOCK_SV_MUTEX;
193 }
194
195 #ifdef DEBUG_LEAKING_SCALARS
196 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
197 #else
198 #  define FREE_SV_DEBUG_FILE(sv)
199 #endif
200
201 #ifdef PERL_POISON
202 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
203 /* Whilst I'd love to do this, it seems that things like to check on
204    unreferenced scalars
205 #  define POSION_SV_HEAD(sv)    Poison(sv, 1, struct STRUCT_SV)
206 */
207 #  define POSION_SV_HEAD(sv)    Poison(&SvANY(sv), 1, void *), \
208                                 Poison(&SvREFCNT(sv), 1, U32)
209 #else
210 #  define SvARENA_CHAIN(sv)     SvANY(sv)
211 #  define POSION_SV_HEAD(sv)
212 #endif
213
214 #define plant_SV(p) \
215     STMT_START {                                        \
216         FREE_SV_DEBUG_FILE(p);                          \
217         POSION_SV_HEAD(p);                              \
218         SvARENA_CHAIN(p) = (void *)PL_sv_root;          \
219         SvFLAGS(p) = SVTYPEMASK;                        \
220         PL_sv_root = (p);                               \
221         --PL_sv_count;                                  \
222     } STMT_END
223
224 /* sv_mutex must be held while calling uproot_SV() */
225 #define uproot_SV(p) \
226     STMT_START {                                        \
227         (p) = PL_sv_root;                               \
228         PL_sv_root = (SV*)SvARENA_CHAIN(p);                     \
229         ++PL_sv_count;                                  \
230     } STMT_END
231
232
233 /* make some more SVs by adding another arena */
234
235 /* sv_mutex must be held while calling more_sv() */
236 STATIC SV*
237 S_more_sv(pTHX)
238 {
239     SV* sv;
240
241     if (PL_nice_chunk) {
242         sv_add_arena(PL_nice_chunk, PL_nice_chunk_size, 0);
243         PL_nice_chunk = Nullch;
244         PL_nice_chunk_size = 0;
245     }
246     else {
247         char *chunk;                /* must use New here to match call to */
248         Newx(chunk,PERL_ARENA_SIZE,char);   /* Safefree() in sv_free_arenas()     */
249         sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
250     }
251     uproot_SV(sv);
252     return sv;
253 }
254
255 /* new_SV(): return a new, empty SV head */
256
257 #ifdef DEBUG_LEAKING_SCALARS
258 /* provide a real function for a debugger to play with */
259 STATIC SV*
260 S_new_SV(pTHX)
261 {
262     SV* sv;
263
264     LOCK_SV_MUTEX;
265     if (PL_sv_root)
266         uproot_SV(sv);
267     else
268         sv = S_more_sv(aTHX);
269     UNLOCK_SV_MUTEX;
270     SvANY(sv) = 0;
271     SvREFCNT(sv) = 1;
272     SvFLAGS(sv) = 0;
273     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
274     sv->sv_debug_line = (U16) ((PL_copline == NOLINE) ?
275         (PL_curcop ? CopLINE(PL_curcop) : 0) : PL_copline);
276     sv->sv_debug_inpad = 0;
277     sv->sv_debug_cloned = 0;
278     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
279     
280     return sv;
281 }
282 #  define new_SV(p) (p)=S_new_SV(aTHX)
283
284 #else
285 #  define new_SV(p) \
286     STMT_START {                                        \
287         LOCK_SV_MUTEX;                                  \
288         if (PL_sv_root)                                 \
289             uproot_SV(p);                               \
290         else                                            \
291             (p) = S_more_sv(aTHX);                      \
292         UNLOCK_SV_MUTEX;                                \
293         SvANY(p) = 0;                                   \
294         SvREFCNT(p) = 1;                                \
295         SvFLAGS(p) = 0;                                 \
296     } STMT_END
297 #endif
298
299
300 /* del_SV(): return an empty SV head to the free list */
301
302 #ifdef DEBUGGING
303
304 #define del_SV(p) \
305     STMT_START {                                        \
306         LOCK_SV_MUTEX;                                  \
307         if (DEBUG_D_TEST)                               \
308             del_sv(p);                                  \
309         else                                            \
310             plant_SV(p);                                \
311         UNLOCK_SV_MUTEX;                                \
312     } STMT_END
313
314 STATIC void
315 S_del_sv(pTHX_ SV *p)
316 {
317     if (DEBUG_D_TEST) {
318         SV* sva;
319         bool ok = 0;
320         for (sva = PL_sv_arenaroot; sva; sva = (SV *) SvANY(sva)) {
321             const SV * const sv = sva + 1;
322             const SV * const svend = &sva[SvREFCNT(sva)];
323             if (p >= sv && p < svend) {
324                 ok = 1;
325                 break;
326             }
327         }
328         if (!ok) {
329             if (ckWARN_d(WARN_INTERNAL))        
330                 Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
331                             "Attempt to free non-arena SV: 0x%"UVxf
332                             pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
333             return;
334         }
335     }
336     plant_SV(p);
337 }
338
339 #else /* ! DEBUGGING */
340
341 #define del_SV(p)   plant_SV(p)
342
343 #endif /* DEBUGGING */
344
345
346 /*
347 =head1 SV Manipulation Functions
348
349 =for apidoc sv_add_arena
350
351 Given a chunk of memory, link it to the head of the list of arenas,
352 and split it into a list of free SVs.
353
354 =cut
355 */
356
357 void
358 Perl_sv_add_arena(pTHX_ char *ptr, U32 size, U32 flags)
359 {
360     SV* sva = (SV*)ptr;
361     register SV* sv;
362     register SV* svend;
363
364     /* The first SV in an arena isn't an SV. */
365     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
366     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
367     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
368
369     PL_sv_arenaroot = sva;
370     PL_sv_root = sva + 1;
371
372     svend = &sva[SvREFCNT(sva) - 1];
373     sv = sva + 1;
374     while (sv < svend) {
375         SvARENA_CHAIN(sv) = (void *)(SV*)(sv + 1);
376 #ifdef DEBUGGING
377         SvREFCNT(sv) = 0;
378 #endif
379         /* Must always set typemask because it's awlays checked in on cleanup
380            when the arenas are walked looking for objects.  */
381         SvFLAGS(sv) = SVTYPEMASK;
382         sv++;
383     }
384     SvARENA_CHAIN(sv) = 0;
385 #ifdef DEBUGGING
386     SvREFCNT(sv) = 0;
387 #endif
388     SvFLAGS(sv) = SVTYPEMASK;
389 }
390
391 /* visit(): call the named function for each non-free SV in the arenas
392  * whose flags field matches the flags/mask args. */
393
394 STATIC I32
395 S_visit(pTHX_ SVFUNC_t f, U32 flags, U32 mask)
396 {
397     SV* sva;
398     I32 visited = 0;
399
400     for (sva = PL_sv_arenaroot; sva; sva = (SV*)SvANY(sva)) {
401         register const SV * const svend = &sva[SvREFCNT(sva)];
402         register SV* sv;
403         for (sv = sva + 1; sv < svend; ++sv) {
404             if (SvTYPE(sv) != SVTYPEMASK
405                     && (sv->sv_flags & mask) == flags
406                     && SvREFCNT(sv))
407             {
408                 (FCALL)(aTHX_ sv);
409                 ++visited;
410             }
411         }
412     }
413     return visited;
414 }
415
416 #ifdef DEBUGGING
417
418 /* called by sv_report_used() for each live SV */
419
420 static void
421 do_report_used(pTHX_ SV *sv)
422 {
423     if (SvTYPE(sv) != SVTYPEMASK) {
424         PerlIO_printf(Perl_debug_log, "****\n");
425         sv_dump(sv);
426     }
427 }
428 #endif
429
430 /*
431 =for apidoc sv_report_used
432
433 Dump the contents of all SVs not yet freed. (Debugging aid).
434
435 =cut
436 */
437
438 void
439 Perl_sv_report_used(pTHX)
440 {
441 #ifdef DEBUGGING
442     visit(do_report_used, 0, 0);
443 #endif
444 }
445
446 /* called by sv_clean_objs() for each live SV */
447
448 static void
449 do_clean_objs(pTHX_ SV *ref)
450 {
451     if (SvROK(ref)) {
452         SV * const target = SvRV(ref);
453         if (SvOBJECT(target)) {
454             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
455             if (SvWEAKREF(ref)) {
456                 sv_del_backref(target, ref);
457                 SvWEAKREF_off(ref);
458                 SvRV_set(ref, NULL);
459             } else {
460                 SvROK_off(ref);
461                 SvRV_set(ref, NULL);
462                 SvREFCNT_dec(target);
463             }
464         }
465     }
466
467     /* XXX Might want to check arrays, etc. */
468 }
469
470 /* called by sv_clean_objs() for each live SV */
471
472 #ifndef DISABLE_DESTRUCTOR_KLUDGE
473 static void
474 do_clean_named_objs(pTHX_ SV *sv)
475 {
476     if (SvTYPE(sv) == SVt_PVGV && GvGP(sv)) {
477         if ((
478 #ifdef PERL_DONT_CREATE_GVSV
479              GvSV(sv) &&
480 #endif
481              SvOBJECT(GvSV(sv))) ||
482              (GvAV(sv) && SvOBJECT(GvAV(sv))) ||
483              (GvHV(sv) && SvOBJECT(GvHV(sv))) ||
484              (GvIO(sv) && SvOBJECT(GvIO(sv))) ||
485              (GvCV(sv) && SvOBJECT(GvCV(sv))) )
486         {
487             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning named glob object:\n "), sv_dump(sv)));
488             SvFLAGS(sv) |= SVf_BREAK;
489             SvREFCNT_dec(sv);
490         }
491     }
492 }
493 #endif
494
495 /*
496 =for apidoc sv_clean_objs
497
498 Attempt to destroy all objects not yet freed
499
500 =cut
501 */
502
503 void
504 Perl_sv_clean_objs(pTHX)
505 {
506     PL_in_clean_objs = TRUE;
507     visit(do_clean_objs, SVf_ROK, SVf_ROK);
508 #ifndef DISABLE_DESTRUCTOR_KLUDGE
509     /* some barnacles may yet remain, clinging to typeglobs */
510     visit(do_clean_named_objs, SVt_PVGV, SVTYPEMASK);
511 #endif
512     PL_in_clean_objs = FALSE;
513 }
514
515 /* called by sv_clean_all() for each live SV */
516
517 static void
518 do_clean_all(pTHX_ SV *sv)
519 {
520     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
521     SvFLAGS(sv) |= SVf_BREAK;
522     if (PL_comppad == (AV*)sv) {
523         PL_comppad = Nullav;
524         PL_curpad = Null(SV**);
525     }
526     SvREFCNT_dec(sv);
527 }
528
529 /*
530 =for apidoc sv_clean_all
531
532 Decrement the refcnt of each remaining SV, possibly triggering a
533 cleanup. This function may have to be called multiple times to free
534 SVs which are in complex self-referential hierarchies.
535
536 =cut
537 */
538
539 I32
540 Perl_sv_clean_all(pTHX)
541 {
542     I32 cleaned;
543     PL_in_clean_all = TRUE;
544     cleaned = visit(do_clean_all, 0,0);
545     PL_in_clean_all = FALSE;
546     return cleaned;
547 }
548
549 static void 
550 S_free_arena(pTHX_ void **root) {
551     while (root) {
552         void ** const next = *(void **)root;
553         Safefree(root);
554         root = next;
555     }
556 }
557     
558 /*
559 =for apidoc sv_free_arenas
560
561 Deallocate the memory used by all arenas. Note that all the individual SV
562 heads and bodies within the arenas must already have been freed.
563
564 =cut
565 */
566 #define free_arena(name)                                        \
567     STMT_START {                                                \
568         S_free_arena(aTHX_ (void**) PL_ ## name ## _arenaroot); \
569         PL_ ## name ## _arenaroot = 0;                          \
570         PL_ ## name ## _root = 0;                               \
571     } STMT_END
572
573 void
574 Perl_sv_free_arenas(pTHX)
575 {
576     SV* sva;
577     SV* svanext;
578     int i;
579
580     /* Free arenas here, but be careful about fake ones.  (We assume
581        contiguity of the fake ones with the corresponding real ones.) */
582
583     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
584         svanext = (SV*) SvANY(sva);
585         while (svanext && SvFAKE(svanext))
586             svanext = (SV*) SvANY(svanext);
587
588         if (!SvFAKE(sva))
589             Safefree(sva);
590     }
591
592     for (i=0; i<SVt_LAST; i++) {
593         S_free_arena(aTHX_ (void**) PL_body_arenaroots[i]);
594         PL_body_arenaroots[i] = 0;
595         PL_body_roots[i] = 0;
596     }
597
598     Safefree(PL_nice_chunk);
599     PL_nice_chunk = Nullch;
600     PL_nice_chunk_size = 0;
601     PL_sv_arenaroot = 0;
602     PL_sv_root = 0;
603 }
604
605 /*
606   Here are mid-level routines that manage the allocation of bodies out
607   of the various arenas.  There are 5 kinds of arenas:
608
609   1. SV-head arenas, which are discussed and handled above
610   2. regular body arenas
611   3. arenas for reduced-size bodies
612   4. Hash-Entry arenas
613   5. pte arenas (thread related)
614
615   Arena types 2 & 3 are chained by body-type off an array of
616   arena-root pointers, which is indexed by svtype.  Some of the
617   larger/less used body types are malloced singly, since a large
618   unused block of them is wasteful.  Also, several svtypes dont have
619   bodies; the data fits into the sv-head itself.  The arena-root
620   pointer thus has a few unused root-pointers (which may be hijacked
621   later for arena types 4,5)
622
623   3 differs from 2 as an optimization; some body types have several
624   unused fields in the front of the structure (which are kept in-place
625   for consistency).  These bodies can be allocated in smaller chunks,
626   because the leading fields arent accessed.  Pointers to such bodies
627   are decremented to point at the unused 'ghost' memory, knowing that
628   the pointers are used with offsets to the real memory.
629
630   HE, HEK arenas are managed separately, with separate code, but may
631   be merge-able later..
632
633   PTE arenas are not sv-bodies, but they share these mid-level
634   mechanics, so are considered here.  The new mid-level mechanics rely
635   on the sv_type of the body being allocated, so we just reserve one
636   of the unused body-slots for PTEs, then use it in those (2) PTE
637   contexts below (line ~10k)
638 */
639
640 STATIC void *
641 S_more_bodies (pTHX_ size_t size, svtype sv_type)
642 {
643     void **arena_root   = &PL_body_arenaroots[sv_type];
644     void **root         = &PL_body_roots[sv_type];
645     char *start;
646     const char *end;
647     const size_t count = PERL_ARENA_SIZE / size;
648
649     Newx(start, count*size, char);
650     *((void **) start) = *arena_root;
651     *arena_root = (void *)start;
652
653     end = start + (count-1) * size;
654
655     /* The initial slot is used to link the arenas together, so it isn't to be
656        linked into the list of ready-to-use bodies.  */
657
658     start += size;
659
660     *root = (void *)start;
661
662     while (start < end) {
663         char * const next = start + size;
664         *(void**) start = (void *)next;
665         start = next;
666     }
667     *(void **)start = 0;
668
669     return *root;
670 }
671
672 /* grab a new thing from the free list, allocating more if necessary */
673
674 /* 1st, the inline version  */
675
676 #define new_body_inline(xpv, size, sv_type) \
677     STMT_START { \
678         void **r3wt = &PL_body_roots[sv_type]; \
679         LOCK_SV_MUTEX; \
680         xpv = *((void **)(r3wt)) \
681           ? *((void **)(r3wt)) : S_more_bodies(aTHX_ size, sv_type); \
682         *(r3wt) = *(void**)(xpv); \
683         UNLOCK_SV_MUTEX; \
684     } STMT_END
685
686 /* now use the inline version in the proper function */
687
688 #ifndef PURIFY
689
690 /* This isn't being used with -DPURIFY, so don't declare it. Otherwise
691    compilers issue warnings.  */
692
693 STATIC void *
694 S_new_body(pTHX_ size_t size, svtype sv_type)
695 {
696     void *xpv;
697     new_body_inline(xpv, size, sv_type);
698     return xpv;
699 }
700
701 #endif
702
703 /* return a thing to the free list */
704
705 #define del_body(thing, root)                   \
706     STMT_START {                                \
707         void **thing_copy = (void **)thing;     \
708         LOCK_SV_MUTEX;                          \
709         *thing_copy = *root;                    \
710         *root = (void*)thing_copy;              \
711         UNLOCK_SV_MUTEX;                        \
712     } STMT_END
713
714 /* 
715    Revisiting type 3 arenas, there are 4 body-types which have some
716    members that are never accessed.  They are XPV, XPVIV, XPVAV,
717    XPVHV, which have corresponding types: xpv_allocated,
718    xpviv_allocated, xpvav_allocated, xpvhv_allocated,
719
720    For these types, the arenas are carved up into *_allocated size
721    chunks, we thus avoid wasted memory for those unaccessed members.
722    When bodies are allocated, we adjust the pointer back in memory by
723    the size of the bit not allocated, so it's as if we allocated the
724    full structure.  (But things will all go boom if you write to the
725    part that is "not there", because you'll be overwriting the last
726    members of the preceding structure in memory.)
727
728    We calculate the correction using the STRUCT_OFFSET macro. For example, if
729    xpv_allocated is the same structure as XPV then the two OFFSETs sum to zero,
730    and the pointer is unchanged. If the allocated structure is smaller (no
731    initial NV actually allocated) then the net effect is to subtract the size
732    of the NV from the pointer, to return a new pointer as if an initial NV were
733    actually allocated.
734
735    This is the same trick as was used for NV and IV bodies. Ironically it
736    doesn't need to be used for NV bodies any more, because NV is now at the
737    start of the structure. IV bodies don't need it either, because they are
738    no longer allocated.  */
739
740 /* The following 2 arrays hide the above details in a pair of
741    lookup-tables, allowing us to be body-type agnostic.
742
743    size maps svtype to its body's allocated size.
744    offset maps svtype to the body-pointer adjustment needed
745
746    NB: elements in latter are 0 or <0, and are added during
747    allocation, and subtracted during deallocation.  It may be clearer
748    to invert the values, and call it shrinkage_by_svtype.
749 */
750
751 struct body_details {
752     size_t size;        /* Size to allocate  */
753     size_t copy;        /* Size of structure to copy (may be shorter)  */
754     size_t offset;
755     bool cant_upgrade;  /* Can upgrade this type */
756     bool zero_nv;       /* zero the NV when upgrading from this */
757     bool arena;         /* Allocated from an arena */
758 };
759
760 #define HADNV FALSE
761 #define NONV TRUE
762
763 #ifdef PURIFY
764 /* With -DPURFIY we allocate everything directly, and don't use arenas.
765    This seems a rather elegant way to simplify some of the code below.  */
766 #define HASARENA FALSE
767 #else
768 #define HASARENA TRUE
769 #endif
770 #define NOARENA FALSE
771
772 /* A macro to work out the offset needed to subtract from a pointer to (say)
773
774 typedef struct {
775     STRLEN      xpv_cur;
776     STRLEN      xpv_len;
777 } xpv_allocated;
778
779 to make its members accessible via a pointer to (say)
780
781 struct xpv {
782     NV          xnv_nv;
783     STRLEN      xpv_cur;
784     STRLEN      xpv_len;
785 };
786
787 */
788
789 #define relative_STRUCT_OFFSET(longer, shorter, member) \
790     (STRUCT_OFFSET(shorter, member) - STRUCT_OFFSET(longer, member))
791
792 /* Calculate the length to copy. Specifically work out the length less any
793    final padding the compiler needed to add.  See the comment in sv_upgrade
794    for why copying the padding proved to be a bug.  */
795
796 #define copy_length(type, last_member) \
797         STRUCT_OFFSET(type, last_member) \
798         + sizeof (((type*)SvANY((SV*)0))->last_member)
799
800 static const struct body_details bodies_by_type[] = {
801     {0, 0, 0, FALSE, NONV, NOARENA},
802     /* IVs are in the head, so the allocation size is 0  */
803     {0, sizeof(IV), STRUCT_OFFSET(XPVIV, xiv_iv), FALSE, NONV, NOARENA},
804     /* 8 bytes on most ILP32 with IEEE doubles */
805     {sizeof(NV), sizeof(NV), 0, FALSE, HADNV, HASARENA},
806     /* RVs are in the head now */
807     /* However, this slot is overloaded and used by the pte  */
808     {0, 0, 0, FALSE, NONV, NOARENA},
809     /* 8 bytes on most ILP32 with IEEE doubles */
810     {sizeof(xpv_allocated),
811      copy_length(XPV, xpv_len)
812      + relative_STRUCT_OFFSET(XPV, xpv_allocated, xpv_cur),
813      - relative_STRUCT_OFFSET(XPV, xpv_allocated, xpv_cur),
814      FALSE, NONV, HASARENA},
815     /* 12 */
816     {sizeof(xpviv_allocated),
817      copy_length(XPVIV, xiv_u)
818      + relative_STRUCT_OFFSET(XPVIV, xpviv_allocated, xpv_cur),
819      - relative_STRUCT_OFFSET(XPVIV, xpviv_allocated, xpv_cur),
820      FALSE, NONV, HASARENA},
821     /* 20 */
822     {sizeof(XPVNV), copy_length(XPVNV, xiv_u), 0, FALSE, HADNV, HASARENA},
823     /* 28 */
824     {sizeof(XPVMG), copy_length(XPVMG, xmg_stash), 0, FALSE, HADNV, HASARENA},
825     /* 36 */
826     {sizeof(XPVBM), sizeof(XPVBM), 0, TRUE, HADNV, HASARENA},
827     /* 48 */
828     {sizeof(XPVGV), sizeof(XPVGV), 0, TRUE, HADNV, HASARENA},
829     /* 64 */
830     {sizeof(XPVLV), sizeof(XPVLV), 0, TRUE, HADNV, HASARENA},
831     /* 20 */
832     {sizeof(xpvav_allocated),
833      copy_length(XPVAV, xmg_stash)
834      + relative_STRUCT_OFFSET(XPVAV, xpvav_allocated, xav_fill),
835      - relative_STRUCT_OFFSET(XPVAV, xpvav_allocated, xav_fill),
836      TRUE, HADNV, HASARENA},
837     /* 20 */
838     {sizeof(xpvhv_allocated),
839      copy_length(XPVHV, xmg_stash)
840      + relative_STRUCT_OFFSET(XPVHV, xpvhv_allocated, xhv_fill),
841      - relative_STRUCT_OFFSET(XPVHV, xpvhv_allocated, xhv_fill),
842      TRUE, HADNV, HASARENA},
843     /* 76 */
844     {sizeof(XPVCV), sizeof(XPVCV), 0, TRUE, HADNV, HASARENA},
845     /* 80 */
846     {sizeof(XPVFM), sizeof(XPVFM), 0, TRUE, HADNV, NOARENA},
847     /* 84 */
848     {sizeof(XPVIO), sizeof(XPVIO), 0, TRUE, HADNV, NOARENA}
849 };
850
851 #define new_body_type(sv_type)                  \
852     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
853              - bodies_by_type[sv_type].offset)
854
855 #define del_body_type(p, sv_type)       \
856     del_body(p, &PL_body_roots[sv_type])
857
858
859 #define new_body_allocated(sv_type)             \
860     (void *)((char *)S_new_body(aTHX_ bodies_by_type[sv_type].size, sv_type)\
861              - bodies_by_type[sv_type].offset)
862
863 #define del_body_allocated(p, sv_type)          \
864     del_body(p + bodies_by_type[sv_type].offset, &PL_body_roots[sv_type])
865
866
867 #define my_safemalloc(s)        (void*)safemalloc(s)
868 #define my_safecalloc(s)        (void*)safecalloc(s, 1)
869 #define my_safefree(p)  safefree((char*)p)
870
871 #ifdef PURIFY
872
873 #define new_XNV()       my_safemalloc(sizeof(XPVNV))
874 #define del_XNV(p)      my_safefree(p)
875
876 #define new_XPVNV()     my_safemalloc(sizeof(XPVNV))
877 #define del_XPVNV(p)    my_safefree(p)
878
879 #define new_XPVAV()     my_safemalloc(sizeof(XPVAV))
880 #define del_XPVAV(p)    my_safefree(p)
881
882 #define new_XPVHV()     my_safemalloc(sizeof(XPVHV))
883 #define del_XPVHV(p)    my_safefree(p)
884
885 #define new_XPVMG()     my_safemalloc(sizeof(XPVMG))
886 #define del_XPVMG(p)    my_safefree(p)
887
888 #define new_XPVGV()     my_safemalloc(sizeof(XPVGV))
889 #define del_XPVGV(p)    my_safefree(p)
890
891 #else /* !PURIFY */
892
893 #define new_XNV()       new_body_type(SVt_NV)
894 #define del_XNV(p)      del_body_type(p, SVt_NV)
895
896 #define new_XPVNV()     new_body_type(SVt_PVNV)
897 #define del_XPVNV(p)    del_body_type(p, SVt_PVNV)
898
899 #define new_XPVAV()     new_body_allocated(SVt_PVAV)
900 #define del_XPVAV(p)    del_body_allocated(p, SVt_PVAV)
901
902 #define new_XPVHV()     new_body_allocated(SVt_PVHV)
903 #define del_XPVHV(p)    del_body_allocated(p, SVt_PVHV)
904
905 #define new_XPVMG()     new_body_type(SVt_PVMG)
906 #define del_XPVMG(p)    del_body_type(p, SVt_PVMG)
907
908 #define new_XPVGV()     new_body_type(SVt_PVGV)
909 #define del_XPVGV(p)    del_body_type(p, SVt_PVGV)
910
911 #endif /* PURIFY */
912
913 /* no arena for you! */
914
915 #define new_NOARENA(details) \
916         my_safemalloc((details)->size + (details)->offset)
917 #define new_NOARENAZ(details) \
918         my_safecalloc((details)->size + (details)->offset)
919
920 /*
921 =for apidoc sv_upgrade
922
923 Upgrade an SV to a more complex form.  Generally adds a new body type to the
924 SV, then copies across as much information as possible from the old body.
925 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
926
927 =cut
928 */
929
930 void
931 Perl_sv_upgrade(pTHX_ register SV *sv, U32 new_type)
932 {
933     void*       old_body;
934     void*       new_body;
935     const U32   old_type = SvTYPE(sv);
936     const struct body_details *const old_type_details
937         = bodies_by_type + old_type;
938     const struct body_details *new_type_details = bodies_by_type + new_type;
939
940     if (new_type != SVt_PV && SvIsCOW(sv)) {
941         sv_force_normal_flags(sv, 0);
942     }
943
944     if (old_type == new_type)
945         return;
946
947     if (old_type > new_type)
948         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
949                 (int)old_type, (int)new_type);
950
951
952     old_body = SvANY(sv);
953
954     /* Copying structures onto other structures that have been neatly zeroed
955        has a subtle gotcha. Consider XPVMG
956
957        +------+------+------+------+------+-------+-------+
958        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
959        +------+------+------+------+------+-------+-------+
960        0      4      8     12     16     20      24      28
961
962        where NVs are aligned to 8 bytes, so that sizeof that structure is
963        actually 32 bytes long, with 4 bytes of padding at the end:
964
965        +------+------+------+------+------+-------+-------+------+
966        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
967        +------+------+------+------+------+-------+-------+------+
968        0      4      8     12     16     20      24      28     32
969
970        so what happens if you allocate memory for this structure:
971
972        +------+------+------+------+------+-------+-------+------+------+...
973        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
974        +------+------+------+------+------+-------+-------+------+------+...
975        0      4      8     12     16     20      24      28     32     36
976
977        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
978        expect, because you copy the area marked ??? onto GP. Now, ??? may have
979        started out as zero once, but it's quite possible that it isn't. So now,
980        rather than a nicely zeroed GP, you have it pointing somewhere random.
981        Bugs ensue.
982
983        (In fact, GP ends up pointing at a previous GP structure, because the
984        principle cause of the padding in XPVMG getting garbage is a copy of
985        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob)
986
987        So we are careful and work out the size of used parts of all the
988        structures.  */
989
990     switch (old_type) {
991     case SVt_NULL:
992         break;
993     case SVt_IV:
994         if (new_type < SVt_PVIV) {
995             new_type = (new_type == SVt_NV)
996                 ? SVt_PVNV : SVt_PVIV;
997             new_type_details = bodies_by_type + new_type;
998         }
999         break;
1000     case SVt_NV:
1001         if (new_type < SVt_PVNV) {
1002             new_type = SVt_PVNV;
1003             new_type_details = bodies_by_type + new_type;
1004         }
1005         break;
1006     case SVt_RV:
1007         break;
1008     case SVt_PV:
1009         assert(new_type > SVt_PV);
1010         assert(SVt_IV < SVt_PV);
1011         assert(SVt_NV < SVt_PV);
1012         break;
1013     case SVt_PVIV:
1014         break;
1015     case SVt_PVNV:
1016         break;
1017     case SVt_PVMG:
1018         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1019            there's no way that it can be safely upgraded, because perl.c
1020            expects to Safefree(SvANY(PL_mess_sv))  */
1021         assert(sv != PL_mess_sv);
1022         /* This flag bit is used to mean other things in other scalar types.
1023            Given that it only has meaning inside the pad, it shouldn't be set
1024            on anything that can get upgraded.  */
1025         assert((SvFLAGS(sv) & SVpad_TYPED) == 0);
1026         break;
1027     default:
1028         if (old_type_details->cant_upgrade)
1029             Perl_croak(aTHX_ "Can't upgrade that kind of scalar");
1030     }
1031
1032     SvFLAGS(sv) &= ~SVTYPEMASK;
1033     SvFLAGS(sv) |= new_type;
1034
1035     switch (new_type) {
1036     case SVt_NULL:
1037         Perl_croak(aTHX_ "Can't upgrade to undef");
1038     case SVt_IV:
1039         assert(old_type == SVt_NULL);
1040         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1041         SvIV_set(sv, 0);
1042         return;
1043     case SVt_NV:
1044         assert(old_type == SVt_NULL);
1045         SvANY(sv) = new_XNV();
1046         SvNV_set(sv, 0);
1047         return;
1048     case SVt_RV:
1049         assert(old_type == SVt_NULL);
1050         SvANY(sv) = &sv->sv_u.svu_rv;
1051         SvRV_set(sv, 0);
1052         return;
1053     case SVt_PVHV:
1054         SvANY(sv) = new_XPVHV();
1055         HvFILL(sv)      = 0;
1056         HvMAX(sv)       = 0;
1057         HvTOTALKEYS(sv) = 0;
1058
1059         goto hv_av_common;
1060
1061     case SVt_PVAV:
1062         SvANY(sv) = new_XPVAV();
1063         AvMAX(sv)       = -1;
1064         AvFILLp(sv)     = -1;
1065         AvALLOC(sv)     = 0;
1066         AvREAL_only(sv);
1067
1068     hv_av_common:
1069         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1070            The target created by newSVrv also is, and it can have magic.
1071            However, it never has SvPVX set.
1072         */
1073         if (old_type >= SVt_RV) {
1074             assert(SvPVX_const(sv) == 0);
1075         }
1076
1077         /* Could put this in the else clause below, as PVMG must have SvPVX
1078            0 already (the assertion above)  */
1079         SvPV_set(sv, (char*)0);
1080
1081         if (old_type >= SVt_PVMG) {
1082             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_magic);
1083             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1084         } else {
1085             SvMAGIC_set(sv, 0);
1086             SvSTASH_set(sv, 0);
1087         }
1088         break;
1089
1090
1091     case SVt_PVIV:
1092         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1093            no route from NV to PVIV, NOK can never be true  */
1094         assert(!SvNOKp(sv));
1095         assert(!SvNOK(sv));
1096     case SVt_PVIO:
1097     case SVt_PVFM:
1098     case SVt_PVBM:
1099     case SVt_PVGV:
1100     case SVt_PVCV:
1101     case SVt_PVLV:
1102     case SVt_PVMG:
1103     case SVt_PVNV:
1104     case SVt_PV:
1105
1106         assert(new_type_details->size);
1107         /* We always allocated the full length item with PURIFY. To do this
1108            we fake things so that arena is false for all 16 types..  */
1109         if(new_type_details->arena) {
1110             /* This points to the start of the allocated area.  */
1111             new_body_inline(new_body, new_type_details->size, new_type);
1112             Zero(new_body, new_type_details->size, char);
1113             new_body = ((char *)new_body) - new_type_details->offset;
1114         } else {
1115             new_body = new_NOARENAZ(new_type_details);
1116         }
1117         SvANY(sv) = new_body;
1118
1119         if (old_type_details->copy) {
1120             Copy((char *)old_body + old_type_details->offset,
1121                  (char *)new_body + old_type_details->offset,
1122                  old_type_details->copy, char);
1123         }
1124
1125 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1126     /* If NV 0.0 is store as all bits 0 then Zero() already creates a correct
1127        0.0 for us.  */
1128         if (old_type_details->zero_nv)
1129             SvNV_set(sv, 0);
1130 #endif
1131
1132         if (new_type == SVt_PVIO)
1133             IoPAGE_LEN(sv)      = 60;
1134         if (old_type < SVt_RV)
1135             SvPV_set(sv, 0);
1136         break;
1137     default:
1138         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu", new_type);
1139     }
1140
1141     if (old_type_details->size) {
1142         /* If the old body had an allocated size, then we need to free it.  */
1143 #ifdef PURIFY
1144         my_safefree(old_body);
1145 #else
1146         del_body((void*)((char*)old_body + old_type_details->offset),
1147                  &PL_body_roots[old_type]);
1148 #endif
1149     }
1150 }
1151
1152 /*
1153 =for apidoc sv_backoff
1154
1155 Remove any string offset. You should normally use the C<SvOOK_off> macro
1156 wrapper instead.
1157
1158 =cut
1159 */
1160
1161 int
1162 Perl_sv_backoff(pTHX_ register SV *sv)
1163 {
1164     assert(SvOOK(sv));
1165     assert(SvTYPE(sv) != SVt_PVHV);
1166     assert(SvTYPE(sv) != SVt_PVAV);
1167     if (SvIVX(sv)) {
1168         const char * const s = SvPVX_const(sv);
1169         SvLEN_set(sv, SvLEN(sv) + SvIVX(sv));
1170         SvPV_set(sv, SvPVX(sv) - SvIVX(sv));
1171         SvIV_set(sv, 0);
1172         Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1173     }
1174     SvFLAGS(sv) &= ~SVf_OOK;
1175     return 0;
1176 }
1177
1178 /*
1179 =for apidoc sv_grow
1180
1181 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1182 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1183 Use the C<SvGROW> wrapper instead.
1184
1185 =cut
1186 */
1187
1188 char *
1189 Perl_sv_grow(pTHX_ register SV *sv, register STRLEN newlen)
1190 {
1191     register char *s;
1192
1193 #ifdef HAS_64K_LIMIT
1194     if (newlen >= 0x10000) {
1195         PerlIO_printf(Perl_debug_log,
1196                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1197         my_exit(1);
1198     }
1199 #endif /* HAS_64K_LIMIT */
1200     if (SvROK(sv))
1201         sv_unref(sv);
1202     if (SvTYPE(sv) < SVt_PV) {
1203         sv_upgrade(sv, SVt_PV);
1204         s = SvPVX_mutable(sv);
1205     }
1206     else if (SvOOK(sv)) {       /* pv is offset? */
1207         sv_backoff(sv);
1208         s = SvPVX_mutable(sv);
1209         if (newlen > SvLEN(sv))
1210             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1211 #ifdef HAS_64K_LIMIT
1212         if (newlen >= 0x10000)
1213             newlen = 0xFFFF;
1214 #endif
1215     }
1216     else
1217         s = SvPVX_mutable(sv);
1218
1219     if (newlen > SvLEN(sv)) {           /* need more room? */
1220         newlen = PERL_STRLEN_ROUNDUP(newlen);
1221         if (SvLEN(sv) && s) {
1222 #ifdef MYMALLOC
1223             const STRLEN l = malloced_size((void*)SvPVX_const(sv));
1224             if (newlen <= l) {
1225                 SvLEN_set(sv, l);
1226                 return s;
1227             } else
1228 #endif
1229             s = saferealloc(s, newlen);
1230         }
1231         else {
1232             s = safemalloc(newlen);
1233             if (SvPVX_const(sv) && SvCUR(sv)) {
1234                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1235             }
1236         }
1237         SvPV_set(sv, s);
1238         SvLEN_set(sv, newlen);
1239     }
1240     return s;
1241 }
1242
1243 /*
1244 =for apidoc sv_setiv
1245
1246 Copies an integer into the given SV, upgrading first if necessary.
1247 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1248
1249 =cut
1250 */
1251
1252 void
1253 Perl_sv_setiv(pTHX_ register SV *sv, IV i)
1254 {
1255     SV_CHECK_THINKFIRST_COW_DROP(sv);
1256     switch (SvTYPE(sv)) {
1257     case SVt_NULL:
1258         sv_upgrade(sv, SVt_IV);
1259         break;
1260     case SVt_NV:
1261         sv_upgrade(sv, SVt_PVNV);
1262         break;
1263     case SVt_RV:
1264     case SVt_PV:
1265         sv_upgrade(sv, SVt_PVIV);
1266         break;
1267
1268     case SVt_PVGV:
1269     case SVt_PVAV:
1270     case SVt_PVHV:
1271     case SVt_PVCV:
1272     case SVt_PVFM:
1273     case SVt_PVIO:
1274         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1275                    OP_DESC(PL_op));
1276     }
1277     (void)SvIOK_only(sv);                       /* validate number */
1278     SvIV_set(sv, i);
1279     SvTAINT(sv);
1280 }
1281
1282 /*
1283 =for apidoc sv_setiv_mg
1284
1285 Like C<sv_setiv>, but also handles 'set' magic.
1286
1287 =cut
1288 */
1289
1290 void
1291 Perl_sv_setiv_mg(pTHX_ register SV *sv, IV i)
1292 {
1293     sv_setiv(sv,i);
1294     SvSETMAGIC(sv);
1295 }
1296
1297 /*
1298 =for apidoc sv_setuv
1299
1300 Copies an unsigned integer into the given SV, upgrading first if necessary.
1301 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1302
1303 =cut
1304 */
1305
1306 void
1307 Perl_sv_setuv(pTHX_ register SV *sv, UV u)
1308 {
1309     /* With these two if statements:
1310        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1311
1312        without
1313        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1314
1315        If you wish to remove them, please benchmark to see what the effect is
1316     */
1317     if (u <= (UV)IV_MAX) {
1318        sv_setiv(sv, (IV)u);
1319        return;
1320     }
1321     sv_setiv(sv, 0);
1322     SvIsUV_on(sv);
1323     SvUV_set(sv, u);
1324 }
1325
1326 /*
1327 =for apidoc sv_setuv_mg
1328
1329 Like C<sv_setuv>, but also handles 'set' magic.
1330
1331 =cut
1332 */
1333
1334 void
1335 Perl_sv_setuv_mg(pTHX_ register SV *sv, UV u)
1336 {
1337     sv_setiv(sv, 0);
1338     SvIsUV_on(sv);
1339     sv_setuv(sv,u);
1340     SvSETMAGIC(sv);
1341 }
1342
1343 /*
1344 =for apidoc sv_setnv
1345
1346 Copies a double into the given SV, upgrading first if necessary.
1347 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1348
1349 =cut
1350 */
1351
1352 void
1353 Perl_sv_setnv(pTHX_ register SV *sv, NV num)
1354 {
1355     SV_CHECK_THINKFIRST_COW_DROP(sv);
1356     switch (SvTYPE(sv)) {
1357     case SVt_NULL:
1358     case SVt_IV:
1359         sv_upgrade(sv, SVt_NV);
1360         break;
1361     case SVt_RV:
1362     case SVt_PV:
1363     case SVt_PVIV:
1364         sv_upgrade(sv, SVt_PVNV);
1365         break;
1366
1367     case SVt_PVGV:
1368     case SVt_PVAV:
1369     case SVt_PVHV:
1370     case SVt_PVCV:
1371     case SVt_PVFM:
1372     case SVt_PVIO:
1373         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1374                    OP_NAME(PL_op));
1375     }
1376     SvNV_set(sv, num);
1377     (void)SvNOK_only(sv);                       /* validate number */
1378     SvTAINT(sv);
1379 }
1380
1381 /*
1382 =for apidoc sv_setnv_mg
1383
1384 Like C<sv_setnv>, but also handles 'set' magic.
1385
1386 =cut
1387 */
1388
1389 void
1390 Perl_sv_setnv_mg(pTHX_ register SV *sv, NV num)
1391 {
1392     sv_setnv(sv,num);
1393     SvSETMAGIC(sv);
1394 }
1395
1396 /* Print an "isn't numeric" warning, using a cleaned-up,
1397  * printable version of the offending string
1398  */
1399
1400 STATIC void
1401 S_not_a_number(pTHX_ SV *sv)
1402 {
1403      SV *dsv;
1404      char tmpbuf[64];
1405      const char *pv;
1406
1407      if (DO_UTF8(sv)) {
1408           dsv = sv_2mortal(newSVpvn("", 0));
1409           pv = sv_uni_display(dsv, sv, 10, 0);
1410      } else {
1411           char *d = tmpbuf;
1412           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1413           /* each *s can expand to 4 chars + "...\0",
1414              i.e. need room for 8 chars */
1415         
1416           const char *s, *end;
1417           for (s = SvPVX_const(sv), end = s + SvCUR(sv); s < end && d < limit;
1418                s++) {
1419                int ch = *s & 0xFF;
1420                if (ch & 128 && !isPRINT_LC(ch)) {
1421                     *d++ = 'M';
1422                     *d++ = '-';
1423                     ch &= 127;
1424                }
1425                if (ch == '\n') {
1426                     *d++ = '\\';
1427                     *d++ = 'n';
1428                }
1429                else if (ch == '\r') {
1430                     *d++ = '\\';
1431                     *d++ = 'r';
1432                }
1433                else if (ch == '\f') {
1434                     *d++ = '\\';
1435                     *d++ = 'f';
1436                }
1437                else if (ch == '\\') {
1438                     *d++ = '\\';
1439                     *d++ = '\\';
1440                }
1441                else if (ch == '\0') {
1442                     *d++ = '\\';
1443                     *d++ = '0';
1444                }
1445                else if (isPRINT_LC(ch))
1446                     *d++ = ch;
1447                else {
1448                     *d++ = '^';
1449                     *d++ = toCTRL(ch);
1450                }
1451           }
1452           if (s < end) {
1453                *d++ = '.';
1454                *d++ = '.';
1455                *d++ = '.';
1456           }
1457           *d = '\0';
1458           pv = tmpbuf;
1459     }
1460
1461     if (PL_op)
1462         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1463                     "Argument \"%s\" isn't numeric in %s", pv,
1464                     OP_DESC(PL_op));
1465     else
1466         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1467                     "Argument \"%s\" isn't numeric", pv);
1468 }
1469
1470 /*
1471 =for apidoc looks_like_number
1472
1473 Test if the content of an SV looks like a number (or is a number).
1474 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1475 non-numeric warning), even if your atof() doesn't grok them.
1476
1477 =cut
1478 */
1479
1480 I32
1481 Perl_looks_like_number(pTHX_ SV *sv)
1482 {
1483     register const char *sbegin;
1484     STRLEN len;
1485
1486     if (SvPOK(sv)) {
1487         sbegin = SvPVX_const(sv);
1488         len = SvCUR(sv);
1489     }
1490     else if (SvPOKp(sv))
1491         sbegin = SvPV_const(sv, len);
1492     else
1493         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1494     return grok_number(sbegin, len, NULL);
1495 }
1496
1497 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1498    until proven guilty, assume that things are not that bad... */
1499
1500 /*
1501    NV_PRESERVES_UV:
1502
1503    As 64 bit platforms often have an NV that doesn't preserve all bits of
1504    an IV (an assumption perl has been based on to date) it becomes necessary
1505    to remove the assumption that the NV always carries enough precision to
1506    recreate the IV whenever needed, and that the NV is the canonical form.
1507    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1508    precision as a side effect of conversion (which would lead to insanity
1509    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1510    1) to distinguish between IV/UV/NV slots that have cached a valid
1511       conversion where precision was lost and IV/UV/NV slots that have a
1512       valid conversion which has lost no precision
1513    2) to ensure that if a numeric conversion to one form is requested that
1514       would lose precision, the precise conversion (or differently
1515       imprecise conversion) is also performed and cached, to prevent
1516       requests for different numeric formats on the same SV causing
1517       lossy conversion chains. (lossless conversion chains are perfectly
1518       acceptable (still))
1519
1520
1521    flags are used:
1522    SvIOKp is true if the IV slot contains a valid value
1523    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1524    SvNOKp is true if the NV slot contains a valid value
1525    SvNOK  is true only if the NV value is accurate
1526
1527    so
1528    while converting from PV to NV, check to see if converting that NV to an
1529    IV(or UV) would lose accuracy over a direct conversion from PV to
1530    IV(or UV). If it would, cache both conversions, return NV, but mark
1531    SV as IOK NOKp (ie not NOK).
1532
1533    While converting from PV to IV, check to see if converting that IV to an
1534    NV would lose accuracy over a direct conversion from PV to NV. If it
1535    would, cache both conversions, flag similarly.
1536
1537    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1538    correctly because if IV & NV were set NV *always* overruled.
1539    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1540    changes - now IV and NV together means that the two are interchangeable:
1541    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1542
1543    The benefit of this is that operations such as pp_add know that if
1544    SvIOK is true for both left and right operands, then integer addition
1545    can be used instead of floating point (for cases where the result won't
1546    overflow). Before, floating point was always used, which could lead to
1547    loss of precision compared with integer addition.
1548
1549    * making IV and NV equal status should make maths accurate on 64 bit
1550      platforms
1551    * may speed up maths somewhat if pp_add and friends start to use
1552      integers when possible instead of fp. (Hopefully the overhead in
1553      looking for SvIOK and checking for overflow will not outweigh the
1554      fp to integer speedup)
1555    * will slow down integer operations (callers of SvIV) on "inaccurate"
1556      values, as the change from SvIOK to SvIOKp will cause a call into
1557      sv_2iv each time rather than a macro access direct to the IV slot
1558    * should speed up number->string conversion on integers as IV is
1559      favoured when IV and NV are equally accurate
1560
1561    ####################################################################
1562    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1563    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1564    On the other hand, SvUOK is true iff UV.
1565    ####################################################################
1566
1567    Your mileage will vary depending your CPU's relative fp to integer
1568    performance ratio.
1569 */
1570
1571 #ifndef NV_PRESERVES_UV
1572 #  define IS_NUMBER_UNDERFLOW_IV 1
1573 #  define IS_NUMBER_UNDERFLOW_UV 2
1574 #  define IS_NUMBER_IV_AND_UV    2
1575 #  define IS_NUMBER_OVERFLOW_IV  4
1576 #  define IS_NUMBER_OVERFLOW_UV  5
1577
1578 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1579
1580 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1581 STATIC int
1582 S_sv_2iuv_non_preserve(pTHX_ register SV *sv, I32 numtype)
1583 {
1584     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1585     if (SvNVX(sv) < (NV)IV_MIN) {
1586         (void)SvIOKp_on(sv);
1587         (void)SvNOK_on(sv);
1588         SvIV_set(sv, IV_MIN);
1589         return IS_NUMBER_UNDERFLOW_IV;
1590     }
1591     if (SvNVX(sv) > (NV)UV_MAX) {
1592         (void)SvIOKp_on(sv);
1593         (void)SvNOK_on(sv);
1594         SvIsUV_on(sv);
1595         SvUV_set(sv, UV_MAX);
1596         return IS_NUMBER_OVERFLOW_UV;
1597     }
1598     (void)SvIOKp_on(sv);
1599     (void)SvNOK_on(sv);
1600     /* Can't use strtol etc to convert this string.  (See truth table in
1601        sv_2iv  */
1602     if (SvNVX(sv) <= (UV)IV_MAX) {
1603         SvIV_set(sv, I_V(SvNVX(sv)));
1604         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1605             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1606         } else {
1607             /* Integer is imprecise. NOK, IOKp */
1608         }
1609         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1610     }
1611     SvIsUV_on(sv);
1612     SvUV_set(sv, U_V(SvNVX(sv)));
1613     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1614         if (SvUVX(sv) == UV_MAX) {
1615             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1616                possibly be preserved by NV. Hence, it must be overflow.
1617                NOK, IOKp */
1618             return IS_NUMBER_OVERFLOW_UV;
1619         }
1620         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1621     } else {
1622         /* Integer is imprecise. NOK, IOKp */
1623     }
1624     return IS_NUMBER_OVERFLOW_IV;
1625 }
1626 #endif /* !NV_PRESERVES_UV*/
1627
1628 /*
1629 =for apidoc sv_2iv_flags
1630
1631 Return the integer value of an SV, doing any necessary string
1632 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1633 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
1634
1635 =cut
1636 */
1637
1638 IV
1639 Perl_sv_2iv_flags(pTHX_ register SV *sv, I32 flags)
1640 {
1641     if (!sv)
1642         return 0;
1643     if (SvGMAGICAL(sv)) {
1644         if (flags & SV_GMAGIC)
1645             mg_get(sv);
1646         if (SvIOKp(sv))
1647             return SvIVX(sv);
1648         if (SvNOKp(sv)) {
1649             return I_V(SvNVX(sv));
1650         }
1651         if (SvPOKp(sv) && SvLEN(sv))
1652             return asIV(sv);
1653         if (!SvROK(sv)) {
1654             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1655                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1656                     report_uninit(sv);
1657             }
1658             return 0;
1659         }
1660     }
1661     if (SvTHINKFIRST(sv)) {
1662         if (SvROK(sv)) {
1663             if (SvAMAGIC(sv)) {
1664                 SV * const tmpstr=AMG_CALLun(sv,numer);
1665                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
1666                     return SvIV(tmpstr);
1667                 }
1668             }
1669             return PTR2IV(SvRV(sv));
1670         }
1671         if (SvIsCOW(sv)) {
1672             sv_force_normal_flags(sv, 0);
1673         }
1674         if (SvREADONLY(sv) && !SvOK(sv)) {
1675             if (ckWARN(WARN_UNINITIALIZED))
1676                 report_uninit(sv);
1677             return 0;
1678         }
1679     }
1680     if (SvIOKp(sv)) {
1681         if (SvIsUV(sv)) {
1682             return (IV)(SvUVX(sv));
1683         }
1684         else {
1685             return SvIVX(sv);
1686         }
1687     }
1688     if (SvNOKp(sv)) {
1689         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1690          * without also getting a cached IV/UV from it at the same time
1691          * (ie PV->NV conversion should detect loss of accuracy and cache
1692          * IV or UV at same time to avoid this.  NWC */
1693
1694         if (SvTYPE(sv) == SVt_NV)
1695             sv_upgrade(sv, SVt_PVNV);
1696
1697         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1698         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1699            certainly cast into the IV range at IV_MAX, whereas the correct
1700            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1701            cases go to UV */
1702         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1703             SvIV_set(sv, I_V(SvNVX(sv)));
1704             if (SvNVX(sv) == (NV) SvIVX(sv)
1705 #ifndef NV_PRESERVES_UV
1706                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1707                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1708                 /* Don't flag it as "accurately an integer" if the number
1709                    came from a (by definition imprecise) NV operation, and
1710                    we're outside the range of NV integer precision */
1711 #endif
1712                 ) {
1713                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
1714                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1715                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
1716                                       PTR2UV(sv),
1717                                       SvNVX(sv),
1718                                       SvIVX(sv)));
1719
1720             } else {
1721                 /* IV not precise.  No need to convert from PV, as NV
1722                    conversion would already have cached IV if it detected
1723                    that PV->IV would be better than PV->NV->IV
1724                    flags already correct - don't set public IOK.  */
1725                 DEBUG_c(PerlIO_printf(Perl_debug_log,
1726                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
1727                                       PTR2UV(sv),
1728                                       SvNVX(sv),
1729                                       SvIVX(sv)));
1730             }
1731             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
1732                but the cast (NV)IV_MIN rounds to a the value less (more
1733                negative) than IV_MIN which happens to be equal to SvNVX ??
1734                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
1735                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
1736                (NV)UVX == NVX are both true, but the values differ. :-(
1737                Hopefully for 2s complement IV_MIN is something like
1738                0x8000000000000000 which will be exact. NWC */
1739         }
1740         else {
1741             SvUV_set(sv, U_V(SvNVX(sv)));
1742             if (
1743                 (SvNVX(sv) == (NV) SvUVX(sv))
1744 #ifndef  NV_PRESERVES_UV
1745                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
1746                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
1747                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
1748                 /* Don't flag it as "accurately an integer" if the number
1749                    came from a (by definition imprecise) NV operation, and
1750                    we're outside the range of NV integer precision */
1751 #endif
1752                 )
1753                 SvIOK_on(sv);
1754             SvIsUV_on(sv);
1755             DEBUG_c(PerlIO_printf(Perl_debug_log,
1756                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
1757                                   PTR2UV(sv),
1758                                   SvUVX(sv),
1759                                   SvUVX(sv)));
1760         }
1761     }
1762     else if (SvPOKp(sv) && SvLEN(sv)) {
1763         UV value;
1764         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
1765         /* We want to avoid a possible problem when we cache an IV which
1766            may be later translated to an NV, and the resulting NV is not
1767            the same as the direct translation of the initial string
1768            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
1769            be careful to ensure that the value with the .456 is around if the
1770            NV value is requested in the future).
1771         
1772            This means that if we cache such an IV, we need to cache the
1773            NV as well.  Moreover, we trade speed for space, and do not
1774            cache the NV if we are sure it's not needed.
1775          */
1776
1777         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
1778         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1779              == IS_NUMBER_IN_UV) {
1780             /* It's definitely an integer, only upgrade to PVIV */
1781             if (SvTYPE(sv) < SVt_PVIV)
1782                 sv_upgrade(sv, SVt_PVIV);
1783             (void)SvIOK_on(sv);
1784         } else if (SvTYPE(sv) < SVt_PVNV)
1785             sv_upgrade(sv, SVt_PVNV);
1786
1787         /* If NV preserves UV then we only use the UV value if we know that
1788            we aren't going to call atof() below. If NVs don't preserve UVs
1789            then the value returned may have more precision than atof() will
1790            return, even though value isn't perfectly accurate.  */
1791         if ((numtype & (IS_NUMBER_IN_UV
1792 #ifdef NV_PRESERVES_UV
1793                         | IS_NUMBER_NOT_INT
1794 #endif
1795             )) == IS_NUMBER_IN_UV) {
1796             /* This won't turn off the public IOK flag if it was set above  */
1797             (void)SvIOKp_on(sv);
1798
1799             if (!(numtype & IS_NUMBER_NEG)) {
1800                 /* positive */;
1801                 if (value <= (UV)IV_MAX) {
1802                     SvIV_set(sv, (IV)value);
1803                 } else {
1804                     SvUV_set(sv, value);
1805                     SvIsUV_on(sv);
1806                 }
1807             } else {
1808                 /* 2s complement assumption  */
1809                 if (value <= (UV)IV_MIN) {
1810                     SvIV_set(sv, -(IV)value);
1811                 } else {
1812                     /* Too negative for an IV.  This is a double upgrade, but
1813                        I'm assuming it will be rare.  */
1814                     if (SvTYPE(sv) < SVt_PVNV)
1815                         sv_upgrade(sv, SVt_PVNV);
1816                     SvNOK_on(sv);
1817                     SvIOK_off(sv);
1818                     SvIOKp_on(sv);
1819                     SvNV_set(sv, -(NV)value);
1820                     SvIV_set(sv, IV_MIN);
1821                 }
1822             }
1823         }
1824         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
1825            will be in the previous block to set the IV slot, and the next
1826            block to set the NV slot.  So no else here.  */
1827         
1828         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1829             != IS_NUMBER_IN_UV) {
1830             /* It wasn't an (integer that doesn't overflow the UV). */
1831             SvNV_set(sv, Atof(SvPVX_const(sv)));
1832
1833             if (! numtype && ckWARN(WARN_NUMERIC))
1834                 not_a_number(sv);
1835
1836 #if defined(USE_LONG_DOUBLE)
1837             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
1838                                   PTR2UV(sv), SvNVX(sv)));
1839 #else
1840             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
1841                                   PTR2UV(sv), SvNVX(sv)));
1842 #endif
1843
1844
1845 #ifdef NV_PRESERVES_UV
1846             (void)SvIOKp_on(sv);
1847             (void)SvNOK_on(sv);
1848             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1849                 SvIV_set(sv, I_V(SvNVX(sv)));
1850                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1851                     SvIOK_on(sv);
1852                 } else {
1853                     /* Integer is imprecise. NOK, IOKp */
1854                 }
1855                 /* UV will not work better than IV */
1856             } else {
1857                 if (SvNVX(sv) > (NV)UV_MAX) {
1858                     SvIsUV_on(sv);
1859                     /* Integer is inaccurate. NOK, IOKp, is UV */
1860                     SvUV_set(sv, UV_MAX);
1861                     SvIsUV_on(sv);
1862                 } else {
1863                     SvUV_set(sv, U_V(SvNVX(sv)));
1864                     /* 0xFFFFFFFFFFFFFFFF not an issue in here */
1865                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1866                         SvIOK_on(sv);
1867                         SvIsUV_on(sv);
1868                     } else {
1869                         /* Integer is imprecise. NOK, IOKp, is UV */
1870                         SvIsUV_on(sv);
1871                     }
1872                 }
1873             }
1874 #else /* NV_PRESERVES_UV */
1875             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
1876                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
1877                 /* The IV slot will have been set from value returned by
1878                    grok_number above.  The NV slot has just been set using
1879                    Atof.  */
1880                 SvNOK_on(sv);
1881                 assert (SvIOKp(sv));
1882             } else {
1883                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
1884                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
1885                     /* Small enough to preserve all bits. */
1886                     (void)SvIOKp_on(sv);
1887                     SvNOK_on(sv);
1888                     SvIV_set(sv, I_V(SvNVX(sv)));
1889                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
1890                         SvIOK_on(sv);
1891                     /* Assumption: first non-preserved integer is < IV_MAX,
1892                        this NV is in the preserved range, therefore: */
1893                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
1894                           < (UV)IV_MAX)) {
1895                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
1896                     }
1897                 } else {
1898                     /* IN_UV NOT_INT
1899                          0      0       already failed to read UV.
1900                          0      1       already failed to read UV.
1901                          1      0       you won't get here in this case. IV/UV
1902                                         slot set, public IOK, Atof() unneeded.
1903                          1      1       already read UV.
1904                        so there's no point in sv_2iuv_non_preserve() attempting
1905                        to use atol, strtol, strtoul etc.  */
1906                     sv_2iuv_non_preserve (sv, numtype);
1907                 }
1908             }
1909 #endif /* NV_PRESERVES_UV */
1910         }
1911     } else  {
1912         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
1913             report_uninit(sv);
1914         if (SvTYPE(sv) < SVt_IV)
1915             /* Typically the caller expects that sv_any is not NULL now.  */
1916             sv_upgrade(sv, SVt_IV);
1917         return 0;
1918     }
1919     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
1920         PTR2UV(sv),SvIVX(sv)));
1921     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
1922 }
1923
1924 /*
1925 =for apidoc sv_2uv_flags
1926
1927 Return the unsigned integer value of an SV, doing any necessary string
1928 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
1929 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
1930
1931 =cut
1932 */
1933
1934 UV
1935 Perl_sv_2uv_flags(pTHX_ register SV *sv, I32 flags)
1936 {
1937     if (!sv)
1938         return 0;
1939     if (SvGMAGICAL(sv)) {
1940         if (flags & SV_GMAGIC)
1941             mg_get(sv);
1942         if (SvIOKp(sv))
1943             return SvUVX(sv);
1944         if (SvNOKp(sv))
1945             return U_V(SvNVX(sv));
1946         if (SvPOKp(sv) && SvLEN(sv))
1947             return asUV(sv);
1948         if (!SvROK(sv)) {
1949             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
1950                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
1951                     report_uninit(sv);
1952             }
1953             return 0;
1954         }
1955     }
1956     if (SvTHINKFIRST(sv)) {
1957         if (SvROK(sv)) {
1958           SV* tmpstr;
1959           if (SvAMAGIC(sv) && (tmpstr=AMG_CALLun(sv,numer)) &&
1960                 (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv))))
1961               return SvUV(tmpstr);
1962           return PTR2UV(SvRV(sv));
1963         }
1964         if (SvIsCOW(sv)) {
1965             sv_force_normal_flags(sv, 0);
1966         }
1967         if (SvREADONLY(sv) && !SvOK(sv)) {
1968             if (ckWARN(WARN_UNINITIALIZED))
1969                 report_uninit(sv);
1970             return 0;
1971         }
1972     }
1973     if (SvIOKp(sv)) {
1974         if (SvIsUV(sv)) {
1975             return SvUVX(sv);
1976         }
1977         else {
1978             return (UV)SvIVX(sv);
1979         }
1980     }
1981     if (SvNOKp(sv)) {
1982         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1983          * without also getting a cached IV/UV from it at the same time
1984          * (ie PV->NV conversion should detect loss of accuracy and cache
1985          * IV or UV at same time to avoid this. */
1986         /* IV-over-UV optimisation - choose to cache IV if possible */
1987
1988         if (SvTYPE(sv) == SVt_NV)
1989             sv_upgrade(sv, SVt_PVNV);
1990
1991         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1992         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
1993             SvIV_set(sv, I_V(SvNVX(sv)));
1994             if (SvNVX(sv) == (NV) SvIVX(sv)
1995 #ifndef NV_PRESERVES_UV
1996                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
1997                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
1998                 /* Don't flag it as "accurately an integer" if the number
1999                    came from a (by definition imprecise) NV operation, and
2000                    we're outside the range of NV integer precision */
2001 #endif
2002                 ) {
2003                 SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2004                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2005                                       "0x%"UVxf" uv(%"NVgf" => %"IVdf") (precise)\n",
2006                                       PTR2UV(sv),
2007                                       SvNVX(sv),
2008                                       SvIVX(sv)));
2009
2010             } else {
2011                 /* IV not precise.  No need to convert from PV, as NV
2012                    conversion would already have cached IV if it detected
2013                    that PV->IV would be better than PV->NV->IV
2014                    flags already correct - don't set public IOK.  */
2015                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2016                                       "0x%"UVxf" uv(%"NVgf" => %"IVdf") (imprecise)\n",
2017                                       PTR2UV(sv),
2018                                       SvNVX(sv),
2019                                       SvIVX(sv)));
2020             }
2021             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2022                but the cast (NV)IV_MIN rounds to a the value less (more
2023                negative) than IV_MIN which happens to be equal to SvNVX ??
2024                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2025                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2026                (NV)UVX == NVX are both true, but the values differ. :-(
2027                Hopefully for 2s complement IV_MIN is something like
2028                0x8000000000000000 which will be exact. NWC */
2029         }
2030         else {
2031             SvUV_set(sv, U_V(SvNVX(sv)));
2032             if (
2033                 (SvNVX(sv) == (NV) SvUVX(sv))
2034 #ifndef  NV_PRESERVES_UV
2035                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2036                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2037                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2038                 /* Don't flag it as "accurately an integer" if the number
2039                    came from a (by definition imprecise) NV operation, and
2040                    we're outside the range of NV integer precision */
2041 #endif
2042                 )
2043                 SvIOK_on(sv);
2044             SvIsUV_on(sv);
2045             DEBUG_c(PerlIO_printf(Perl_debug_log,
2046                                   "0x%"UVxf" 2uv(%"UVuf" => %"IVdf") (as unsigned)\n",
2047                                   PTR2UV(sv),
2048                                   SvUVX(sv),
2049                                   SvUVX(sv)));
2050         }
2051     }
2052     else if (SvPOKp(sv) && SvLEN(sv)) {
2053         UV value;
2054         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2055
2056         /* We want to avoid a possible problem when we cache a UV which
2057            may be later translated to an NV, and the resulting NV is not
2058            the translation of the initial data.
2059         
2060            This means that if we cache such a UV, we need to cache the
2061            NV as well.  Moreover, we trade speed for space, and do not
2062            cache the NV if not needed.
2063          */
2064
2065         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2066         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2067              == IS_NUMBER_IN_UV) {
2068             /* It's definitely an integer, only upgrade to PVIV */
2069             if (SvTYPE(sv) < SVt_PVIV)
2070                 sv_upgrade(sv, SVt_PVIV);
2071             (void)SvIOK_on(sv);
2072         } else if (SvTYPE(sv) < SVt_PVNV)
2073             sv_upgrade(sv, SVt_PVNV);
2074
2075         /* If NV preserves UV then we only use the UV value if we know that
2076            we aren't going to call atof() below. If NVs don't preserve UVs
2077            then the value returned may have more precision than atof() will
2078            return, even though it isn't accurate.  */
2079         if ((numtype & (IS_NUMBER_IN_UV
2080 #ifdef NV_PRESERVES_UV
2081                         | IS_NUMBER_NOT_INT
2082 #endif
2083             )) == IS_NUMBER_IN_UV) {
2084             /* This won't turn off the public IOK flag if it was set above  */
2085             (void)SvIOKp_on(sv);
2086
2087             if (!(numtype & IS_NUMBER_NEG)) {
2088                 /* positive */;
2089                 if (value <= (UV)IV_MAX) {
2090                     SvIV_set(sv, (IV)value);
2091                 } else {
2092                     /* it didn't overflow, and it was positive. */
2093                     SvUV_set(sv, value);
2094                     SvIsUV_on(sv);
2095                 }
2096             } else {
2097                 /* 2s complement assumption  */
2098                 if (value <= (UV)IV_MIN) {
2099                     SvIV_set(sv, -(IV)value);
2100                 } else {
2101                     /* Too negative for an IV.  This is a double upgrade, but
2102                        I'm assuming it will be rare.  */
2103                     if (SvTYPE(sv) < SVt_PVNV)
2104                         sv_upgrade(sv, SVt_PVNV);
2105                     SvNOK_on(sv);
2106                     SvIOK_off(sv);
2107                     SvIOKp_on(sv);
2108                     SvNV_set(sv, -(NV)value);
2109                     SvIV_set(sv, IV_MIN);
2110                 }
2111             }
2112         }
2113         
2114         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2115             != IS_NUMBER_IN_UV) {
2116             /* It wasn't an integer, or it overflowed the UV. */
2117             SvNV_set(sv, Atof(SvPVX_const(sv)));
2118
2119             if (! numtype && ckWARN(WARN_NUMERIC))
2120                     not_a_number(sv);
2121
2122 #if defined(USE_LONG_DOUBLE)
2123             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%" PERL_PRIgldbl ")\n",
2124                                   PTR2UV(sv), SvNVX(sv)));
2125 #else
2126             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"NVgf")\n",
2127                                   PTR2UV(sv), SvNVX(sv)));
2128 #endif
2129
2130 #ifdef NV_PRESERVES_UV
2131             (void)SvIOKp_on(sv);
2132             (void)SvNOK_on(sv);
2133             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2134                 SvIV_set(sv, I_V(SvNVX(sv)));
2135                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2136                     SvIOK_on(sv);
2137                 } else {
2138                     /* Integer is imprecise. NOK, IOKp */
2139                 }
2140                 /* UV will not work better than IV */
2141             } else {
2142                 if (SvNVX(sv) > (NV)UV_MAX) {
2143                     SvIsUV_on(sv);
2144                     /* Integer is inaccurate. NOK, IOKp, is UV */
2145                     SvUV_set(sv, UV_MAX);
2146                     SvIsUV_on(sv);
2147                 } else {
2148                     SvUV_set(sv, U_V(SvNVX(sv)));
2149                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2150                        NV preservse UV so can do correct comparison.  */
2151                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2152                         SvIOK_on(sv);
2153                         SvIsUV_on(sv);
2154                     } else {
2155                         /* Integer is imprecise. NOK, IOKp, is UV */
2156                         SvIsUV_on(sv);
2157                     }
2158                 }
2159             }
2160 #else /* NV_PRESERVES_UV */
2161             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2162                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2163                 /* The UV slot will have been set from value returned by
2164                    grok_number above.  The NV slot has just been set using
2165                    Atof.  */
2166                 SvNOK_on(sv);
2167                 assert (SvIOKp(sv));
2168             } else {
2169                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2170                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2171                     /* Small enough to preserve all bits. */
2172                     (void)SvIOKp_on(sv);
2173                     SvNOK_on(sv);
2174                     SvIV_set(sv, I_V(SvNVX(sv)));
2175                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2176                         SvIOK_on(sv);
2177                     /* Assumption: first non-preserved integer is < IV_MAX,
2178                        this NV is in the preserved range, therefore: */
2179                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2180                           < (UV)IV_MAX)) {
2181                         Perl_croak(aTHX_ "sv_2uv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2182                     }
2183                 } else
2184                     sv_2iuv_non_preserve (sv, numtype);
2185             }
2186 #endif /* NV_PRESERVES_UV */
2187         }
2188     }
2189     else  {
2190         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2191             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2192                 report_uninit(sv);
2193         }
2194         if (SvTYPE(sv) < SVt_IV)
2195             /* Typically the caller expects that sv_any is not NULL now.  */
2196             sv_upgrade(sv, SVt_IV);
2197         return 0;
2198     }
2199
2200     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2201                           PTR2UV(sv),SvUVX(sv)));
2202     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2203 }
2204
2205 /*
2206 =for apidoc sv_2nv
2207
2208 Return the num value of an SV, doing any necessary string or integer
2209 conversion, magic etc. Normally used via the C<SvNV(sv)> and C<SvNVx(sv)>
2210 macros.
2211
2212 =cut
2213 */
2214
2215 NV
2216 Perl_sv_2nv(pTHX_ register SV *sv)
2217 {
2218     if (!sv)
2219         return 0.0;
2220     if (SvGMAGICAL(sv)) {
2221         mg_get(sv);
2222         if (SvNOKp(sv))
2223             return SvNVX(sv);
2224         if (SvPOKp(sv) && SvLEN(sv)) {
2225             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2226                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2227                 not_a_number(sv);
2228             return Atof(SvPVX_const(sv));
2229         }
2230         if (SvIOKp(sv)) {
2231             if (SvIsUV(sv))
2232                 return (NV)SvUVX(sv);
2233             else
2234                 return (NV)SvIVX(sv);
2235         }       
2236         if (!SvROK(sv)) {
2237             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2238                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2239                     report_uninit(sv);
2240             }
2241             return (NV)0;
2242         }
2243     }
2244     if (SvTHINKFIRST(sv)) {
2245         if (SvROK(sv)) {
2246           SV* tmpstr;
2247           if (SvAMAGIC(sv) && (tmpstr=AMG_CALLun(sv,numer)) &&
2248                 (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv))))
2249               return SvNV(tmpstr);
2250           return PTR2NV(SvRV(sv));
2251         }
2252         if (SvIsCOW(sv)) {
2253             sv_force_normal_flags(sv, 0);
2254         }
2255         if (SvREADONLY(sv) && !SvOK(sv)) {
2256             if (ckWARN(WARN_UNINITIALIZED))
2257                 report_uninit(sv);
2258             return 0.0;
2259         }
2260     }
2261     if (SvTYPE(sv) < SVt_NV) {
2262         if (SvTYPE(sv) == SVt_IV)
2263             sv_upgrade(sv, SVt_PVNV);
2264         else
2265             sv_upgrade(sv, SVt_NV);
2266 #ifdef USE_LONG_DOUBLE
2267         DEBUG_c({
2268             STORE_NUMERIC_LOCAL_SET_STANDARD();
2269             PerlIO_printf(Perl_debug_log,
2270                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2271                           PTR2UV(sv), SvNVX(sv));
2272             RESTORE_NUMERIC_LOCAL();
2273         });
2274 #else
2275         DEBUG_c({
2276             STORE_NUMERIC_LOCAL_SET_STANDARD();
2277             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2278                           PTR2UV(sv), SvNVX(sv));
2279             RESTORE_NUMERIC_LOCAL();
2280         });
2281 #endif
2282     }
2283     else if (SvTYPE(sv) < SVt_PVNV)
2284         sv_upgrade(sv, SVt_PVNV);
2285     if (SvNOKp(sv)) {
2286         return SvNVX(sv);
2287     }
2288     if (SvIOKp(sv)) {
2289         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2290 #ifdef NV_PRESERVES_UV
2291         SvNOK_on(sv);
2292 #else
2293         /* Only set the public NV OK flag if this NV preserves the IV  */
2294         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2295         if (SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2296                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2297             SvNOK_on(sv);
2298         else
2299             SvNOKp_on(sv);
2300 #endif
2301     }
2302     else if (SvPOKp(sv) && SvLEN(sv)) {
2303         UV value;
2304         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2305         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2306             not_a_number(sv);
2307 #ifdef NV_PRESERVES_UV
2308         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2309             == IS_NUMBER_IN_UV) {
2310             /* It's definitely an integer */
2311             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2312         } else
2313             SvNV_set(sv, Atof(SvPVX_const(sv)));
2314         SvNOK_on(sv);
2315 #else
2316         SvNV_set(sv, Atof(SvPVX_const(sv)));
2317         /* Only set the public NV OK flag if this NV preserves the value in
2318            the PV at least as well as an IV/UV would.
2319            Not sure how to do this 100% reliably. */
2320         /* if that shift count is out of range then Configure's test is
2321            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2322            UV_BITS */
2323         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2324             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2325             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2326         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2327             /* Can't use strtol etc to convert this string, so don't try.
2328                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2329             SvNOK_on(sv);
2330         } else {
2331             /* value has been set.  It may not be precise.  */
2332             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2333                 /* 2s complement assumption for (UV)IV_MIN  */
2334                 SvNOK_on(sv); /* Integer is too negative.  */
2335             } else {
2336                 SvNOKp_on(sv);
2337                 SvIOKp_on(sv);
2338
2339                 if (numtype & IS_NUMBER_NEG) {
2340                     SvIV_set(sv, -(IV)value);
2341                 } else if (value <= (UV)IV_MAX) {
2342                     SvIV_set(sv, (IV)value);
2343                 } else {
2344                     SvUV_set(sv, value);
2345                     SvIsUV_on(sv);
2346                 }
2347
2348                 if (numtype & IS_NUMBER_NOT_INT) {
2349                     /* I believe that even if the original PV had decimals,
2350                        they are lost beyond the limit of the FP precision.
2351                        However, neither is canonical, so both only get p
2352                        flags.  NWC, 2000/11/25 */
2353                     /* Both already have p flags, so do nothing */
2354                 } else {
2355                     const NV nv = SvNVX(sv);
2356                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2357                         if (SvIVX(sv) == I_V(nv)) {
2358                             SvNOK_on(sv);
2359                             SvIOK_on(sv);
2360                         } else {
2361                             SvIOK_on(sv);
2362                             /* It had no "." so it must be integer.  */
2363                         }
2364                     } else {
2365                         /* between IV_MAX and NV(UV_MAX).
2366                            Could be slightly > UV_MAX */
2367
2368                         if (numtype & IS_NUMBER_NOT_INT) {
2369                             /* UV and NV both imprecise.  */
2370                         } else {
2371                             const UV nv_as_uv = U_V(nv);
2372
2373                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2374                                 SvNOK_on(sv);
2375                                 SvIOK_on(sv);
2376                             } else {
2377                                 SvIOK_on(sv);
2378                             }
2379                         }
2380                     }
2381                 }
2382             }
2383         }
2384 #endif /* NV_PRESERVES_UV */
2385     }
2386     else  {
2387         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2388             report_uninit(sv);
2389         if (SvTYPE(sv) < SVt_NV)
2390             /* Typically the caller expects that sv_any is not NULL now.  */
2391             /* XXX Ilya implies that this is a bug in callers that assume this
2392                and ideally should be fixed.  */
2393             sv_upgrade(sv, SVt_NV);
2394         return 0.0;
2395     }
2396 #if defined(USE_LONG_DOUBLE)
2397     DEBUG_c({
2398         STORE_NUMERIC_LOCAL_SET_STANDARD();
2399         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2400                       PTR2UV(sv), SvNVX(sv));
2401         RESTORE_NUMERIC_LOCAL();
2402     });
2403 #else
2404     DEBUG_c({
2405         STORE_NUMERIC_LOCAL_SET_STANDARD();
2406         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2407                       PTR2UV(sv), SvNVX(sv));
2408         RESTORE_NUMERIC_LOCAL();
2409     });
2410 #endif
2411     return SvNVX(sv);
2412 }
2413
2414 /* asIV(): extract an integer from the string value of an SV.
2415  * Caller must validate PVX  */
2416
2417 STATIC IV
2418 S_asIV(pTHX_ SV *sv)
2419 {
2420     UV value;
2421     const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2422
2423     if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2424         == IS_NUMBER_IN_UV) {
2425         /* It's definitely an integer */
2426         if (numtype & IS_NUMBER_NEG) {
2427             if (value < (UV)IV_MIN)
2428                 return -(IV)value;
2429         } else {
2430             if (value < (UV)IV_MAX)
2431                 return (IV)value;
2432         }
2433     }
2434     if (!numtype) {
2435         if (ckWARN(WARN_NUMERIC))
2436             not_a_number(sv);
2437     }
2438     return I_V(Atof(SvPVX_const(sv)));
2439 }
2440
2441 /* asUV(): extract an unsigned integer from the string value of an SV
2442  * Caller must validate PVX  */
2443
2444 STATIC UV
2445 S_asUV(pTHX_ SV *sv)
2446 {
2447     UV value;
2448     const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2449
2450     if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2451         == IS_NUMBER_IN_UV) {
2452         /* It's definitely an integer */
2453         if (!(numtype & IS_NUMBER_NEG))
2454             return value;
2455     }
2456     if (!numtype) {
2457         if (ckWARN(WARN_NUMERIC))
2458             not_a_number(sv);
2459     }
2460     return U_V(Atof(SvPVX_const(sv)));
2461 }
2462
2463 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2464  * UV as a string towards the end of buf, and return pointers to start and
2465  * end of it.
2466  *
2467  * We assume that buf is at least TYPE_CHARS(UV) long.
2468  */
2469
2470 static char *
2471 S_uiv_2buf(char *buf, IV iv, UV uv, int is_uv, char **peob)
2472 {
2473     char *ptr = buf + TYPE_CHARS(UV);
2474     char * const ebuf = ptr;
2475     int sign;
2476
2477     if (is_uv)
2478         sign = 0;
2479     else if (iv >= 0) {
2480         uv = iv;
2481         sign = 0;
2482     } else {
2483         uv = -iv;
2484         sign = 1;
2485     }
2486     do {
2487         *--ptr = '0' + (char)(uv % 10);
2488     } while (uv /= 10);
2489     if (sign)
2490         *--ptr = '-';
2491     *peob = ebuf;
2492     return ptr;
2493 }
2494
2495 /*
2496 =for apidoc sv_2pv_flags
2497
2498 Returns a pointer to the string value of an SV, and sets *lp to its length.
2499 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2500 if necessary.
2501 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2502 usually end up here too.
2503
2504 =cut
2505 */
2506
2507 char *
2508 Perl_sv_2pv_flags(pTHX_ register SV *sv, STRLEN *lp, I32 flags)
2509 {
2510     register char *s;
2511     int olderrno;
2512     SV *tsv;
2513     char tbuf[64];      /* Must fit sprintf/Gconvert of longest IV/NV */
2514     char *tmpbuf = tbuf;
2515     STRLEN len = 0;     /* Hush gcc. len is always initialised before use.  */
2516
2517     if (!sv) {
2518         if (lp)
2519             *lp = 0;
2520         return (char *)"";
2521     }
2522     if (SvGMAGICAL(sv)) {
2523         if (flags & SV_GMAGIC)
2524             mg_get(sv);
2525         if (SvPOKp(sv)) {
2526             if (lp)
2527                 *lp = SvCUR(sv);
2528             if (flags & SV_MUTABLE_RETURN)
2529                 return SvPVX_mutable(sv);
2530             if (flags & SV_CONST_RETURN)
2531                 return (char *)SvPVX_const(sv);
2532             return SvPVX(sv);
2533         }
2534         if (SvIOKp(sv)) {
2535             len = SvIsUV(sv) ? my_sprintf(tmpbuf,"%"UVuf, (UV)SvUVX(sv))
2536                 : my_sprintf(tmpbuf,"%"IVdf, (IV)SvIVX(sv));
2537             tsv = Nullsv;
2538             goto tokensave_has_len;
2539         }
2540         if (SvNOKp(sv)) {
2541             Gconvert(SvNVX(sv), NV_DIG, 0, tmpbuf);
2542             tsv = Nullsv;
2543             goto tokensave;
2544         }
2545         if (!SvROK(sv)) {
2546             if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2547                 if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2548                     report_uninit(sv);
2549             }
2550             if (lp)
2551                 *lp = 0;
2552             return (char *)"";
2553         }
2554     }
2555     if (SvTHINKFIRST(sv)) {
2556         if (SvROK(sv)) {
2557             SV* tmpstr;
2558
2559             if (SvAMAGIC(sv) && (tmpstr=AMG_CALLun(sv,string)) &&
2560                 (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2561                 /* Unwrap this:  */
2562                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr); */
2563
2564                 char *pv;
2565                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2566                     if (flags & SV_CONST_RETURN) {
2567                         pv = (char *) SvPVX_const(tmpstr);
2568                     } else {
2569                         pv = (flags & SV_MUTABLE_RETURN)
2570                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2571                     }
2572                     if (lp)
2573                         *lp = SvCUR(tmpstr);
2574                 } else {
2575                     pv = sv_2pv_flags(tmpstr, lp, flags);
2576                 }
2577                 if (SvUTF8(tmpstr))
2578                     SvUTF8_on(sv);
2579                 else
2580                     SvUTF8_off(sv);
2581                 return pv;
2582             } else {
2583                 MAGIC *mg;
2584                 const SV *const referent = (SV*)SvRV(sv);
2585
2586                 if (!referent) {
2587                     tsv = sv_2mortal(newSVpvn("NULLREF", 7));
2588                 } else if (SvTYPE(referent) == SVt_PVMG
2589                            && ((SvFLAGS(referent) &
2590                                 (SVs_OBJECT|SVf_OK|SVs_GMG|SVs_SMG|SVs_RMG))
2591                                == (SVs_OBJECT|SVs_SMG))
2592                            && (mg = mg_find(referent, PERL_MAGIC_qr))) {
2593                     const regexp *re = (regexp *)mg->mg_obj;
2594
2595                     if (!mg->mg_ptr) {
2596                         const char *fptr = "msix";
2597                         char reflags[6];
2598                         char ch;
2599                         int left = 0;
2600                         int right = 4;
2601                         char need_newline = 0;
2602                         U16 reganch =
2603                             (U16)((re->reganch & PMf_COMPILETIME) >> 12);
2604
2605                         while((ch = *fptr++)) {
2606                             if(reganch & 1) {
2607                                 reflags[left++] = ch;
2608                             }
2609                             else {
2610                                 reflags[right--] = ch;
2611                             }
2612                             reganch >>= 1;
2613                         }
2614                         if(left != 4) {
2615                             reflags[left] = '-';
2616                             left = 5;
2617                         }
2618
2619                         mg->mg_len = re->prelen + 4 + left;
2620                         /*
2621                          * If /x was used, we have to worry about a regex
2622                          * ending with a comment later being embedded
2623                          * within another regex. If so, we don't want this
2624                          * regex's "commentization" to leak out to the
2625                          * right part of the enclosing regex, we must cap
2626                          * it with a newline.
2627                          *
2628                          * So, if /x was used, we scan backwards from the
2629                          * end of the regex. If we find a '#' before we
2630                          * find a newline, we need to add a newline
2631                          * ourself. If we find a '\n' first (or if we
2632                          * don't find '#' or '\n'), we don't need to add
2633                          * anything.  -jfriedl
2634                          */
2635                         if (PMf_EXTENDED & re->reganch) {
2636                             const char *endptr = re->precomp + re->prelen;
2637                             while (endptr >= re->precomp) {
2638                                 const char c = *(endptr--);
2639                                 if (c == '\n')
2640                                     break; /* don't need another */
2641                                 if (c == '#') {
2642                                     /* we end while in a comment, so we
2643                                        need a newline */
2644                                     mg->mg_len++; /* save space for it */
2645                                     need_newline = 1; /* note to add it */
2646                                     break;
2647                                 }
2648                             }
2649                         }
2650
2651                         Newx(mg->mg_ptr, mg->mg_len + 1 + left, char);
2652                         Copy("(?", mg->mg_ptr, 2, char);
2653                         Copy(reflags, mg->mg_ptr+2, left, char);
2654                         Copy(":", mg->mg_ptr+left+2, 1, char);
2655                         Copy(re->precomp, mg->mg_ptr+3+left, re->prelen, char);
2656                         if (need_newline)
2657                             mg->mg_ptr[mg->mg_len - 2] = '\n';
2658                         mg->mg_ptr[mg->mg_len - 1] = ')';
2659                         mg->mg_ptr[mg->mg_len] = 0;
2660                     }
2661                     PL_reginterp_cnt += re->program[0].next_off;
2662
2663                     if (re->reganch & ROPT_UTF8)
2664                         SvUTF8_on(sv);
2665                     else
2666                         SvUTF8_off(sv);
2667                     if (lp)
2668                         *lp = mg->mg_len;
2669                     return mg->mg_ptr;
2670                 } else {
2671                     const char *const typestr = sv_reftype(referent, 0);
2672
2673                     tsv = sv_newmortal();
2674                     if (SvOBJECT(referent)) {
2675                         const char *const name = HvNAME_get(SvSTASH(referent));
2676                         Perl_sv_setpvf(aTHX_ tsv, "%s=%s(0x%"UVxf")",
2677                                        name ? name : "__ANON__" , typestr,
2678                                        PTR2UV(referent));
2679                     }
2680                     else
2681                         Perl_sv_setpvf(aTHX_ tsv, "%s(0x%"UVxf")", typestr,
2682                                        PTR2UV(referent));
2683                 }
2684                 if (lp)
2685                     *lp = SvCUR(tsv);
2686                 return SvPVX(tsv);
2687             }
2688         }
2689         if (SvREADONLY(sv) && !SvOK(sv)) {
2690             if (ckWARN(WARN_UNINITIALIZED))
2691                 report_uninit(sv);
2692             if (lp)
2693                 *lp = 0;
2694             return (char *)"";
2695         }
2696     }
2697     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2698         /* I'm assuming that if both IV and NV are equally valid then
2699            converting the IV is going to be more efficient */
2700         const U32 isIOK = SvIOK(sv);
2701         const U32 isUIOK = SvIsUV(sv);
2702         char buf[TYPE_CHARS(UV)];
2703         char *ebuf, *ptr;
2704
2705         if (SvTYPE(sv) < SVt_PVIV)
2706             sv_upgrade(sv, SVt_PVIV);
2707         if (isUIOK)
2708             ptr = uiv_2buf(buf, 0, SvUVX(sv), 1, &ebuf);
2709         else
2710             ptr = uiv_2buf(buf, SvIVX(sv), 0, 0, &ebuf);
2711         /* inlined from sv_setpvn */
2712         SvGROW_mutable(sv, (STRLEN)(ebuf - ptr + 1));
2713         Move(ptr,SvPVX_mutable(sv),ebuf - ptr,char);
2714         SvCUR_set(sv, ebuf - ptr);
2715         s = SvEND(sv);
2716         *s = '\0';
2717         if (isIOK)
2718             SvIOK_on(sv);
2719         else
2720             SvIOKp_on(sv);
2721         if (isUIOK)
2722             SvIsUV_on(sv);
2723     }
2724     else if (SvNOKp(sv)) {
2725         if (SvTYPE(sv) < SVt_PVNV)
2726             sv_upgrade(sv, SVt_PVNV);
2727         /* The +20 is pure guesswork.  Configure test needed. --jhi */
2728         s = SvGROW_mutable(sv, NV_DIG + 20);
2729         olderrno = errno;       /* some Xenix systems wipe out errno here */
2730 #ifdef apollo
2731         if (SvNVX(sv) == 0.0)
2732             (void)strcpy(s,"0");
2733         else
2734 #endif /*apollo*/
2735         {
2736             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2737         }
2738         errno = olderrno;
2739 #ifdef FIXNEGATIVEZERO
2740         if (*s == '-' && s[1] == '0' && !s[2])
2741             strcpy(s,"0");
2742 #endif
2743         while (*s) s++;
2744 #ifdef hcx
2745         if (s[-1] == '.')
2746             *--s = '\0';
2747 #endif
2748     }
2749     else {
2750         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2751             report_uninit(sv);
2752         if (lp)
2753         *lp = 0;
2754         if (SvTYPE(sv) < SVt_PV)
2755             /* Typically the caller expects that sv_any is not NULL now.  */
2756             sv_upgrade(sv, SVt_PV);
2757         return (char *)"";
2758     }
2759     {
2760         const STRLEN len = s - SvPVX_const(sv);
2761         if (lp) 
2762             *lp = len;
2763         SvCUR_set(sv, len);
2764     }
2765     SvPOK_on(sv);
2766     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2767                           PTR2UV(sv),SvPVX_const(sv)));
2768     if (flags & SV_CONST_RETURN)
2769         return (char *)SvPVX_const(sv);
2770     if (flags & SV_MUTABLE_RETURN)
2771         return SvPVX_mutable(sv);
2772     return SvPVX(sv);
2773
2774   tokensave:
2775     len = strlen(tmpbuf);
2776  tokensave_has_len:
2777     assert (!tsv);
2778     if (SvROK(sv)) {    /* XXX Skip this when sv_pvn_force calls */
2779         /* Sneaky stuff here */
2780
2781         if (!tsv)
2782             tsv = newSVpvn(tmpbuf, len);
2783         sv_2mortal(tsv);
2784         if (lp)
2785             *lp = SvCUR(tsv);
2786         return SvPVX(tsv);
2787     }
2788     else {
2789         dVAR;
2790
2791 #ifdef FIXNEGATIVEZERO
2792         if (len == 2 && tmpbuf[0] == '-' && tmpbuf[1] == '0') {
2793             tmpbuf[0] = '0';
2794             tmpbuf[1] = 0;
2795             len = 1;
2796         }
2797 #endif
2798         SvUPGRADE(sv, SVt_PV);
2799         if (lp)
2800             *lp = len;
2801         s = SvGROW_mutable(sv, len + 1);
2802         SvCUR_set(sv, len);
2803         SvPOKp_on(sv);
2804         return memcpy(s, tmpbuf, len + 1);
2805     }
2806 }
2807
2808 /*
2809 =for apidoc sv_copypv
2810
2811 Copies a stringified representation of the source SV into the
2812 destination SV.  Automatically performs any necessary mg_get and
2813 coercion of numeric values into strings.  Guaranteed to preserve
2814 UTF-8 flag even from overloaded objects.  Similar in nature to
2815 sv_2pv[_flags] but operates directly on an SV instead of just the
2816 string.  Mostly uses sv_2pv_flags to do its work, except when that
2817 would lose the UTF-8'ness of the PV.
2818
2819 =cut
2820 */
2821
2822 void
2823 Perl_sv_copypv(pTHX_ SV *dsv, register SV *ssv)
2824 {
2825     STRLEN len;
2826     const char * const s = SvPV_const(ssv,len);
2827     sv_setpvn(dsv,s,len);
2828     if (SvUTF8(ssv))
2829         SvUTF8_on(dsv);
2830     else
2831         SvUTF8_off(dsv);
2832 }
2833
2834 /*
2835 =for apidoc sv_2pvbyte
2836
2837 Return a pointer to the byte-encoded representation of the SV, and set *lp
2838 to its length.  May cause the SV to be downgraded from UTF-8 as a
2839 side-effect.
2840
2841 Usually accessed via the C<SvPVbyte> macro.
2842
2843 =cut
2844 */
2845
2846 char *
2847 Perl_sv_2pvbyte(pTHX_ register SV *sv, STRLEN *lp)
2848 {
2849     sv_utf8_downgrade(sv,0);
2850     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2851 }
2852
2853 /*
2854 =for apidoc sv_2pvutf8
2855
2856 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
2857 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
2858
2859 Usually accessed via the C<SvPVutf8> macro.
2860
2861 =cut
2862 */
2863
2864 char *
2865 Perl_sv_2pvutf8(pTHX_ register SV *sv, STRLEN *lp)
2866 {
2867     sv_utf8_upgrade(sv);
2868     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
2869 }
2870
2871
2872 /*
2873 =for apidoc sv_2bool
2874
2875 This function is only called on magical items, and is only used by
2876 sv_true() or its macro equivalent.
2877
2878 =cut
2879 */
2880
2881 bool
2882 Perl_sv_2bool(pTHX_ register SV *sv)
2883 {
2884     SvGETMAGIC(sv);
2885
2886     if (!SvOK(sv))
2887         return 0;
2888     if (SvROK(sv)) {
2889         SV* tmpsv;
2890         if (SvAMAGIC(sv) && (tmpsv=AMG_CALLun(sv,bool_)) &&
2891                 (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2892             return (bool)SvTRUE(tmpsv);
2893       return SvRV(sv) != 0;
2894     }
2895     if (SvPOKp(sv)) {
2896         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
2897         if (Xpvtmp &&
2898                 (*sv->sv_u.svu_pv > '0' ||
2899                 Xpvtmp->xpv_cur > 1 ||
2900                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
2901             return 1;
2902         else
2903             return 0;
2904     }
2905     else {
2906         if (SvIOKp(sv))
2907             return SvIVX(sv) != 0;
2908         else {
2909             if (SvNOKp(sv))
2910                 return SvNVX(sv) != 0.0;
2911             else
2912                 return FALSE;
2913         }
2914     }
2915 }
2916
2917 /*
2918 =for apidoc sv_utf8_upgrade
2919
2920 Converts the PV of an SV to its UTF-8-encoded form.
2921 Forces the SV to string form if it is not already.
2922 Always sets the SvUTF8 flag to avoid future validity checks even
2923 if all the bytes have hibit clear.
2924
2925 This is not as a general purpose byte encoding to Unicode interface:
2926 use the Encode extension for that.
2927
2928 =for apidoc sv_utf8_upgrade_flags
2929
2930 Converts the PV of an SV to its UTF-8-encoded form.
2931 Forces the SV to string form if it is not already.
2932 Always sets the SvUTF8 flag to avoid future validity checks even
2933 if all the bytes have hibit clear. If C<flags> has C<SV_GMAGIC> bit set,
2934 will C<mg_get> on C<sv> if appropriate, else not. C<sv_utf8_upgrade> and
2935 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
2936
2937 This is not as a general purpose byte encoding to Unicode interface:
2938 use the Encode extension for that.
2939
2940 =cut
2941 */
2942
2943 STRLEN
2944 Perl_sv_utf8_upgrade_flags(pTHX_ register SV *sv, I32 flags)
2945 {
2946     if (sv == &PL_sv_undef)
2947         return 0;
2948     if (!SvPOK(sv)) {
2949         STRLEN len = 0;
2950         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
2951             (void) sv_2pv_flags(sv,&len, flags);
2952             if (SvUTF8(sv))
2953                 return len;
2954         } else {
2955             (void) SvPV_force(sv,len);
2956         }
2957     }
2958
2959     if (SvUTF8(sv)) {
2960         return SvCUR(sv);
2961     }
2962
2963     if (SvIsCOW(sv)) {
2964         sv_force_normal_flags(sv, 0);
2965     }
2966
2967     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING))
2968         sv_recode_to_utf8(sv, PL_encoding);
2969     else { /* Assume Latin-1/EBCDIC */
2970         /* This function could be much more efficient if we
2971          * had a FLAG in SVs to signal if there are any hibit
2972          * chars in the PV.  Given that there isn't such a flag
2973          * make the loop as fast as possible. */
2974         const U8 *s = (U8 *) SvPVX_const(sv);
2975         const U8 * const e = (U8 *) SvEND(sv);
2976         const U8 *t = s;
2977         int hibit = 0;
2978         
2979         while (t < e) {
2980             const U8 ch = *t++;
2981             if ((hibit = !NATIVE_IS_INVARIANT(ch)))
2982                 break;
2983         }
2984         if (hibit) {
2985             STRLEN len = SvCUR(sv) + 1; /* Plus the \0 */
2986             U8 * const recoded = bytes_to_utf8((U8*)s, &len);
2987
2988             SvPV_free(sv); /* No longer using what was there before. */
2989
2990             SvPV_set(sv, (char*)recoded);
2991             SvCUR_set(sv, len - 1);
2992             SvLEN_set(sv, len); /* No longer know the real size. */
2993         }
2994         /* Mark as UTF-8 even if no hibit - saves scanning loop */
2995         SvUTF8_on(sv);
2996     }
2997     return SvCUR(sv);
2998 }
2999
3000 /*
3001 =for apidoc sv_utf8_downgrade
3002
3003 Attempts to convert the PV of an SV from characters to bytes.
3004 If the PV contains a character beyond byte, this conversion will fail;
3005 in this case, either returns false or, if C<fail_ok> is not
3006 true, croaks.
3007
3008 This is not as a general purpose Unicode to byte encoding interface:
3009 use the Encode extension for that.
3010
3011 =cut
3012 */
3013
3014 bool
3015 Perl_sv_utf8_downgrade(pTHX_ register SV* sv, bool fail_ok)
3016 {
3017     if (SvPOKp(sv) && SvUTF8(sv)) {
3018         if (SvCUR(sv)) {
3019             U8 *s;
3020             STRLEN len;
3021
3022             if (SvIsCOW(sv)) {
3023                 sv_force_normal_flags(sv, 0);
3024             }
3025             s = (U8 *) SvPV(sv, len);
3026             if (!utf8_to_bytes(s, &len)) {
3027                 if (fail_ok)
3028                     return FALSE;
3029                 else {
3030                     if (PL_op)
3031                         Perl_croak(aTHX_ "Wide character in %s",
3032                                    OP_DESC(PL_op));
3033                     else
3034                         Perl_croak(aTHX_ "Wide character");
3035                 }
3036             }
3037             SvCUR_set(sv, len);
3038         }
3039     }
3040     SvUTF8_off(sv);
3041     return TRUE;
3042 }
3043
3044 /*
3045 =for apidoc sv_utf8_encode
3046
3047 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3048 flag off so that it looks like octets again.
3049
3050 =cut
3051 */
3052
3053 void
3054 Perl_sv_utf8_encode(pTHX_ register SV *sv)
3055 {
3056     (void) sv_utf8_upgrade(sv);
3057     if (SvIsCOW(sv)) {
3058         sv_force_normal_flags(sv, 0);
3059     }
3060     if (SvREADONLY(sv)) {
3061         Perl_croak(aTHX_ PL_no_modify);
3062     }
3063     SvUTF8_off(sv);
3064 }
3065
3066 /*
3067 =for apidoc sv_utf8_decode
3068
3069 If the PV of the SV is an octet sequence in UTF-8
3070 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3071 so that it looks like a character. If the PV contains only single-byte
3072 characters, the C<SvUTF8> flag stays being off.
3073 Scans PV for validity and returns false if the PV is invalid UTF-8.
3074
3075 =cut
3076 */
3077
3078 bool
3079 Perl_sv_utf8_decode(pTHX_ register SV *sv)
3080 {
3081     if (SvPOKp(sv)) {
3082         const U8 *c;
3083         const U8 *e;
3084
3085         /* The octets may have got themselves encoded - get them back as
3086          * bytes
3087          */
3088         if (!sv_utf8_downgrade(sv, TRUE))
3089             return FALSE;
3090
3091         /* it is actually just a matter of turning the utf8 flag on, but
3092          * we want to make sure everything inside is valid utf8 first.
3093          */
3094         c = (const U8 *) SvPVX_const(sv);
3095         if (!is_utf8_string(c, SvCUR(sv)+1))
3096             return FALSE;
3097         e = (const U8 *) SvEND(sv);
3098         while (c < e) {
3099             const U8 ch = *c++;
3100             if (!UTF8_IS_INVARIANT(ch)) {
3101                 SvUTF8_on(sv);
3102                 break;
3103             }
3104         }
3105     }
3106     return TRUE;
3107 }
3108
3109 /*
3110 =for apidoc sv_setsv
3111
3112 Copies the contents of the source SV C<ssv> into the destination SV
3113 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3114 function if the source SV needs to be reused. Does not handle 'set' magic.
3115 Loosely speaking, it performs a copy-by-value, obliterating any previous
3116 content of the destination.
3117
3118 You probably want to use one of the assortment of wrappers, such as
3119 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3120 C<SvSetMagicSV_nosteal>.
3121
3122 =for apidoc sv_setsv_flags
3123
3124 Copies the contents of the source SV C<ssv> into the destination SV
3125 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3126 function if the source SV needs to be reused. Does not handle 'set' magic.
3127 Loosely speaking, it performs a copy-by-value, obliterating any previous
3128 content of the destination.
3129 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3130 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3131 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3132 and C<sv_setsv_nomg> are implemented in terms of this function.
3133
3134 You probably want to use one of the assortment of wrappers, such as
3135 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3136 C<SvSetMagicSV_nosteal>.
3137
3138 This is the primary function for copying scalars, and most other
3139 copy-ish functions and macros use this underneath.
3140
3141 =cut
3142 */
3143
3144 void
3145 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV *sstr, I32 flags)
3146 {
3147     register U32 sflags;
3148     register int dtype;
3149     register int stype;
3150
3151     if (sstr == dstr)
3152         return;
3153     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3154     if (!sstr)
3155         sstr = &PL_sv_undef;
3156     stype = SvTYPE(sstr);
3157     dtype = SvTYPE(dstr);
3158
3159     SvAMAGIC_off(dstr);
3160     if ( SvVOK(dstr) )
3161     {
3162         /* need to nuke the magic */
3163         mg_free(dstr);
3164         SvRMAGICAL_off(dstr);
3165     }
3166
3167     /* There's a lot of redundancy below but we're going for speed here */
3168
3169     switch (stype) {
3170     case SVt_NULL:
3171       undef_sstr:
3172         if (dtype != SVt_PVGV) {
3173             (void)SvOK_off(dstr);
3174             return;
3175         }
3176         break;
3177     case SVt_IV:
3178         if (SvIOK(sstr)) {
3179             switch (dtype) {
3180             case SVt_NULL:
3181                 sv_upgrade(dstr, SVt_IV);
3182                 break;
3183             case SVt_NV:
3184                 sv_upgrade(dstr, SVt_PVNV);
3185                 break;
3186             case SVt_RV:
3187             case SVt_PV:
3188                 sv_upgrade(dstr, SVt_PVIV);
3189                 break;
3190             }
3191             (void)SvIOK_only(dstr);
3192             SvIV_set(dstr,  SvIVX(sstr));
3193             if (SvIsUV(sstr))
3194                 SvIsUV_on(dstr);
3195             if (SvTAINTED(sstr))
3196                 SvTAINT(dstr);
3197             return;
3198         }
3199         goto undef_sstr;
3200
3201     case SVt_NV:
3202         if (SvNOK(sstr)) {
3203             switch (dtype) {
3204             case SVt_NULL:
3205             case SVt_IV:
3206                 sv_upgrade(dstr, SVt_NV);
3207                 break;
3208             case SVt_RV:
3209             case SVt_PV:
3210             case SVt_PVIV:
3211                 sv_upgrade(dstr, SVt_PVNV);
3212                 break;
3213             }
3214             SvNV_set(dstr, SvNVX(sstr));
3215             (void)SvNOK_only(dstr);
3216             if (SvTAINTED(sstr))
3217                 SvTAINT(dstr);
3218             return;
3219         }
3220         goto undef_sstr;
3221
3222     case SVt_RV:
3223         if (dtype < SVt_RV)
3224             sv_upgrade(dstr, SVt_RV);
3225         else if (dtype == SVt_PVGV &&
3226                  SvROK(sstr) && SvTYPE(SvRV(sstr)) == SVt_PVGV) {
3227             sstr = SvRV(sstr);
3228             if (sstr == dstr) {
3229                 if (GvIMPORTED(dstr) != GVf_IMPORTED
3230                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3231                 {
3232                     GvIMPORTED_on(dstr);
3233                 }
3234                 GvMULTI_on(dstr);
3235                 return;
3236             }
3237             goto glob_assign;
3238         }
3239         break;
3240     case SVt_PVFM:
3241 #ifdef PERL_OLD_COPY_ON_WRITE
3242         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
3243             if (dtype < SVt_PVIV)
3244                 sv_upgrade(dstr, SVt_PVIV);
3245             break;
3246         }
3247         /* Fall through */
3248 #endif
3249     case SVt_PV:
3250         if (dtype < SVt_PV)
3251             sv_upgrade(dstr, SVt_PV);
3252         break;
3253     case SVt_PVIV:
3254         if (dtype < SVt_PVIV)
3255             sv_upgrade(dstr, SVt_PVIV);
3256         break;
3257     case SVt_PVNV:
3258         if (dtype < SVt_PVNV)
3259             sv_upgrade(dstr, SVt_PVNV);
3260         break;
3261     case SVt_PVAV:
3262     case SVt_PVHV:
3263     case SVt_PVCV:
3264     case SVt_PVIO:
3265         {
3266         const char * const type = sv_reftype(sstr,0);
3267         if (PL_op)
3268             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_NAME(PL_op));
3269         else
3270             Perl_croak(aTHX_ "Bizarre copy of %s", type);
3271         }
3272         break;
3273
3274     case SVt_PVGV:
3275         if (dtype <= SVt_PVGV) {
3276   glob_assign:
3277             if (dtype != SVt_PVGV) {
3278                 const char * const name = GvNAME(sstr);
3279                 const STRLEN len = GvNAMELEN(sstr);
3280                 /* don't upgrade SVt_PVLV: it can hold a glob */
3281                 if (dtype != SVt_PVLV)
3282                     sv_upgrade(dstr, SVt_PVGV);
3283                 sv_magic(dstr, dstr, PERL_MAGIC_glob, Nullch, 0);
3284                 GvSTASH(dstr) = GvSTASH(sstr);
3285                 if (GvSTASH(dstr))
3286                     Perl_sv_add_backref(aTHX_ (SV*)GvSTASH(dstr), dstr);
3287                 GvNAME(dstr) = savepvn(name, len);
3288                 GvNAMELEN(dstr) = len;
3289                 SvFAKE_on(dstr);        /* can coerce to non-glob */
3290             }
3291
3292 #ifdef GV_UNIQUE_CHECK
3293                 if (GvUNIQUE((GV*)dstr)) {
3294                     Perl_croak(aTHX_ PL_no_modify);
3295                 }
3296 #endif
3297
3298             (void)SvOK_off(dstr);
3299             GvINTRO_off(dstr);          /* one-shot flag */
3300             gp_free((GV*)dstr);
3301             GvGP(dstr) = gp_ref(GvGP(sstr));
3302             if (SvTAINTED(sstr))
3303                 SvTAINT(dstr);
3304             if (GvIMPORTED(dstr) != GVf_IMPORTED
3305                 && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3306             {
3307                 GvIMPORTED_on(dstr);
3308             }
3309             GvMULTI_on(dstr);
3310             return;
3311         }
3312         /* FALL THROUGH */
3313
3314     default:
3315         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
3316             mg_get(sstr);
3317             if ((int)SvTYPE(sstr) != stype) {
3318                 stype = SvTYPE(sstr);
3319                 if (stype == SVt_PVGV && dtype <= SVt_PVGV)
3320                     goto glob_assign;
3321             }
3322         }
3323         if (stype == SVt_PVLV)
3324             SvUPGRADE(dstr, SVt_PVNV);
3325         else
3326             SvUPGRADE(dstr, (U32)stype);
3327     }
3328
3329     sflags = SvFLAGS(sstr);
3330
3331     if (sflags & SVf_ROK) {
3332         if (dtype >= SVt_PV) {
3333             if (dtype == SVt_PVGV) {
3334                 SV * const sref = SvREFCNT_inc(SvRV(sstr));
3335                 SV *dref = 0;
3336                 const int intro = GvINTRO(dstr);
3337
3338 #ifdef GV_UNIQUE_CHECK
3339                 if (GvUNIQUE((GV*)dstr)) {
3340                     Perl_croak(aTHX_ PL_no_modify);
3341                 }
3342 #endif
3343
3344                 if (intro) {
3345                     GvINTRO_off(dstr);  /* one-shot flag */
3346                     GvLINE(dstr) = CopLINE(PL_curcop);
3347                     GvEGV(dstr) = (GV*)dstr;
3348                 }
3349                 GvMULTI_on(dstr);
3350                 switch (SvTYPE(sref)) {
3351                 case SVt_PVAV:
3352                     if (intro)
3353                         SAVEGENERICSV(GvAV(dstr));
3354                     else
3355                         dref = (SV*)GvAV(dstr);
3356                     GvAV(dstr) = (AV*)sref;
3357                     if (!GvIMPORTED_AV(dstr)
3358                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3359                     {
3360                         GvIMPORTED_AV_on(dstr);
3361                     }
3362                     break;
3363                 case SVt_PVHV:
3364                     if (intro)
3365                         SAVEGENERICSV(GvHV(dstr));
3366                     else
3367                         dref = (SV*)GvHV(dstr);
3368                     GvHV(dstr) = (HV*)sref;
3369                     if (!GvIMPORTED_HV(dstr)
3370                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3371                     {
3372                         GvIMPORTED_HV_on(dstr);
3373                     }
3374                     break;
3375                 case SVt_PVCV:
3376                     if (intro) {
3377                         if (GvCVGEN(dstr) && GvCV(dstr) != (CV*)sref) {
3378                             SvREFCNT_dec(GvCV(dstr));
3379                             GvCV(dstr) = Nullcv;
3380                             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3381                             PL_sub_generation++;
3382                         }
3383                         SAVEGENERICSV(GvCV(dstr));
3384                     }
3385                     else
3386                         dref = (SV*)GvCV(dstr);
3387                     if (GvCV(dstr) != (CV*)sref) {
3388                         CV* const cv = GvCV(dstr);
3389                         if (cv) {
3390                             if (!GvCVGEN((GV*)dstr) &&
3391                                 (CvROOT(cv) || CvXSUB(cv)))
3392                             {
3393                                 /* Redefining a sub - warning is mandatory if
3394                                    it was a const and its value changed. */
3395                                 if (ckWARN(WARN_REDEFINE)
3396                                     || (CvCONST(cv)
3397                                         && (!CvCONST((CV*)sref)
3398                                             || sv_cmp(cv_const_sv(cv),
3399                                                       cv_const_sv((CV*)sref)))))
3400                                 {
3401                                     Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3402                                         CvCONST(cv)
3403                                         ? "Constant subroutine %s::%s redefined"
3404                                         : "Subroutine %s::%s redefined",
3405                                         HvNAME_get(GvSTASH((GV*)dstr)),
3406                                         GvENAME((GV*)dstr));
3407                                 }
3408                             }
3409                             if (!intro)
3410                                 cv_ckproto(cv, (GV*)dstr,
3411                                            SvPOK(sref)
3412                                            ? SvPVX_const(sref) : Nullch);
3413                         }
3414                         GvCV(dstr) = (CV*)sref;
3415                         GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3416                         GvASSUMECV_on(dstr);
3417                         PL_sub_generation++;
3418                     }
3419                     if (!GvIMPORTED_CV(dstr)
3420                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3421                     {
3422                         GvIMPORTED_CV_on(dstr);
3423                     }
3424                     break;
3425                 case SVt_PVIO:
3426                     if (intro)
3427                         SAVEGENERICSV(GvIOp(dstr));
3428                     else
3429                         dref = (SV*)GvIOp(dstr);
3430                     GvIOp(dstr) = (IO*)sref;
3431                     break;
3432                 case SVt_PVFM:
3433                     if (intro)
3434                         SAVEGENERICSV(GvFORM(dstr));
3435                     else
3436                         dref = (SV*)GvFORM(dstr);
3437                     GvFORM(dstr) = (CV*)sref;
3438                     break;
3439                 default:
3440                     if (intro)
3441                         SAVEGENERICSV(GvSV(dstr));
3442                     else
3443                         dref = (SV*)GvSV(dstr);
3444                     GvSV(dstr) = sref;
3445                     if (!GvIMPORTED_SV(dstr)
3446                         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3447                     {
3448                         GvIMPORTED_SV_on(dstr);
3449                     }
3450                     break;
3451                 }
3452                 if (dref)
3453                     SvREFCNT_dec(dref);
3454                 if (SvTAINTED(sstr))
3455                     SvTAINT(dstr);
3456                 return;
3457             }
3458             if (SvPVX_const(dstr)) {
3459                 SvPV_free(dstr);
3460                 SvLEN_set(dstr, 0);
3461                 SvCUR_set(dstr, 0);
3462             }
3463         }
3464         (void)SvOK_off(dstr);
3465         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
3466         SvROK_on(dstr);
3467         if (sflags & SVp_NOK) {
3468             SvNOKp_on(dstr);
3469             /* Only set the public OK flag if the source has public OK.  */
3470             if (sflags & SVf_NOK)
3471                 SvFLAGS(dstr) |= SVf_NOK;
3472             SvNV_set(dstr, SvNVX(sstr));
3473         }
3474         if (sflags & SVp_IOK) {
3475             (void)SvIOKp_on(dstr);
3476             if (sflags & SVf_IOK)
3477                 SvFLAGS(dstr) |= SVf_IOK;
3478             if (sflags & SVf_IVisUV)
3479                 SvIsUV_on(dstr);
3480             SvIV_set(dstr, SvIVX(sstr));
3481         }
3482         if (SvAMAGIC(sstr)) {
3483             SvAMAGIC_on(dstr);
3484         }
3485     }
3486     else if (sflags & SVp_POK) {
3487         bool isSwipe = 0;
3488
3489         /*
3490          * Check to see if we can just swipe the string.  If so, it's a
3491          * possible small lose on short strings, but a big win on long ones.
3492          * It might even be a win on short strings if SvPVX_const(dstr)
3493          * has to be allocated and SvPVX_const(sstr) has to be freed.
3494          */
3495
3496         /* Whichever path we take through the next code, we want this true,
3497            and doing it now facilitates the COW check.  */
3498         (void)SvPOK_only(dstr);
3499
3500         if (
3501             /* We're not already COW  */
3502             ((sflags & (SVf_FAKE | SVf_READONLY)) != (SVf_FAKE | SVf_READONLY)
3503 #ifndef PERL_OLD_COPY_ON_WRITE
3504              /* or we are, but dstr isn't a suitable target.  */
3505              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
3506 #endif
3507              )
3508             &&
3509             !(isSwipe =
3510                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
3511                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
3512                  (!(flags & SV_NOSTEAL)) &&
3513                                         /* and we're allowed to steal temps */
3514                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
3515                  SvLEN(sstr)    &&        /* and really is a string */
3516                                 /* and won't be needed again, potentially */
3517               !(PL_op && PL_op->op_type == OP_AASSIGN))
3518 #ifdef PERL_OLD_COPY_ON_WRITE
3519             && !((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
3520                  && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
3521                  && SvTYPE(sstr) >= SVt_PVIV)
3522 #endif
3523             ) {
3524             /* Failed the swipe test, and it's not a shared hash key either.
3525                Have to copy the string.  */
3526             STRLEN len = SvCUR(sstr);
3527             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
3528             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
3529             SvCUR_set(dstr, len);
3530             *SvEND(dstr) = '\0';
3531         } else {
3532             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
3533                be true in here.  */
3534             /* Either it's a shared hash key, or it's suitable for
3535                copy-on-write or we can swipe the string.  */
3536             if (DEBUG_C_TEST) {
3537                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
3538                 sv_dump(sstr);
3539                 sv_dump(dstr);
3540             }
3541 #ifdef PERL_OLD_COPY_ON_WRITE
3542             if (!isSwipe) {
3543                 /* I believe I should acquire a global SV mutex if
3544                    it's a COW sv (not a shared hash key) to stop
3545                    it going un copy-on-write.
3546                    If the source SV has gone un copy on write between up there
3547                    and down here, then (assert() that) it is of the correct
3548                    form to make it copy on write again */
3549                 if ((sflags & (SVf_FAKE | SVf_READONLY))
3550                     != (SVf_FAKE | SVf_READONLY)) {
3551                     SvREADONLY_on(sstr);
3552                     SvFAKE_on(sstr);
3553                     /* Make the source SV into a loop of 1.
3554                        (about to become 2) */
3555                     SV_COW_NEXT_SV_SET(sstr, sstr);
3556                 }
3557             }
3558 #endif
3559             /* Initial code is common.  */
3560             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
3561                 SvPV_free(dstr);
3562             }
3563
3564             if (!isSwipe) {
3565                 /* making another shared SV.  */
3566                 STRLEN cur = SvCUR(sstr);
3567                 STRLEN len = SvLEN(sstr);
3568 #ifdef PERL_OLD_COPY_ON_WRITE
3569                 if (len) {
3570                     assert (SvTYPE(dstr) >= SVt_PVIV);
3571                     /* SvIsCOW_normal */
3572                     /* splice us in between source and next-after-source.  */
3573                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3574                     SV_COW_NEXT_SV_SET(sstr, dstr);
3575                     SvPV_set(dstr, SvPVX_mutable(sstr));
3576                 } else
3577 #endif
3578                 {
3579                     /* SvIsCOW_shared_hash */
3580                     DEBUG_C(PerlIO_printf(Perl_debug_log,
3581                                           "Copy on write: Sharing hash\n"));
3582
3583                     assert (SvTYPE(dstr) >= SVt_PV);
3584                     SvPV_set(dstr,
3585                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
3586                 }
3587                 SvLEN_set(dstr, len);
3588                 SvCUR_set(dstr, cur);
3589                 SvREADONLY_on(dstr);
3590                 SvFAKE_on(dstr);
3591                 /* Relesase a global SV mutex.  */
3592             }
3593             else
3594                 {       /* Passes the swipe test.  */
3595                 SvPV_set(dstr, SvPVX_mutable(sstr));
3596                 SvLEN_set(dstr, SvLEN(sstr));
3597                 SvCUR_set(dstr, SvCUR(sstr));
3598
3599                 SvTEMP_off(dstr);
3600                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
3601                 SvPV_set(sstr, Nullch);
3602                 SvLEN_set(sstr, 0);
3603                 SvCUR_set(sstr, 0);
3604                 SvTEMP_off(sstr);
3605             }
3606         }
3607         if (sflags & SVf_UTF8)
3608             SvUTF8_on(dstr);
3609         if (sflags & SVp_NOK) {
3610             SvNOKp_on(dstr);
3611             if (sflags & SVf_NOK)
3612                 SvFLAGS(dstr) |= SVf_NOK;
3613             SvNV_set(dstr, SvNVX(sstr));
3614         }
3615         if (sflags & SVp_IOK) {
3616             (void)SvIOKp_on(dstr);
3617             if (sflags & SVf_IOK)
3618                 SvFLAGS(dstr) |= SVf_IOK;
3619             if (sflags & SVf_IVisUV)
3620                 SvIsUV_on(dstr);
3621             SvIV_set(dstr, SvIVX(sstr));
3622         }
3623         if (SvVOK(sstr)) {
3624             MAGIC *smg = mg_find(sstr,PERL_MAGIC_vstring);
3625             sv_magic(dstr, NULL, PERL_MAGIC_vstring,
3626                         smg->mg_ptr, smg->mg_len);
3627             SvRMAGICAL_on(dstr);
3628         }
3629     }
3630     else if (sflags & SVp_IOK) {
3631         if (sflags & SVf_IOK)
3632             (void)SvIOK_only(dstr);
3633         else {
3634             (void)SvOK_off(dstr);
3635             (void)SvIOKp_on(dstr);
3636         }
3637         /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
3638         if (sflags & SVf_IVisUV)
3639             SvIsUV_on(dstr);
3640         SvIV_set(dstr, SvIVX(sstr));
3641         if (sflags & SVp_NOK) {
3642             if (sflags & SVf_NOK)
3643                 (void)SvNOK_on(dstr);
3644             else
3645                 (void)SvNOKp_on(dstr);
3646             SvNV_set(dstr, SvNVX(sstr));
3647         }
3648     }
3649     else if (sflags & SVp_NOK) {
3650         if (sflags & SVf_NOK)
3651             (void)SvNOK_only(dstr);
3652         else {
3653             (void)SvOK_off(dstr);
3654             SvNOKp_on(dstr);
3655         }
3656         SvNV_set(dstr, SvNVX(sstr));
3657     }
3658     else {
3659         if (dtype == SVt_PVGV) {
3660             if (ckWARN(WARN_MISC))
3661                 Perl_warner(aTHX_ packWARN(WARN_MISC), "Undefined value assigned to typeglob");
3662         }
3663         else
3664             (void)SvOK_off(dstr);
3665     }
3666     if (SvTAINTED(sstr))
3667         SvTAINT(dstr);
3668 }
3669
3670 /*
3671 =for apidoc sv_setsv_mg
3672
3673 Like C<sv_setsv>, but also handles 'set' magic.
3674
3675 =cut
3676 */
3677
3678 void
3679 Perl_sv_setsv_mg(pTHX_ SV *dstr, register SV *sstr)
3680 {
3681     sv_setsv(dstr,sstr);
3682     SvSETMAGIC(dstr);
3683 }
3684
3685 #ifdef PERL_OLD_COPY_ON_WRITE
3686 SV *
3687 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
3688 {
3689     STRLEN cur = SvCUR(sstr);
3690     STRLEN len = SvLEN(sstr);
3691     register char *new_pv;
3692
3693     if (DEBUG_C_TEST) {
3694         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
3695                       sstr, dstr);
3696         sv_dump(sstr);
3697         if (dstr)
3698                     sv_dump(dstr);
3699     }
3700
3701     if (dstr) {
3702         if (SvTHINKFIRST(dstr))
3703             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
3704         else if (SvPVX_const(dstr))
3705             Safefree(SvPVX_const(dstr));
3706     }
3707     else
3708         new_SV(dstr);
3709     SvUPGRADE(dstr, SVt_PVIV);
3710
3711     assert (SvPOK(sstr));
3712     assert (SvPOKp(sstr));
3713     assert (!SvIOK(sstr));
3714     assert (!SvIOKp(sstr));
3715     assert (!SvNOK(sstr));
3716     assert (!SvNOKp(sstr));
3717
3718     if (SvIsCOW(sstr)) {
3719
3720         if (SvLEN(sstr) == 0) {
3721             /* source is a COW shared hash key.  */
3722             DEBUG_C(PerlIO_printf(Perl_debug_log,
3723                                   "Fast copy on write: Sharing hash\n"));
3724             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
3725             goto common_exit;
3726         }
3727         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
3728     } else {
3729         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
3730         SvUPGRADE(sstr, SVt_PVIV);
3731         SvREADONLY_on(sstr);
3732         SvFAKE_on(sstr);
3733         DEBUG_C(PerlIO_printf(Perl_debug_log,
3734                               "Fast copy on write: Converting sstr to COW\n"));
3735         SV_COW_NEXT_SV_SET(dstr, sstr);
3736     }
3737     SV_COW_NEXT_SV_SET(sstr, dstr);
3738     new_pv = SvPVX_mutable(sstr);
3739
3740   common_exit:
3741     SvPV_set(dstr, new_pv);
3742     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
3743     if (SvUTF8(sstr))
3744         SvUTF8_on(dstr);
3745     SvLEN_set(dstr, len);
3746     SvCUR_set(dstr, cur);
3747     if (DEBUG_C_TEST) {
3748         sv_dump(dstr);
3749     }
3750     return dstr;
3751 }
3752 #endif
3753
3754 /*
3755 =for apidoc sv_setpvn
3756
3757 Copies a string into an SV.  The C<len> parameter indicates the number of
3758 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
3759 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
3760
3761 =cut
3762 */
3763
3764 void
3765 Perl_sv_setpvn(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3766 {
3767     register char *dptr;
3768
3769     SV_CHECK_THINKFIRST_COW_DROP(sv);
3770     if (!ptr) {
3771         (void)SvOK_off(sv);
3772         return;
3773     }
3774     else {
3775         /* len is STRLEN which is unsigned, need to copy to signed */
3776         const IV iv = len;
3777         if (iv < 0)
3778             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
3779     }
3780     SvUPGRADE(sv, SVt_PV);
3781
3782     dptr = SvGROW(sv, len + 1);
3783     Move(ptr,dptr,len,char);
3784     dptr[len] = '\0';
3785     SvCUR_set(sv, len);
3786     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3787     SvTAINT(sv);
3788 }
3789
3790 /*
3791 =for apidoc sv_setpvn_mg
3792
3793 Like C<sv_setpvn>, but also handles 'set' magic.
3794
3795 =cut
3796 */
3797
3798 void
3799 Perl_sv_setpvn_mg(pTHX_ register SV *sv, register const char *ptr, register STRLEN len)
3800 {
3801     sv_setpvn(sv,ptr,len);
3802     SvSETMAGIC(sv);
3803 }
3804
3805 /*
3806 =for apidoc sv_setpv
3807
3808 Copies a string into an SV.  The string must be null-terminated.  Does not
3809 handle 'set' magic.  See C<sv_setpv_mg>.
3810
3811 =cut
3812 */
3813
3814 void
3815 Perl_sv_setpv(pTHX_ register SV *sv, register const char *ptr)
3816 {
3817     register STRLEN len;
3818
3819     SV_CHECK_THINKFIRST_COW_DROP(sv);
3820     if (!ptr) {
3821         (void)SvOK_off(sv);
3822         return;
3823     }
3824     len = strlen(ptr);
3825     SvUPGRADE(sv, SVt_PV);
3826
3827     SvGROW(sv, len + 1);
3828     Move(ptr,SvPVX(sv),len+1,char);
3829     SvCUR_set(sv, len);
3830     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3831     SvTAINT(sv);
3832 }
3833
3834 /*
3835 =for apidoc sv_setpv_mg
3836
3837 Like C<sv_setpv>, but also handles 'set' magic.
3838
3839 =cut
3840 */
3841
3842 void
3843 Perl_sv_setpv_mg(pTHX_ register SV *sv, register const char *ptr)
3844 {
3845     sv_setpv(sv,ptr);
3846     SvSETMAGIC(sv);
3847 }
3848
3849 /*
3850 =for apidoc sv_usepvn
3851
3852 Tells an SV to use C<ptr> to find its string value.  Normally the string is
3853 stored inside the SV but sv_usepvn allows the SV to use an outside string.
3854 The C<ptr> should point to memory that was allocated by C<malloc>.  The
3855 string length, C<len>, must be supplied.  This function will realloc the
3856 memory pointed to by C<ptr>, so that pointer should not be freed or used by
3857 the programmer after giving it to sv_usepvn.  Does not handle 'set' magic.
3858 See C<sv_usepvn_mg>.
3859
3860 =cut
3861 */
3862
3863 void
3864 Perl_sv_usepvn(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3865 {
3866     STRLEN allocate;
3867     SV_CHECK_THINKFIRST_COW_DROP(sv);
3868     SvUPGRADE(sv, SVt_PV);
3869     if (!ptr) {
3870         (void)SvOK_off(sv);
3871         return;
3872     }
3873     if (SvPVX_const(sv))
3874         SvPV_free(sv);
3875
3876     allocate = PERL_STRLEN_ROUNDUP(len + 1);
3877     ptr = saferealloc (ptr, allocate);
3878     SvPV_set(sv, ptr);
3879     SvCUR_set(sv, len);
3880     SvLEN_set(sv, allocate);
3881     *SvEND(sv) = '\0';
3882     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
3883     SvTAINT(sv);
3884 }
3885
3886 /*
3887 =for apidoc sv_usepvn_mg
3888
3889 Like C<sv_usepvn>, but also handles 'set' magic.
3890
3891 =cut
3892 */
3893
3894 void
3895 Perl_sv_usepvn_mg(pTHX_ register SV *sv, register char *ptr, register STRLEN len)
3896 {
3897     sv_usepvn(sv,ptr,len);
3898     SvSETMAGIC(sv);
3899 }
3900
3901 #ifdef PERL_OLD_COPY_ON_WRITE
3902 /* Need to do this *after* making the SV normal, as we need the buffer
3903    pointer to remain valid until after we've copied it.  If we let go too early,
3904    another thread could invalidate it by unsharing last of the same hash key
3905    (which it can do by means other than releasing copy-on-write Svs)
3906    or by changing the other copy-on-write SVs in the loop.  */
3907 STATIC void
3908 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, STRLEN len, SV *after)
3909 {
3910     if (len) { /* this SV was SvIsCOW_normal(sv) */
3911          /* we need to find the SV pointing to us.  */
3912         SV * const current = SV_COW_NEXT_SV(after);
3913
3914         if (current == sv) {
3915             /* The SV we point to points back to us (there were only two of us
3916                in the loop.)
3917                Hence other SV is no longer copy on write either.  */
3918             SvFAKE_off(after);
3919             SvREADONLY_off(after);
3920         } else {
3921             /* We need to follow the pointers around the loop.  */
3922             SV *next;
3923             while ((next = SV_COW_NEXT_SV(current)) != sv) {
3924                 assert (next);
3925                 current = next;
3926                  /* don't loop forever if the structure is bust, and we have
3927                     a pointer into a closed loop.  */
3928                 assert (current != after);
3929                 assert (SvPVX_const(current) == pvx);
3930             }
3931             /* Make the SV before us point to the SV after us.  */
3932             SV_COW_NEXT_SV_SET(current, after);
3933         }
3934     } else {
3935         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
3936     }
3937 }
3938
3939 int
3940 Perl_sv_release_IVX(pTHX_ register SV *sv)
3941 {
3942     if (SvIsCOW(sv))
3943         sv_force_normal_flags(sv, 0);
3944     SvOOK_off(sv);
3945     return 0;
3946 }
3947 #endif
3948 /*
3949 =for apidoc sv_force_normal_flags
3950
3951 Undo various types of fakery on an SV: if the PV is a shared string, make
3952 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
3953 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
3954 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
3955 then a copy-on-write scalar drops its PV buffer (if any) and becomes
3956 SvPOK_off rather than making a copy. (Used where this scalar is about to be
3957 set to some other value.) In addition, the C<flags> parameter gets passed to
3958 C<sv_unref_flags()> when unrefing. C<sv_force_normal> calls this function
3959 with flags set to 0.
3960
3961 =cut
3962 */
3963
3964 void
3965 Perl_sv_force_normal_flags(pTHX_ register SV *sv, U32 flags)
3966 {
3967 #ifdef PERL_OLD_COPY_ON_WRITE
3968     if (SvREADONLY(sv)) {
3969         /* At this point I believe I should acquire a global SV mutex.  */
3970         if (SvFAKE(sv)) {
3971             const char * const pvx = SvPVX_const(sv);
3972             const STRLEN len = SvLEN(sv);
3973             const STRLEN cur = SvCUR(sv);
3974             SV * const next = SV_COW_NEXT_SV(sv);   /* next COW sv in the loop. */
3975             if (DEBUG_C_TEST) {
3976                 PerlIO_printf(Perl_debug_log,
3977                               "Copy on write: Force normal %ld\n",
3978                               (long) flags);
3979                 sv_dump(sv);
3980             }
3981             SvFAKE_off(sv);
3982             SvREADONLY_off(sv);
3983             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
3984             SvPV_set(sv, (char*)0);
3985             SvLEN_set(sv, 0);
3986             if (flags & SV_COW_DROP_PV) {
3987                 /* OK, so we don't need to copy our buffer.  */
3988                 SvPOK_off(sv);
3989             } else {
3990                 SvGROW(sv, cur + 1);
3991                 Move(pvx,SvPVX(sv),cur,char);
3992                 SvCUR_set(sv, cur);
3993                 *SvEND(sv) = '\0';
3994             }
3995             sv_release_COW(sv, pvx, len, next);
3996             if (DEBUG_C_TEST) {
3997                 sv_dump(sv);
3998             }
3999         }
4000         else if (IN_PERL_RUNTIME)
4001             Perl_croak(aTHX_ PL_no_modify);
4002         /* At this point I believe that I can drop the global SV mutex.  */
4003     }
4004 #else
4005     if (SvREADONLY(sv)) {
4006         if (SvFAKE(sv)) {
4007             const char * const pvx = SvPVX_const(sv);
4008             const STRLEN len = SvCUR(sv);
4009             SvFAKE_off(sv);
4010             SvREADONLY_off(sv);
4011             SvPV_set(sv, Nullch);
4012             SvLEN_set(sv, 0);
4013             SvGROW(sv, len + 1);
4014             Move(pvx,SvPVX(sv),len,char);
4015             *SvEND(sv) = '\0';
4016             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4017         }
4018         else if (IN_PERL_RUNTIME)
4019             Perl_croak(aTHX_ PL_no_modify);
4020     }
4021 #endif
4022     if (SvROK(sv))
4023         sv_unref_flags(sv, flags);
4024     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_PVGV)
4025         sv_unglob(sv);
4026 }
4027
4028 /*
4029 =for apidoc sv_chop
4030
4031 Efficient removal of characters from the beginning of the string buffer.
4032 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4033 the string buffer.  The C<ptr> becomes the first character of the adjusted
4034 string. Uses the "OOK hack".
4035 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4036 refer to the same chunk of data.
4037
4038 =cut
4039 */
4040
4041 void
4042 Perl_sv_chop(pTHX_ register SV *sv, register const char *ptr)
4043 {
4044     register STRLEN delta;
4045     if (!ptr || !SvPOKp(sv))
4046         return;
4047     delta = ptr - SvPVX_const(sv);
4048     SV_CHECK_THINKFIRST(sv);
4049     if (SvTYPE(sv) < SVt_PVIV)
4050         sv_upgrade(sv,SVt_PVIV);
4051
4052     if (!SvOOK(sv)) {
4053         if (!SvLEN(sv)) { /* make copy of shared string */
4054             const char *pvx = SvPVX_const(sv);
4055             const STRLEN len = SvCUR(sv);
4056             SvGROW(sv, len + 1);
4057             Move(pvx,SvPVX(sv),len,char);
4058             *SvEND(sv) = '\0';
4059         }
4060         SvIV_set(sv, 0);
4061         /* Same SvOOK_on but SvOOK_on does a SvIOK_off
4062            and we do that anyway inside the SvNIOK_off
4063         */
4064         SvFLAGS(sv) |= SVf_OOK;
4065     }
4066     SvNIOK_off(sv);
4067     SvLEN_set(sv, SvLEN(sv) - delta);
4068     SvCUR_set(sv, SvCUR(sv) - delta);
4069     SvPV_set(sv, SvPVX(sv) + delta);
4070     SvIV_set(sv, SvIVX(sv) + delta);
4071 }
4072
4073 /*
4074 =for apidoc sv_catpvn
4075
4076 Concatenates the string onto the end of the string which is in the SV.  The
4077 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4078 status set, then the bytes appended should be valid UTF-8.
4079 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4080
4081 =for apidoc sv_catpvn_flags
4082
4083 Concatenates the string onto the end of the string which is in the SV.  The
4084 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4085 status set, then the bytes appended should be valid UTF-8.
4086 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4087 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4088 in terms of this function.
4089
4090 =cut
4091 */
4092
4093 void
4094 Perl_sv_catpvn_flags(pTHX_ register SV *dsv, register const char *sstr, register STRLEN slen, I32 flags)
4095 {
4096     STRLEN dlen;
4097     const char *dstr = SvPV_force_flags(dsv, dlen, flags);
4098
4099     SvGROW(dsv, dlen + slen + 1);
4100     if (sstr == dstr)
4101         sstr = SvPVX_const(dsv);
4102     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4103     SvCUR_set(dsv, SvCUR(dsv) + slen);
4104     *SvEND(dsv) = '\0';
4105     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4106     SvTAINT(dsv);
4107     if (flags & SV_SMAGIC)
4108         SvSETMAGIC(dsv);
4109 }
4110
4111 /*
4112 =for apidoc sv_catsv
4113
4114 Concatenates the string from SV C<ssv> onto the end of the string in
4115 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4116 not 'set' magic.  See C<sv_catsv_mg>.
4117
4118 =for apidoc sv_catsv_flags
4119
4120 Concatenates the string from SV C<ssv> onto the end of the string in
4121 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4122 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4123 and C<sv_catsv_nomg> are implemented in terms of this function.
4124
4125 =cut */
4126
4127 void
4128 Perl_sv_catsv_flags(pTHX_ SV *dsv, register SV *ssv, I32 flags)
4129 {
4130     const char *spv;
4131     STRLEN slen;
4132     if (ssv) {
4133         if ((spv = SvPV_const(ssv, slen))) {
4134             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4135                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4136                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4137                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4138                 dsv->sv_flags doesn't have that bit set.
4139                 Andy Dougherty  12 Oct 2001
4140             */
4141             const I32 sutf8 = DO_UTF8(ssv);
4142             I32 dutf8;
4143
4144             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4145                 mg_get(dsv);
4146             dutf8 = DO_UTF8(dsv);
4147
4148             if (dutf8 != sutf8) {
4149                 if (dutf8) {
4150                     /* Not modifying source SV, so taking a temporary copy. */
4151                     SV* csv = sv_2mortal(newSVpvn(spv, slen));
4152
4153                     sv_utf8_upgrade(csv);
4154                     spv = SvPV_const(csv, slen);
4155                 }
4156                 else
4157                     sv_utf8_upgrade_nomg(dsv);
4158             }
4159             sv_catpvn_nomg(dsv, spv, slen);
4160         }
4161     }
4162     if (flags & SV_SMAGIC)
4163         SvSETMAGIC(dsv);
4164 }
4165
4166 /*
4167 =for apidoc sv_catpv
4168
4169 Concatenates the string onto the end of the string which is in the SV.
4170 If the SV has the UTF-8 status set, then the bytes appended should be
4171 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
4172
4173 =cut */
4174
4175 void
4176 Perl_sv_catpv(pTHX_ register SV *sv, register const char *ptr)
4177 {
4178     register STRLEN len;
4179     STRLEN tlen;
4180     char *junk;
4181
4182     if (!ptr)
4183         return;
4184     junk = SvPV_force(sv, tlen);
4185     len = strlen(ptr);
4186     SvGROW(sv, tlen + len + 1);
4187     if (ptr == junk)
4188         ptr = SvPVX_const(sv);
4189     Move(ptr,SvPVX(sv)+tlen,len+1,char);
4190     SvCUR_set(sv, SvCUR(sv) + len);
4191     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4192     SvTAINT(sv);
4193 }
4194
4195 /*
4196 =for apidoc sv_catpv_mg
4197
4198 Like C<sv_catpv>, but also handles 'set' magic.
4199
4200 =cut
4201 */
4202
4203 void
4204 Perl_sv_catpv_mg(pTHX_ register SV *sv, register const char *ptr)
4205 {
4206     sv_catpv(sv,ptr);
4207     SvSETMAGIC(sv);
4208 }
4209
4210 /*
4211 =for apidoc newSV
4212
4213 Create a new null SV, or if len > 0, create a new empty SVt_PV type SV
4214 with an initial PV allocation of len+1. Normally accessed via the C<NEWSV>
4215 macro.
4216
4217 =cut
4218 */
4219
4220 SV *
4221 Perl_newSV(pTHX_ STRLEN len)
4222 {
4223     register SV *sv;
4224
4225     new_SV(sv);
4226     if (len) {
4227         sv_upgrade(sv, SVt_PV);
4228         SvGROW(sv, len + 1);
4229     }
4230     return sv;
4231 }
4232 /*
4233 =for apidoc sv_magicext
4234
4235 Adds magic to an SV, upgrading it if necessary. Applies the
4236 supplied vtable and returns a pointer to the magic added.
4237
4238 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
4239 In particular, you can add magic to SvREADONLY SVs, and add more than
4240 one instance of the same 'how'.
4241
4242 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
4243 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
4244 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
4245 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
4246
4247 (This is now used as a subroutine by C<sv_magic>.)
4248
4249 =cut
4250 */
4251 MAGIC * 
4252 Perl_sv_magicext(pTHX_ SV* sv, SV* obj, int how, const MGVTBL *vtable,
4253                  const char* name, I32 namlen)
4254 {
4255     MAGIC* mg;
4256
4257     if (SvTYPE(sv) < SVt_PVMG) {
4258         SvUPGRADE(sv, SVt_PVMG);
4259     }
4260     Newxz(mg, 1, MAGIC);
4261     mg->mg_moremagic = SvMAGIC(sv);
4262     SvMAGIC_set(sv, mg);
4263
4264     /* Sometimes a magic contains a reference loop, where the sv and
4265        object refer to each other.  To prevent a reference loop that
4266        would prevent such objects being freed, we look for such loops
4267        and if we find one we avoid incrementing the object refcount.
4268
4269        Note we cannot do this to avoid self-tie loops as intervening RV must
4270        have its REFCNT incremented to keep it in existence.
4271
4272     */
4273     if (!obj || obj == sv ||
4274         how == PERL_MAGIC_arylen ||
4275         how == PERL_MAGIC_qr ||
4276         how == PERL_MAGIC_symtab ||
4277         (SvTYPE(obj) == SVt_PVGV &&
4278             (GvSV(obj) == sv || GvHV(obj) == (HV*)sv || GvAV(obj) == (AV*)sv ||
4279             GvCV(obj) == (CV*)sv || GvIOp(obj) == (IO*)sv ||
4280             GvFORM(obj) == (CV*)sv)))
4281     {
4282         mg->mg_obj = obj;
4283     }
4284     else {
4285         mg->mg_obj = SvREFCNT_inc(obj);
4286         mg->mg_flags |= MGf_REFCOUNTED;
4287     }
4288
4289     /* Normal self-ties simply pass a null object, and instead of
4290        using mg_obj directly, use the SvTIED_obj macro to produce a
4291        new RV as needed.  For glob "self-ties", we are tieing the PVIO
4292        with an RV obj pointing to the glob containing the PVIO.  In
4293        this case, to avoid a reference loop, we need to weaken the
4294        reference.
4295     */
4296
4297     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
4298         obj && SvROK(obj) && GvIO(SvRV(obj)) == (IO*)sv)
4299     {
4300       sv_rvweaken(obj);
4301     }
4302
4303     mg->mg_type = how;
4304     mg->mg_len = namlen;
4305     if (name) {
4306         if (namlen > 0)
4307             mg->mg_ptr = savepvn(name, namlen);
4308         else if (namlen == HEf_SVKEY)
4309             mg->mg_ptr = (char*)SvREFCNT_inc((SV*)name);
4310         else
4311             mg->mg_ptr = (char *) name;
4312     }
4313     mg->mg_virtual = vtable;
4314
4315     mg_magical(sv);
4316     if (SvGMAGICAL(sv))
4317         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
4318     return mg;
4319 }
4320
4321 /*
4322 =for apidoc sv_magic
4323
4324 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
4325 then adds a new magic item of type C<how> to the head of the magic list.
4326
4327 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
4328 handling of the C<name> and C<namlen> arguments.
4329
4330 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
4331 to add more than one instance of the same 'how'.
4332
4333 =cut
4334 */
4335
4336 void
4337 Perl_sv_magic(pTHX_ register SV *sv, SV *obj, int how, const char *name, I32 namlen)
4338 {
4339     const MGVTBL *vtable;
4340     MAGIC* mg;
4341
4342 #ifdef PERL_OLD_COPY_ON_WRITE
4343     if (SvIsCOW(sv))
4344         sv_force_normal_flags(sv, 0);
4345 #endif
4346     if (SvREADONLY(sv)) {
4347         if (
4348             /* its okay to attach magic to shared strings; the subsequent
4349              * upgrade to PVMG will unshare the string */
4350             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
4351
4352             && IN_PERL_RUNTIME
4353             && how != PERL_MAGIC_regex_global
4354             && how != PERL_MAGIC_bm
4355             && how != PERL_MAGIC_fm
4356             && how != PERL_MAGIC_sv
4357             && how != PERL_MAGIC_backref
4358            )
4359         {
4360             Perl_croak(aTHX_ PL_no_modify);
4361         }
4362     }
4363     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
4364         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
4365             /* sv_magic() refuses to add a magic of the same 'how' as an
4366                existing one
4367              */
4368             if (how == PERL_MAGIC_taint)
4369                 mg->mg_len |= 1;
4370             return;
4371         }
4372     }
4373
4374     switch (how) {
4375     case PERL_MAGIC_sv:
4376         vtable = &PL_vtbl_sv;
4377         break;
4378     case PERL_MAGIC_overload:
4379         vtable = &PL_vtbl_amagic;
4380         break;
4381     case PERL_MAGIC_overload_elem:
4382         vtable = &PL_vtbl_amagicelem;
4383         break;
4384     case PERL_MAGIC_overload_table:
4385         vtable = &PL_vtbl_ovrld;
4386         break;
4387     case PERL_MAGIC_bm:
4388         vtable = &PL_vtbl_bm;
4389         break;
4390     case PERL_MAGIC_regdata:
4391         vtable = &PL_vtbl_regdata;
4392         break;
4393     case PERL_MAGIC_regdatum:
4394         vtable = &PL_vtbl_regdatum;
4395         break;
4396     case PERL_MAGIC_env:
4397         vtable = &PL_vtbl_env;
4398         break;
4399     case PERL_MAGIC_fm:
4400         vtable = &PL_vtbl_fm;
4401         break;
4402     case PERL_MAGIC_envelem:
4403         vtable = &PL_vtbl_envelem;
4404         break;
4405     case PERL_MAGIC_regex_global:
4406         vtable = &PL_vtbl_mglob;
4407         break;
4408     case PERL_MAGIC_isa:
4409         vtable = &PL_vtbl_isa;
4410         break;
4411     case PERL_MAGIC_isaelem:
4412         vtable = &PL_vtbl_isaelem;
4413         break;
4414     case PERL_MAGIC_nkeys:
4415         vtable = &PL_vtbl_nkeys;
4416         break;
4417     case PERL_MAGIC_dbfile:
4418         vtable = NULL;
4419         break;
4420     case PERL_MAGIC_dbline:
4421         vtable = &PL_vtbl_dbline;
4422         break;
4423 #ifdef USE_LOCALE_COLLATE
4424     case PERL_MAGIC_collxfrm:
4425         vtable = &PL_vtbl_collxfrm;
4426         break;
4427 #endif /* USE_LOCALE_COLLATE */
4428     case PERL_MAGIC_tied:
4429         vtable = &PL_vtbl_pack;
4430         break;
4431     case PERL_MAGIC_tiedelem:
4432     case PERL_MAGIC_tiedscalar:
4433         vtable = &PL_vtbl_packelem;
4434         break;
4435     case PERL_MAGIC_qr:
4436         vtable = &PL_vtbl_regexp;
4437         break;
4438     case PERL_MAGIC_sig:
4439         vtable = &PL_vtbl_sig;
4440         break;
4441     case PERL_MAGIC_sigelem:
4442         vtable = &PL_vtbl_sigelem;
4443         break;
4444     case PERL_MAGIC_taint:
4445         vtable = &PL_vtbl_taint;
4446         break;
4447     case PERL_MAGIC_uvar:
4448         vtable = &PL_vtbl_uvar;
4449         break;
4450     case PERL_MAGIC_vec:
4451         vtable = &PL_vtbl_vec;
4452         break;
4453     case PERL_MAGIC_arylen_p:
4454     case PERL_MAGIC_rhash:
4455     case PERL_MAGIC_symtab:
4456     case PERL_MAGIC_vstring:
4457         vtable = NULL;
4458         break;
4459     case PERL_MAGIC_utf8:
4460         vtable = &PL_vtbl_utf8;
4461         break;
4462     case PERL_MAGIC_substr:
4463         vtable = &PL_vtbl_substr;
4464         break;
4465     case PERL_MAGIC_defelem:
4466         vtable = &PL_vtbl_defelem;
4467         break;
4468     case PERL_MAGIC_glob:
4469         vtable = &PL_vtbl_glob;
4470         break;
4471     case PERL_MAGIC_arylen:
4472         vtable = &PL_vtbl_arylen;
4473         break;
4474     case PERL_MAGIC_pos:
4475         vtable = &PL_vtbl_pos;
4476         break;
4477     case PERL_MAGIC_backref:
4478         vtable = &PL_vtbl_backref;
4479         break;
4480     case PERL_MAGIC_ext:
4481         /* Reserved for use by extensions not perl internals.           */
4482         /* Useful for attaching extension internal data to perl vars.   */
4483         /* Note that multiple extensions may clash if magical scalars   */
4484         /* etc holding private data from one are passed to another.     */
4485         vtable = NULL;
4486         break;
4487     default:
4488         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
4489     }
4490
4491     /* Rest of work is done else where */
4492     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
4493
4494     switch (how) {
4495     case PERL_MAGIC_taint:
4496         mg->mg_len = 1;
4497         break;
4498     case PERL_MAGIC_ext:
4499     case PERL_MAGIC_dbfile:
4500         SvRMAGICAL_on(sv);
4501         break;
4502     }
4503 }
4504
4505 /*
4506 =for apidoc sv_unmagic
4507
4508 Removes all magic of type C<type> from an SV.
4509
4510 =cut
4511 */
4512
4513 int
4514 Perl_sv_unmagic(pTHX_ SV *sv, int type)
4515 {
4516     MAGIC* mg;
4517     MAGIC** mgp;
4518     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
4519         return 0;
4520     mgp = &SvMAGIC(sv);
4521     for (mg = *mgp; mg; mg = *mgp) {
4522         if (mg->mg_type == type) {
4523             const MGVTBL* const vtbl = mg->mg_virtual;
4524             *mgp = mg->mg_moremagic;
4525             if (vtbl && vtbl->svt_free)
4526                 CALL_FPTR(vtbl->svt_free)(aTHX_ sv, mg);
4527             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
4528                 if (mg->mg_len > 0)
4529                     Safefree(mg->mg_ptr);
4530                 else if (mg->mg_len == HEf_SVKEY)
4531                     SvREFCNT_dec((SV*)mg->mg_ptr);
4532                 else if (mg->mg_type == PERL_MAGIC_utf8 && mg->mg_ptr)
4533                     Safefree(mg->mg_ptr);
4534             }
4535             if (mg->mg_flags & MGf_REFCOUNTED)
4536                 SvREFCNT_dec(mg->mg_obj);
4537             Safefree(mg);
4538         }
4539         else
4540             mgp = &mg->mg_moremagic;
4541     }
4542     if (!SvMAGIC(sv)) {
4543         SvMAGICAL_off(sv);
4544        SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_NOK|SVp_POK)) >> PRIVSHIFT;
4545     }
4546
4547     return 0;
4548 }
4549
4550 /*
4551 =for apidoc sv_rvweaken
4552
4553 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
4554 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
4555 push a back-reference to this RV onto the array of backreferences
4556 associated with that magic.
4557
4558 =cut
4559 */
4560
4561 SV *
4562 Perl_sv_rvweaken(pTHX_ SV *sv)
4563 {
4564     SV *tsv;
4565     if (!SvOK(sv))  /* let undefs pass */
4566         return sv;
4567     if (!SvROK(sv))
4568         Perl_croak(aTHX_ "Can't weaken a nonreference");
4569     else if (SvWEAKREF(sv)) {
4570         if (ckWARN(WARN_MISC))
4571             Perl_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
4572         return sv;
4573     }
4574     tsv = SvRV(sv);
4575     Perl_sv_add_backref(aTHX_ tsv, sv);
4576     SvWEAKREF_on(sv);
4577     SvREFCNT_dec(tsv);
4578     return sv;
4579 }
4580
4581 /* Give tsv backref magic if it hasn't already got it, then push a
4582  * back-reference to sv onto the array associated with the backref magic.
4583  */
4584
4585 void
4586 Perl_sv_add_backref(pTHX_ SV *tsv, SV *sv)
4587 {
4588     AV *av;
4589     MAGIC *mg;
4590     if (SvMAGICAL(tsv) && (mg = mg_find(tsv, PERL_MAGIC_backref)))
4591         av = (AV*)mg->mg_obj;
4592     else {
4593         av = newAV();
4594         sv_magic(tsv, (SV*)av, PERL_MAGIC_backref, NULL, 0);
4595         /* av now has a refcnt of 2, which avoids it getting freed
4596          * before us during global cleanup. The extra ref is removed
4597          * by magic_killbackrefs() when tsv is being freed */
4598     }
4599     if (AvFILLp(av) >= AvMAX(av)) {
4600         av_extend(av, AvFILLp(av)+1);
4601     }
4602     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
4603 }
4604
4605 /* delete a back-reference to ourselves from the backref magic associated
4606  * with the SV we point to.
4607  */
4608
4609 STATIC void
4610 S_sv_del_backref(pTHX_ SV *tsv, SV *sv)
4611 {
4612     AV *av;
4613     SV **svp;
4614     I32 i;
4615     MAGIC *mg = NULL;
4616     if (!SvMAGICAL(tsv) || !(mg = mg_find(tsv, PERL_MAGIC_backref))) {
4617         if (PL_in_clean_all)
4618             return;
4619     }
4620     if (!SvMAGICAL(tsv) || !(mg = mg_find(tsv, PERL_MAGIC_backref)))
4621         Perl_croak(aTHX_ "panic: del_backref");
4622     av = (AV *)mg->mg_obj;
4623     svp = AvARRAY(av);
4624     /* We shouldn't be in here more than once, but for paranoia reasons lets
4625        not assume this.  */
4626     for (i = AvFILLp(av); i >= 0; i--) {
4627         if (svp[i] == sv) {
4628             const SSize_t fill = AvFILLp(av);
4629             if (i != fill) {
4630                 /* We weren't the last entry.
4631                    An unordered list has this property that you can take the
4632                    last element off the end to fill the hole, and it's still
4633                    an unordered list :-)
4634                 */
4635                 svp[i] = svp[fill];
4636             }
4637             svp[fill] = Nullsv;
4638             AvFILLp(av) = fill - 1;
4639         }
4640     }
4641 }
4642
4643 /*
4644 =for apidoc sv_insert
4645
4646 Inserts a string at the specified offset/length within the SV. Similar to
4647 the Perl substr() function.
4648
4649 =cut
4650 */
4651
4652 void
4653 Perl_sv_insert(pTHX_ SV *bigstr, STRLEN offset, STRLEN len, const char *little, STRLEN littlelen)
4654 {
4655     register char *big;
4656     register char *mid;
4657     register char *midend;
4658     register char *bigend;
4659     register I32 i;
4660     STRLEN curlen;
4661
4662
4663     if (!bigstr)
4664         Perl_croak(aTHX_ "Can't modify non-existent substring");
4665     SvPV_force(bigstr, curlen);
4666     (void)SvPOK_only_UTF8(bigstr);
4667     if (offset + len > curlen) {
4668         SvGROW(bigstr, offset+len+1);
4669         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
4670         SvCUR_set(bigstr, offset+len);
4671     }
4672
4673     SvTAINT(bigstr);
4674     i = littlelen - len;
4675     if (i > 0) {                        /* string might grow */
4676         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
4677         mid = big + offset + len;
4678         midend = bigend = big + SvCUR(bigstr);
4679         bigend += i;
4680         *bigend = '\0';
4681         while (midend > mid)            /* shove everything down */
4682             *--bigend = *--midend;
4683         Move(little,big+offset,littlelen,char);
4684         SvCUR_set(bigstr, SvCUR(bigstr) + i);
4685         SvSETMAGIC(bigstr);
4686         return;
4687     }
4688     else if (i == 0) {
4689         Move(little,SvPVX(bigstr)+offset,len,char);
4690         SvSETMAGIC(bigstr);
4691         return;
4692     }
4693
4694     big = SvPVX(bigstr);
4695     mid = big + offset;
4696     midend = mid + len;
4697     bigend = big + SvCUR(bigstr);
4698
4699     if (midend > bigend)
4700         Perl_croak(aTHX_ "panic: sv_insert");
4701
4702     if (mid - big > bigend - midend) {  /* faster to shorten from end */
4703         if (littlelen) {
4704             Move(little, mid, littlelen,char);
4705             mid += littlelen;
4706         }
4707         i = bigend - midend;
4708         if (i > 0) {
4709             Move(midend, mid, i,char);
4710             mid += i;
4711         }
4712         *mid = '\0';
4713         SvCUR_set(bigstr, mid - big);
4714     }
4715     else if ((i = mid - big)) { /* faster from front */
4716         midend -= littlelen;
4717         mid = midend;
4718         sv_chop(bigstr,midend-i);
4719         big += i;
4720         while (i--)
4721             *--midend = *--big;
4722         if (littlelen)
4723             Move(little, mid, littlelen,char);
4724     }
4725     else if (littlelen) {
4726         midend -= littlelen;
4727         sv_chop(bigstr,midend);
4728         Move(little,midend,littlelen,char);
4729     }
4730     else {
4731         sv_chop(bigstr,midend);
4732     }
4733     SvSETMAGIC(bigstr);
4734 }
4735
4736 /*
4737 =for apidoc sv_replace
4738
4739 Make the first argument a copy of the second, then delete the original.
4740 The target SV physically takes over ownership of the body of the source SV
4741 and inherits its flags; however, the target keeps any magic it owns,
4742 and any magic in the source is discarded.
4743 Note that this is a rather specialist SV copying operation; most of the
4744 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
4745
4746 =cut
4747 */
4748
4749 void
4750 Perl_sv_replace(pTHX_ register SV *sv, register SV *nsv)
4751 {
4752     const U32 refcnt = SvREFCNT(sv);
4753     SV_CHECK_THINKFIRST_COW_DROP(sv);
4754     if (SvREFCNT(nsv) != 1) {
4755         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace() (%"
4756                    UVuf " != 1)", (UV) SvREFCNT(nsv));
4757     }
4758     if (SvMAGICAL(sv)) {
4759         if (SvMAGICAL(nsv))
4760             mg_free(nsv);
4761         else
4762             sv_upgrade(nsv, SVt_PVMG);
4763         SvMAGIC_set(nsv, SvMAGIC(sv));
4764         SvFLAGS(nsv) |= SvMAGICAL(sv);
4765         SvMAGICAL_off(sv);
4766         SvMAGIC_set(sv, NULL);
4767     }
4768     SvREFCNT(sv) = 0;
4769     sv_clear(sv);
4770     assert(!SvREFCNT(sv));
4771 #ifdef DEBUG_LEAKING_SCALARS
4772     sv->sv_flags  = nsv->sv_flags;
4773     sv->sv_any    = nsv->sv_any;
4774     sv->sv_refcnt = nsv->sv_refcnt;
4775     sv->sv_u      = nsv->sv_u;
4776 #else
4777     StructCopy(nsv,sv,SV);
4778 #endif
4779     /* Currently could join these into one piece of pointer arithmetic, but
4780        it would be unclear.  */
4781     if(SvTYPE(sv) == SVt_IV)
4782         SvANY(sv)
4783             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
4784     else if (SvTYPE(sv) == SVt_RV) {
4785         SvANY(sv) = &sv->sv_u.svu_rv;
4786     }
4787         
4788
4789 #ifdef PERL_OLD_COPY_ON_WRITE
4790     if (SvIsCOW_normal(nsv)) {
4791         /* We need to follow the pointers around the loop to make the
4792            previous SV point to sv, rather than nsv.  */
4793         SV *next;
4794         SV *current = nsv;
4795         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
4796             assert(next);
4797             current = next;
4798             assert(SvPVX_const(current) == SvPVX_const(nsv));
4799         }
4800         /* Make the SV before us point to the SV after us.  */
4801         if (DEBUG_C_TEST) {
4802             PerlIO_printf(Perl_debug_log, "previous is\n");
4803             sv_dump(current);
4804             PerlIO_printf(Perl_debug_log,
4805                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
4806                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
4807         }
4808         SV_COW_NEXT_SV_SET(current, sv);
4809     }
4810 #endif
4811     SvREFCNT(sv) = refcnt;
4812     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
4813     SvREFCNT(nsv) = 0;
4814     del_SV(nsv);
4815 }
4816
4817 /*
4818 =for apidoc sv_clear
4819
4820 Clear an SV: call any destructors, free up any memory used by the body,
4821 and free the body itself. The SV's head is I<not> freed, although
4822 its type is set to all 1's so that it won't inadvertently be assumed
4823 to be live during global destruction etc.
4824 This function should only be called when REFCNT is zero. Most of the time
4825 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
4826 instead.
4827
4828 =cut
4829 */
4830
4831 void
4832 Perl_sv_clear(pTHX_ register SV *sv)
4833 {
4834     dVAR;
4835     const U32 type = SvTYPE(sv);
4836     const struct body_details *const sv_type_details
4837         = bodies_by_type + type;
4838
4839     assert(sv);
4840     assert(SvREFCNT(sv) == 0);
4841
4842     if (type <= SVt_IV)
4843         return;
4844
4845     if (SvOBJECT(sv)) {
4846         if (PL_defstash) {              /* Still have a symbol table? */
4847             dSP;
4848             HV* stash;
4849             do {        
4850                 CV* destructor;
4851                 stash = SvSTASH(sv);
4852                 destructor = StashHANDLER(stash,DESTROY);
4853                 if (destructor) {
4854                     SV* const tmpref = newRV(sv);
4855                     SvREADONLY_on(tmpref);   /* DESTROY() could be naughty */
4856                     ENTER;
4857                     PUSHSTACKi(PERLSI_DESTROY);
4858                     EXTEND(SP, 2);
4859                     PUSHMARK(SP);
4860                     PUSHs(tmpref);
4861                     PUTBACK;
4862                     call_sv((SV*)destructor, G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
4863                 
4864                 
4865                     POPSTACK;
4866                     SPAGAIN;
4867                     LEAVE;
4868                     if(SvREFCNT(tmpref) < 2) {
4869                         /* tmpref is not kept alive! */
4870                         SvREFCNT(sv)--;
4871                         SvRV_set(tmpref, NULL);
4872                         SvROK_off(tmpref);
4873                     }
4874                     SvREFCNT_dec(tmpref);
4875                 }
4876             } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
4877
4878
4879             if (SvREFCNT(sv)) {
4880                 if (PL_in_clean_objs)
4881                     Perl_croak(aTHX_ "DESTROY created new reference to dead object '%s'",
4882                           HvNAME_get(stash));
4883                 /* DESTROY gave object new lease on life */
4884                 return;
4885             }
4886         }
4887
4888         if (SvOBJECT(sv)) {
4889             SvREFCNT_dec(SvSTASH(sv));  /* possibly of changed persuasion */
4890             SvOBJECT_off(sv);   /* Curse the object. */
4891             if (type != SVt_PVIO)
4892                 --PL_sv_objcount;       /* XXX Might want something more general */
4893         }
4894     }
4895     if (type >= SVt_PVMG) {
4896         if (SvMAGIC(sv))
4897             mg_free(sv);
4898         if (type == SVt_PVMG && SvFLAGS(sv) & SVpad_TYPED)
4899             SvREFCNT_dec(SvSTASH(sv));
4900     }
4901     switch (type) {
4902     case SVt_PVIO:
4903         if (IoIFP(sv) &&
4904             IoIFP(sv) != PerlIO_stdin() &&
4905             IoIFP(sv) != PerlIO_stdout() &&
4906             IoIFP(sv) != PerlIO_stderr())
4907         {
4908             io_close((IO*)sv, FALSE);
4909         }
4910         if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
4911             PerlDir_close(IoDIRP(sv));
4912         IoDIRP(sv) = (DIR*)NULL;
4913         Safefree(IoTOP_NAME(sv));
4914         Safefree(IoFMT_NAME(sv));
4915         Safefree(IoBOTTOM_NAME(sv));
4916         goto freescalar;
4917     case SVt_PVBM:
4918         goto freescalar;
4919     case SVt_PVCV:
4920     case SVt_PVFM:
4921         cv_undef((CV*)sv);
4922         goto freescalar;
4923     case SVt_PVHV:
4924         hv_undef((HV*)sv);
4925         break;
4926     case SVt_PVAV:
4927         av_undef((AV*)sv);
4928         break;
4929     case SVt_PVLV:
4930         if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
4931             SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
4932             HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
4933             PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
4934         }
4935         else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
4936             SvREFCNT_dec(LvTARG(sv));
4937         goto freescalar;
4938     case SVt_PVGV:
4939         gp_free((GV*)sv);
4940         Safefree(GvNAME(sv));
4941         /* If we're in a stash, we don't own a reference to it. However it does
4942            have a back reference to us, which needs to be cleared.  */
4943         if (GvSTASH(sv))
4944             sv_del_backref((SV*)GvSTASH(sv), sv);
4945     case SVt_PVMG:
4946     case SVt_PVNV:
4947     case SVt_PVIV:
4948       freescalar:
4949         /* Don't bother with SvOOK_off(sv); as we're only going to free it.  */
4950         if (SvOOK(sv)) {
4951             SvPV_set(sv, SvPVX_mutable(sv) - SvIVX(sv));
4952             /* Don't even bother with turning off the OOK flag.  */
4953         }
4954     case SVt_PV:
4955     case SVt_RV:
4956         if (SvROK(sv)) {
4957             SV *target = SvRV(sv);
4958             if (SvWEAKREF(sv))
4959                 sv_del_backref(target, sv);
4960             else
4961                 SvREFCNT_dec(target);
4962         }
4963 #ifdef PERL_OLD_COPY_ON_WRITE
4964         else if (SvPVX_const(sv)) {
4965             if (SvIsCOW(sv)) {
4966                 /* I believe I need to grab the global SV mutex here and
4967                    then recheck the COW status.  */
4968                 if (DEBUG_C_TEST) {
4969                     PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
4970                     sv_dump(sv);
4971                 }
4972                 sv_release_COW(sv, SvPVX_const(sv), SvLEN(sv),
4973                                SV_COW_NEXT_SV(sv));
4974                 /* And drop it here.  */
4975                 SvFAKE_off(sv);
4976             } else if (SvLEN(sv)) {
4977                 Safefree(SvPVX_const(sv));
4978             }
4979         }
4980 #else
4981         else if (SvPVX_const(sv) && SvLEN(sv))
4982             Safefree(SvPVX_mutable(sv));
4983         else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
4984             unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
4985             SvFAKE_off(sv);
4986         }
4987 #endif
4988         break;
4989     case SVt_NV:
4990         break;
4991     }
4992
4993     SvFLAGS(sv) &= SVf_BREAK;
4994     SvFLAGS(sv) |= SVTYPEMASK;
4995
4996     if (sv_type_details->arena) {
4997         del_body(((char *)SvANY(sv) + sv_type_details->offset),
4998                  &PL_body_roots[type]);
4999     }
5000     else if (sv_type_details->size) {
5001         my_safefree(SvANY(sv));
5002     }
5003 }
5004
5005 /*
5006 =for apidoc sv_newref
5007
5008 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
5009 instead.
5010
5011 =cut
5012 */
5013
5014 SV *
5015 Perl_sv_newref(pTHX_ SV *sv)
5016 {
5017     if (sv)
5018         (SvREFCNT(sv))++;
5019     return sv;
5020 }
5021
5022 /*
5023 =for apidoc sv_free
5024
5025 Decrement an SV's reference count, and if it drops to zero, call
5026 C<sv_clear> to invoke destructors and free up any memory used by
5027 the body; finally, deallocate the SV's head itself.
5028 Normally called via a wrapper macro C<SvREFCNT_dec>.
5029
5030 =cut
5031 */
5032
5033 void
5034 Perl_sv_free(pTHX_ SV *sv)
5035 {
5036     dVAR;
5037     if (!sv)
5038         return;
5039     if (SvREFCNT(sv) == 0) {
5040         if (SvFLAGS(sv) & SVf_BREAK)
5041             /* this SV's refcnt has been artificially decremented to
5042              * trigger cleanup */
5043             return;
5044         if (PL_in_clean_all) /* All is fair */
5045             return;
5046         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5047             /* make sure SvREFCNT(sv)==0 happens very seldom */
5048             SvREFCNT(sv) = (~(U32)0)/2;
5049             return;
5050         }
5051         if (ckWARN_d(WARN_INTERNAL)) {
5052             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
5053                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
5054                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5055 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
5056             Perl_dump_sv_child(aTHX_ sv);
5057 #endif
5058         }
5059         return;
5060     }
5061     if (--(SvREFCNT(sv)) > 0)
5062         return;
5063     Perl_sv_free2(aTHX_ sv);
5064 }
5065
5066 void
5067 Perl_sv_free2(pTHX_ SV *sv)
5068 {
5069     dVAR;
5070 #ifdef DEBUGGING
5071     if (SvTEMP(sv)) {
5072         if (ckWARN_d(WARN_DEBUGGING))
5073             Perl_warner(aTHX_ packWARN(WARN_DEBUGGING),
5074                         "Attempt to free temp prematurely: SV 0x%"UVxf
5075                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
5076         return;
5077     }
5078 #endif
5079     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
5080         /* make sure SvREFCNT(sv)==0 happens very seldom */
5081         SvREFCNT(sv) = (~(U32)0)/2;
5082         return;
5083     }
5084     sv_clear(sv);
5085     if (! SvREFCNT(sv))
5086         del_SV(sv);
5087 }
5088
5089 /*
5090 =for apidoc sv_len
5091
5092 Returns the length of the string in the SV. Handles magic and type
5093 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
5094
5095 =cut
5096 */
5097
5098 STRLEN
5099 Perl_sv_len(pTHX_ register SV *sv)
5100 {
5101     STRLEN len;
5102
5103     if (!sv)
5104         return 0;
5105
5106     if (SvGMAGICAL(sv))
5107         len = mg_length(sv);
5108     else
5109         (void)SvPV_const(sv, len);
5110     return len;
5111 }
5112
5113 /*
5114 =for apidoc sv_len_utf8
5115
5116 Returns the number of characters in the string in an SV, counting wide
5117 UTF-8 bytes as a single character. Handles magic and type coercion.
5118
5119 =cut
5120 */
5121
5122 /*
5123  * The length is cached in PERL_UTF8_magic, in the mg_len field.  Also the
5124  * mg_ptr is used, by sv_pos_u2b(), see the comments of S_utf8_mg_pos_init().
5125  * (Note that the mg_len is not the length of the mg_ptr field.)
5126  *
5127  */
5128
5129 STRLEN
5130 Perl_sv_len_utf8(pTHX_ register SV *sv)
5131 {
5132     if (!sv)
5133         return 0;
5134
5135     if (SvGMAGICAL(sv))
5136         return mg_length(sv);
5137     else
5138     {
5139         STRLEN len, ulen;
5140         const U8 *s = (U8*)SvPV_const(sv, len);
5141         MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : 0;
5142
5143         if (mg && mg->mg_len != -1 && (mg->mg_len > 0 || len == 0)) {
5144             ulen = mg->mg_len;
5145 #ifdef PERL_UTF8_CACHE_ASSERT
5146             assert(ulen == Perl_utf8_length(aTHX_ s, s + len));
5147 #endif
5148         }
5149         else {
5150             ulen = Perl_utf8_length(aTHX_ s, s + len);
5151             if (!mg && !SvREADONLY(sv)) {
5152                 sv_magic(sv, 0, PERL_MAGIC_utf8, 0, 0);
5153                 mg = mg_find(sv, PERL_MAGIC_utf8);
5154                 assert(mg);
5155             }
5156             if (mg)
5157                 mg->mg_len = ulen;
5158         }
5159         return ulen;
5160     }
5161 }
5162
5163 /* S_utf8_mg_pos_init() is used to initialize the mg_ptr field of
5164  * a PERL_UTF8_magic.  The mg_ptr is used to store the mapping
5165  * between UTF-8 and byte offsets.  There are two (substr offset and substr
5166  * length, the i offset, PERL_MAGIC_UTF8_CACHESIZE) times two (UTF-8 offset
5167  * and byte offset) cache positions.
5168  *
5169  * The mg_len field is used by sv_len_utf8(), see its comments.
5170  * Note that the mg_len is not the length of the mg_ptr field.
5171  *
5172  */
5173 STATIC bool
5174 S_utf8_mg_pos_init(pTHX_ SV *sv, MAGIC **mgp, STRLEN **cachep, I32 i,
5175                    I32 offsetp, const U8 *s, const U8 *start)
5176 {
5177     bool found = FALSE;
5178
5179     if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5180         if (!*mgp)
5181             *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0, 0);
5182         assert(*mgp);
5183
5184         if ((*mgp)->mg_ptr)
5185             *cachep = (STRLEN *) (*mgp)->mg_ptr;
5186         else {
5187             Newxz(*cachep, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5188             (*mgp)->mg_ptr = (char *) *cachep;
5189         }
5190         assert(*cachep);
5191
5192         (*cachep)[i]   = offsetp;
5193         (*cachep)[i+1] = s - start;
5194         found = TRUE;
5195     }
5196
5197     return found;
5198 }
5199
5200 /*
5201  * S_utf8_mg_pos() is used to query and update mg_ptr field of
5202  * a PERL_UTF8_magic.  The mg_ptr is used to store the mapping
5203  * between UTF-8 and byte offsets.  See also the comments of
5204  * S_utf8_mg_pos_init().
5205  *
5206  */
5207 STATIC bool
5208 S_utf8_mg_pos(pTHX_ SV *sv, MAGIC **mgp, STRLEN **cachep, I32 i, I32 *offsetp, I32 uoff, const U8 **sp, const U8 *start, const U8 *send)
5209 {
5210     bool found = FALSE;
5211
5212     if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5213         if (!*mgp)
5214             *mgp = mg_find(sv, PERL_MAGIC_utf8);
5215         if (*mgp && (*mgp)->mg_ptr) {
5216             *cachep = (STRLEN *) (*mgp)->mg_ptr;
5217             ASSERT_UTF8_CACHE(*cachep);
5218             if ((*cachep)[i] == (STRLEN)uoff)   /* An exact match. */
5219                  found = TRUE;
5220             else {                      /* We will skip to the right spot. */
5221                  STRLEN forw  = 0;
5222                  STRLEN backw = 0;
5223                  const U8* p = NULL;
5224
5225                  /* The assumption is that going backward is half
5226                   * the speed of going forward (that's where the
5227                   * 2 * backw in the below comes from).  (The real
5228                   * figure of course depends on the UTF-8 data.) */
5229
5230                  if ((*cachep)[i] > (STRLEN)uoff) {
5231                       forw  = uoff;
5232                       backw = (*cachep)[i] - (STRLEN)uoff;
5233
5234                       if (forw < 2 * backw)
5235                            p = start;
5236                       else
5237                            p = start + (*cachep)[i+1];
5238                  }
5239                  /* Try this only for the substr offset (i == 0),
5240                   * not for the substr length (i == 2). */
5241                  else if (i == 0) { /* (*cachep)[i] < uoff */
5242                       const STRLEN ulen = sv_len_utf8(sv);
5243
5244                       if ((STRLEN)uoff < ulen) {
5245                            forw  = (STRLEN)uoff - (*cachep)[i];
5246                            backw = ulen - (STRLEN)uoff;
5247
5248                            if (forw < 2 * backw)
5249                                 p = start + (*cachep)[i+1];
5250                            else
5251                                 p = send;
5252                       }
5253
5254                       /* If the string is not long enough for uoff,
5255                        * we could extend it, but not at this low a level. */
5256                  }
5257
5258                  if (p) {
5259                       if (forw < 2 * backw) {
5260                            while (forw--)
5261                                 p += UTF8SKIP(p);
5262                       }
5263                       else {
5264                            while (backw--) {
5265                                 p--;
5266                                 while (UTF8_IS_CONTINUATION(*p))
5267                                      p--;
5268                            }
5269                       }
5270
5271                       /* Update the cache. */
5272                       (*cachep)[i]   = (STRLEN)uoff;
5273                       (*cachep)[i+1] = p - start;
5274
5275                       /* Drop the stale "length" cache */
5276                       if (i == 0) {
5277                           (*cachep)[2] = 0;
5278                           (*cachep)[3] = 0;
5279                       }
5280
5281                       found = TRUE;
5282                  }
5283             }
5284             if (found) {        /* Setup the return values. */
5285                  *offsetp = (*cachep)[i+1];
5286                  *sp = start + *offsetp;
5287                  if (*sp >= send) {
5288                       *sp = send;
5289                       *offsetp = send - start;
5290                  }
5291                  else if (*sp < start) {
5292                       *sp = start;
5293                       *offsetp = 0;
5294                  }
5295             }
5296         }
5297 #ifdef PERL_UTF8_CACHE_ASSERT
5298         if (found) {
5299              U8 *s = start;
5300              I32 n = uoff;
5301
5302              while (n-- && s < send)
5303                   s += UTF8SKIP(s);
5304
5305              if (i == 0) {
5306                   assert(*offsetp == s - start);
5307                   assert((*cachep)[0] == (STRLEN)uoff);
5308                   assert((*cachep)[1] == *offsetp);
5309              }
5310              ASSERT_UTF8_CACHE(*cachep);
5311         }
5312 #endif
5313     }
5314
5315     return found;
5316 }
5317
5318 /*
5319 =for apidoc sv_pos_u2b
5320
5321 Converts the value pointed to by offsetp from a count of UTF-8 chars from
5322 the start of the string, to a count of the equivalent number of bytes; if
5323 lenp is non-zero, it does the same to lenp, but this time starting from
5324 the offset, rather than from the start of the string. Handles magic and
5325 type coercion.
5326
5327 =cut
5328 */
5329
5330 /*
5331  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
5332  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5333  * byte offsets.  See also the comments of S_utf8_mg_pos().
5334  *
5335  */
5336
5337 void
5338 Perl_sv_pos_u2b(pTHX_ register SV *sv, I32* offsetp, I32* lenp)
5339 {
5340     const U8 *start;
5341     STRLEN len;
5342
5343     if (!sv)
5344         return;
5345
5346     start = (U8*)SvPV_const(sv, len);
5347     if (len) {
5348         STRLEN boffset = 0;
5349         STRLEN *cache = 0;
5350         const U8 *s = start;
5351         I32 uoffset = *offsetp;
5352         const U8 * const send = s + len;
5353         MAGIC *mg = 0;
5354         bool found = FALSE;
5355
5356          if (utf8_mg_pos(sv, &mg, &cache, 0, offsetp, *offsetp, &s, start, send))
5357              found = TRUE;
5358          if (!found && uoffset > 0) {
5359               while (s < send && uoffset--)
5360                    s += UTF8SKIP(s);
5361               if (s >= send)
5362                    s = send;
5363               if (utf8_mg_pos_init(sv, &mg, &cache, 0, *offsetp, s, start))
5364                   boffset = cache[1];
5365               *offsetp = s - start;
5366          }
5367          if (lenp) {
5368               found = FALSE;
5369               start = s;
5370               if (utf8_mg_pos(sv, &mg, &cache, 2, lenp, *lenp, &s, start, send)) {
5371                   *lenp -= boffset;
5372                   found = TRUE;
5373               }
5374               if (!found && *lenp > 0) {
5375                    I32 ulen = *lenp;
5376                    if (ulen > 0)
5377                         while (s < send && ulen--)
5378                              s += UTF8SKIP(s);
5379                    if (s >= send)
5380                         s = send;
5381                    utf8_mg_pos_init(sv, &mg, &cache, 2, *lenp, s, start);
5382               }
5383               *lenp = s - start;
5384          }
5385          ASSERT_UTF8_CACHE(cache);
5386     }
5387     else {
5388          *offsetp = 0;
5389          if (lenp)
5390               *lenp = 0;
5391     }
5392
5393     return;
5394 }
5395
5396 /*
5397 =for apidoc sv_pos_b2u
5398
5399 Converts the value pointed to by offsetp from a count of bytes from the
5400 start of the string, to a count of the equivalent number of UTF-8 chars.
5401 Handles magic and type coercion.
5402
5403 =cut
5404 */
5405
5406 /*
5407  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
5408  * PERL_UTF8_magic of the sv to store the mapping between UTF-8 and
5409  * byte offsets.  See also the comments of S_utf8_mg_pos().
5410  *
5411  */
5412
5413 void
5414 Perl_sv_pos_b2u(pTHX_ register SV* sv, I32* offsetp)
5415 {
5416     const U8* s;
5417     STRLEN len;
5418
5419     if (!sv)
5420         return;
5421
5422     s = (const U8*)SvPV_const(sv, len);
5423     if ((I32)len < *offsetp)
5424         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
5425     else {
5426         const U8* send = s + *offsetp;
5427         MAGIC* mg = NULL;
5428         STRLEN *cache = NULL;
5429
5430         len = 0;
5431
5432         if (SvMAGICAL(sv) && !SvREADONLY(sv)) {
5433             mg = mg_find(sv, PERL_MAGIC_utf8);
5434             if (mg && mg->mg_ptr) {
5435                 cache = (STRLEN *) mg->mg_ptr;
5436                 if (cache[1] == (STRLEN)*offsetp) {
5437                     /* An exact match. */
5438                     *offsetp = cache[0];
5439
5440                     return;
5441                 }
5442                 else if (cache[1] < (STRLEN)*offsetp) {
5443                     /* We already know part of the way. */
5444                     len = cache[0];
5445                     s  += cache[1];
5446                     /* Let the below loop do the rest. */
5447                 }
5448                 else { /* cache[1] > *offsetp */
5449                     /* We already know all of the way, now we may
5450                      * be able to walk back.  The same assumption
5451                      * is made as in S_utf8_mg_pos(), namely that
5452                      * walking backward is twice slower than
5453                      * walking forward. */
5454                     const STRLEN forw  = *offsetp;
5455                     STRLEN backw = cache[1] - *offsetp;
5456
5457                     if (!(forw < 2 * backw)) {
5458                         const U8 *p = s + cache[1];
5459                         STRLEN ubackw = 0;
5460                         
5461                         cache[1] -= backw;
5462
5463                         while (backw--) {
5464                             p--;
5465                             while (UTF8_IS_CONTINUATION(*p)) {
5466                                 p--;
5467                                 backw--;
5468                             }
5469                             ubackw++;
5470                         }
5471
5472                         cache[0] -= ubackw;
5473                         *offsetp = cache[0];
5474
5475                         /* Drop the stale "length" cache */
5476                         cache[2] = 0;
5477                         cache[3] = 0;
5478
5479                         return;
5480                     }
5481                 }
5482             }
5483             ASSERT_UTF8_CACHE(cache);
5484         }
5485
5486         while (s < send) {
5487             STRLEN n = 1;
5488
5489             /* Call utf8n_to_uvchr() to validate the sequence
5490              * (unless a simple non-UTF character) */
5491             if (!UTF8_IS_INVARIANT(*s))
5492                 utf8n_to_uvchr(s, UTF8SKIP(s), &n, 0);
5493             if (n > 0) {
5494                 s += n;
5495                 len++;
5496             }
5497             else
5498                 break;
5499         }
5500
5501         if (!SvREADONLY(sv)) {
5502             if (!mg) {
5503                 sv_magic(sv, 0, PERL_MAGIC_utf8, 0, 0);
5504                 mg = mg_find(sv, PERL_MAGIC_utf8);
5505             }
5506             assert(mg);
5507
5508             if (!mg->mg_ptr) {
5509                 Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
5510                 mg->mg_ptr = (char *) cache;
5511             }
5512             assert(cache);
5513
5514             cache[0] = len;
5515             cache[1] = *offsetp;
5516             /* Drop the stale "length" cache */
5517             cache[2] = 0;
5518             cache[3] = 0;
5519         }
5520
5521         *offsetp = len;
5522     }
5523     return;
5524 }
5525
5526 /*
5527 =for apidoc sv_eq
5528
5529 Returns a boolean indicating whether the strings in the two SVs are
5530 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5531 coerce its args to strings if necessary.
5532
5533 =cut
5534 */
5535
5536 I32
5537 Perl_sv_eq(pTHX_ register SV *sv1, register SV *sv2)
5538 {
5539     const char *pv1;
5540     STRLEN cur1;
5541     const char *pv2;
5542     STRLEN cur2;
5543     I32  eq     = 0;
5544     char *tpv   = Nullch;
5545     SV* svrecode = Nullsv;
5546
5547     if (!sv1) {
5548         pv1 = "";
5549         cur1 = 0;
5550     }
5551     else
5552         pv1 = SvPV_const(sv1, cur1);
5553
5554     if (!sv2){
5555         pv2 = "";
5556         cur2 = 0;
5557     }
5558     else
5559         pv2 = SvPV_const(sv2, cur2);
5560
5561     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5562         /* Differing utf8ness.
5563          * Do not UTF8size the comparands as a side-effect. */
5564          if (PL_encoding) {
5565               if (SvUTF8(sv1)) {
5566                    svrecode = newSVpvn(pv2, cur2);
5567                    sv_recode_to_utf8(svrecode, PL_encoding);
5568                    pv2 = SvPV_const(svrecode, cur2);
5569               }
5570               else {
5571                    svrecode = newSVpvn(pv1, cur1);
5572                    sv_recode_to_utf8(svrecode, PL_encoding);
5573                    pv1 = SvPV_const(svrecode, cur1);
5574               }
5575               /* Now both are in UTF-8. */
5576               if (cur1 != cur2) {
5577                    SvREFCNT_dec(svrecode);
5578                    return FALSE;
5579               }
5580          }
5581          else {
5582               bool is_utf8 = TRUE;
5583
5584               if (SvUTF8(sv1)) {
5585                    /* sv1 is the UTF-8 one,
5586                     * if is equal it must be downgrade-able */
5587                    char * const pv = (char*)bytes_from_utf8((const U8*)pv1,
5588                                                      &cur1, &is_utf8);
5589                    if (pv != pv1)
5590                         pv1 = tpv = pv;
5591               }
5592               else {
5593                    /* sv2 is the UTF-8 one,
5594                     * if is equal it must be downgrade-able */
5595                    char * const pv = (char *)bytes_from_utf8((const U8*)pv2,
5596                                                       &cur2, &is_utf8);
5597                    if (pv != pv2)
5598                         pv2 = tpv = pv;
5599               }
5600               if (is_utf8) {
5601                    /* Downgrade not possible - cannot be eq */
5602                    assert (tpv == 0);
5603                    return FALSE;
5604               }
5605          }
5606     }
5607
5608     if (cur1 == cur2)
5609         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
5610         
5611     if (svrecode)
5612          SvREFCNT_dec(svrecode);
5613
5614     if (tpv)
5615         Safefree(tpv);
5616
5617     return eq;
5618 }
5619
5620 /*
5621 =for apidoc sv_cmp
5622
5623 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
5624 string in C<sv1> is less than, equal to, or greater than the string in
5625 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
5626 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
5627
5628 =cut
5629 */
5630
5631 I32
5632 Perl_sv_cmp(pTHX_ register SV *sv1, register SV *sv2)
5633 {
5634     STRLEN cur1, cur2;
5635     const char *pv1, *pv2;
5636     char *tpv = Nullch;
5637     I32  cmp;
5638     SV *svrecode = Nullsv;
5639
5640     if (!sv1) {
5641         pv1 = "";
5642         cur1 = 0;
5643     }
5644     else
5645         pv1 = SvPV_const(sv1, cur1);
5646
5647     if (!sv2) {
5648         pv2 = "";
5649         cur2 = 0;
5650     }
5651     else
5652         pv2 = SvPV_const(sv2, cur2);
5653
5654     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
5655         /* Differing utf8ness.
5656          * Do not UTF8size the comparands as a side-effect. */
5657         if (SvUTF8(sv1)) {
5658             if (PL_encoding) {
5659                  svrecode = newSVpvn(pv2, cur2);
5660                  sv_recode_to_utf8(svrecode, PL_encoding);
5661                  pv2 = SvPV_const(svrecode, cur2);
5662             }
5663             else {
5664                  pv2 = tpv = (char*)bytes_to_utf8((const U8*)pv2, &cur2);
5665             }
5666         }
5667         else {
5668             if (PL_encoding) {
5669                  svrecode = newSVpvn(pv1, cur1);
5670                  sv_recode_to_utf8(svrecode, PL_encoding);
5671                  pv1 = SvPV_const(svrecode, cur1);
5672             }
5673             else {
5674                  pv1 = tpv = (char*)bytes_to_utf8((const U8*)pv1, &cur1);
5675             }
5676         }
5677     }
5678
5679     if (!cur1) {
5680         cmp = cur2 ? -1 : 0;
5681     } else if (!cur2) {
5682         cmp = 1;
5683     } else {
5684         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
5685
5686         if (retval) {
5687             cmp = retval < 0 ? -1 : 1;
5688         } else if (cur1 == cur2) {
5689             cmp = 0;
5690         } else {
5691             cmp = cur1 < cur2 ? -1 : 1;
5692         }
5693     }
5694
5695     if (svrecode)
5696          SvREFCNT_dec(svrecode);
5697
5698     if (tpv)
5699         Safefree(tpv);
5700
5701     return cmp;
5702 }
5703
5704 /*
5705 =for apidoc sv_cmp_locale
5706
5707 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
5708 'use bytes' aware, handles get magic, and will coerce its args to strings
5709 if necessary.  See also C<sv_cmp_locale>.  See also C<sv_cmp>.
5710
5711 =cut
5712 */
5713
5714 I32
5715 Perl_sv_cmp_locale(pTHX_ register SV *sv1, register SV *sv2)
5716 {
5717 #ifdef USE_LOCALE_COLLATE
5718
5719     char *pv1, *pv2;
5720     STRLEN len1, len2;
5721     I32 retval;
5722
5723     if (PL_collation_standard)
5724         goto raw_compare;
5725
5726     len1 = 0;
5727     pv1 = sv1 ? sv_collxfrm(sv1, &len1) : (char *) NULL;
5728     len2 = 0;
5729     pv2 = sv2 ? sv_collxfrm(sv2, &len2) : (char *) NULL;
5730
5731     if (!pv1 || !len1) {
5732         if (pv2 && len2)
5733             return -1;
5734         else
5735             goto raw_compare;
5736     }
5737     else {
5738         if (!pv2 || !len2)
5739             return 1;
5740     }
5741
5742     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
5743
5744     if (retval)
5745         return retval < 0 ? -1 : 1;
5746
5747     /*
5748      * When the result of collation is equality, that doesn't mean
5749      * that there are no differences -- some locales exclude some
5750      * characters from consideration.  So to avoid false equalities,
5751      * we use the raw string as a tiebreaker.
5752      */
5753
5754   raw_compare:
5755     /* FALL THROUGH */
5756
5757 #endif /* USE_LOCALE_COLLATE */
5758
5759     return sv_cmp(sv1, sv2);
5760 }
5761
5762
5763 #ifdef USE_LOCALE_COLLATE
5764
5765 /*
5766 =for apidoc sv_collxfrm
5767
5768 Add Collate Transform magic to an SV if it doesn't already have it.
5769
5770 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
5771 scalar data of the variable, but transformed to such a format that a normal
5772 memory comparison can be used to compare the data according to the locale
5773 settings.
5774
5775 =cut
5776 */
5777
5778 char *
5779 Perl_sv_collxfrm(pTHX_ SV *sv, STRLEN *nxp)
5780 {
5781     MAGIC *mg;
5782
5783     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
5784     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
5785         const char *s;
5786         char *xf;
5787         STRLEN len, xlen;
5788
5789         if (mg)
5790             Safefree(mg->mg_ptr);
5791         s = SvPV_const(sv, len);
5792         if ((xf = mem_collxfrm(s, len, &xlen))) {
5793             if (SvREADONLY(sv)) {
5794                 SAVEFREEPV(xf);
5795                 *nxp = xlen;
5796                 return xf + sizeof(PL_collation_ix);
5797             }
5798             if (! mg) {
5799                 sv_magic(sv, 0, PERL_MAGIC_collxfrm, 0, 0);
5800                 mg = mg_find(sv, PERL_MAGIC_collxfrm);
5801                 assert(mg);
5802             }
5803             mg->mg_ptr = xf;
5804             mg->mg_len = xlen;
5805         }
5806         else {
5807             if (mg) {
5808                 mg->mg_ptr = NULL;
5809                 mg->mg_len = -1;
5810             }
5811         }
5812     }
5813     if (mg && mg->mg_ptr) {
5814         *nxp = mg->mg_len;
5815         return mg->mg_ptr + sizeof(PL_collation_ix);
5816     }
5817     else {
5818         *nxp = 0;
5819         return NULL;
5820     }
5821 }
5822
5823 #endif /* USE_LOCALE_COLLATE */
5824
5825 /*
5826 =for apidoc sv_gets
5827
5828 Get a line from the filehandle and store it into the SV, optionally
5829 appending to the currently-stored string.
5830
5831 =cut
5832 */
5833
5834 char *
5835 Perl_sv_gets(pTHX_ register SV *sv, register PerlIO *fp, I32 append)
5836 {
5837     const char *rsptr;
5838     STRLEN rslen;
5839     register STDCHAR rslast;
5840     register STDCHAR *bp;
5841     register I32 cnt;
5842     I32 i = 0;
5843     I32 rspara = 0;
5844     I32 recsize;
5845
5846     if (SvTHINKFIRST(sv))
5847         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
5848     /* XXX. If you make this PVIV, then copy on write can copy scalars read
5849        from <>.
5850        However, perlbench says it's slower, because the existing swipe code
5851        is faster than copy on write.
5852        Swings and roundabouts.  */
5853     SvUPGRADE(sv, SVt_PV);
5854
5855     SvSCREAM_off(sv);
5856
5857     if (append) {
5858         if (PerlIO_isutf8(fp)) {
5859             if (!SvUTF8(sv)) {
5860                 sv_utf8_upgrade_nomg(sv);
5861                 sv_pos_u2b(sv,&append,0);
5862             }
5863         } else if (SvUTF8(sv)) {
5864             SV * const tsv = NEWSV(0,0);
5865             sv_gets(tsv, fp, 0);
5866             sv_utf8_upgrade_nomg(tsv);
5867             SvCUR_set(sv,append);
5868             sv_catsv(sv,tsv);
5869             sv_free(tsv);
5870             goto return_string_or_null;
5871         }
5872     }
5873
5874     SvPOK_only(sv);
5875     if (PerlIO_isutf8(fp))
5876         SvUTF8_on(sv);
5877
5878     if (IN_PERL_COMPILETIME) {
5879         /* we always read code in line mode */
5880         rsptr = "\n";
5881         rslen = 1;
5882     }
5883     else if (RsSNARF(PL_rs)) {
5884         /* If it is a regular disk file use size from stat() as estimate
5885            of amount we are going to read - may result in malloc-ing
5886            more memory than we realy need if layers bellow reduce
5887            size we read (e.g. CRLF or a gzip layer)
5888          */
5889         Stat_t st;
5890         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
5891             const Off_t offset = PerlIO_tell(fp);
5892             if (offset != (Off_t) -1 && st.st_size + append > offset) {
5893                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
5894             }
5895         }
5896         rsptr = NULL;
5897         rslen = 0;
5898     }
5899     else if (RsRECORD(PL_rs)) {
5900       I32 bytesread;
5901       char *buffer;
5902
5903       /* Grab the size of the record we're getting */
5904       recsize = SvIV(SvRV(PL_rs));
5905       buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
5906       /* Go yank in */
5907 #ifdef VMS
5908       /* VMS wants read instead of fread, because fread doesn't respect */
5909       /* RMS record boundaries. This is not necessarily a good thing to be */
5910       /* doing, but we've got no other real choice - except avoid stdio
5911          as implementation - perhaps write a :vms layer ?
5912        */
5913       bytesread = PerlLIO_read(PerlIO_fileno(fp), buffer, recsize);
5914 #else
5915       bytesread = PerlIO_read(fp, buffer, recsize);
5916 #endif
5917       if (bytesread < 0)
5918           bytesread = 0;
5919       SvCUR_set(sv, bytesread += append);
5920       buffer[bytesread] = '\0';
5921       goto return_string_or_null;
5922     }
5923     else if (RsPARA(PL_rs)) {
5924         rsptr = "\n\n";
5925         rslen = 2;
5926         rspara = 1;
5927     }
5928     else {
5929         /* Get $/ i.e. PL_rs into same encoding as stream wants */
5930         if (PerlIO_isutf8(fp)) {
5931             rsptr = SvPVutf8(PL_rs, rslen);
5932         }
5933         else {
5934             if (SvUTF8(PL_rs)) {
5935                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
5936                     Perl_croak(aTHX_ "Wide character in $/");
5937                 }
5938             }
5939             rsptr = SvPV_const(PL_rs, rslen);
5940         }
5941     }
5942
5943     rslast = rslen ? rsptr[rslen - 1] : '\0';
5944
5945     if (rspara) {               /* have to do this both before and after */
5946         do {                    /* to make sure file boundaries work right */
5947             if (PerlIO_eof(fp))
5948                 return 0;
5949             i = PerlIO_getc(fp);
5950             if (i != '\n') {
5951                 if (i == -1)
5952                     return 0;
5953                 PerlIO_ungetc(fp,i);
5954                 break;
5955             }
5956         } while (i != EOF);
5957     }
5958
5959     /* See if we know enough about I/O mechanism to cheat it ! */
5960
5961     /* This used to be #ifdef test - it is made run-time test for ease
5962        of abstracting out stdio interface. One call should be cheap
5963        enough here - and may even be a macro allowing compile
5964        time optimization.
5965      */
5966
5967     if (PerlIO_fast_gets(fp)) {
5968
5969     /*
5970      * We're going to steal some values from the stdio struct
5971      * and put EVERYTHING in the innermost loop into registers.
5972      */
5973     register STDCHAR *ptr;
5974     STRLEN bpx;
5975     I32 shortbuffered;
5976
5977 #if defined(VMS) && defined(PERLIO_IS_STDIO)
5978     /* An ungetc()d char is handled separately from the regular
5979      * buffer, so we getc() it back out and stuff it in the buffer.
5980      */
5981     i = PerlIO_getc(fp);
5982     if (i == EOF) return 0;
5983     *(--((*fp)->_ptr)) = (unsigned char) i;
5984     (*fp)->_cnt++;
5985 #endif
5986
5987     /* Here is some breathtakingly efficient cheating */
5988
5989     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
5990     /* make sure we have the room */
5991     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
5992         /* Not room for all of it
5993            if we are looking for a separator and room for some
5994          */
5995         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
5996             /* just process what we have room for */
5997             shortbuffered = cnt - SvLEN(sv) + append + 1;
5998             cnt -= shortbuffered;
5999         }
6000         else {
6001             shortbuffered = 0;
6002             /* remember that cnt can be negative */
6003             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
6004         }
6005     }
6006     else
6007         shortbuffered = 0;
6008     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
6009     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
6010     DEBUG_P(PerlIO_printf(Perl_debug_log,
6011         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6012     DEBUG_P(PerlIO_printf(Perl_debug_log,
6013         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6014                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6015                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
6016     for (;;) {
6017       screamer:
6018         if (cnt > 0) {
6019             if (rslen) {
6020                 while (cnt > 0) {                    /* this     |  eat */
6021                     cnt--;
6022                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
6023                         goto thats_all_folks;        /* screams  |  sed :-) */
6024                 }
6025             }
6026             else {
6027                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
6028                 bp += cnt;                           /* screams  |  dust */
6029                 ptr += cnt;                          /* louder   |  sed :-) */
6030                 cnt = 0;
6031             }
6032         }
6033         
6034         if (shortbuffered) {            /* oh well, must extend */
6035             cnt = shortbuffered;
6036             shortbuffered = 0;
6037             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
6038             SvCUR_set(sv, bpx);
6039             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
6040             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
6041             continue;
6042         }
6043
6044         DEBUG_P(PerlIO_printf(Perl_debug_log,
6045                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
6046                               PTR2UV(ptr),(long)cnt));
6047         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
6048 #if 0
6049         DEBUG_P(PerlIO_printf(Perl_debug_log,
6050             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6051             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6052             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6053 #endif
6054         /* This used to call 'filbuf' in stdio form, but as that behaves like
6055            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
6056            another abstraction.  */
6057         i   = PerlIO_getc(fp);          /* get more characters */
6058 #if 0
6059         DEBUG_P(PerlIO_printf(Perl_debug_log,
6060             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6061             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6062             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6063 #endif
6064         cnt = PerlIO_get_cnt(fp);
6065         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
6066         DEBUG_P(PerlIO_printf(Perl_debug_log,
6067             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6068
6069         if (i == EOF)                   /* all done for ever? */
6070             goto thats_really_all_folks;
6071
6072         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
6073         SvCUR_set(sv, bpx);
6074         SvGROW(sv, bpx + cnt + 2);
6075         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
6076
6077         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
6078
6079         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
6080             goto thats_all_folks;
6081     }
6082
6083 thats_all_folks:
6084     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
6085           memNE((char*)bp - rslen, rsptr, rslen))
6086         goto screamer;                          /* go back to the fray */
6087 thats_really_all_folks:
6088     if (shortbuffered)
6089         cnt += shortbuffered;
6090         DEBUG_P(PerlIO_printf(Perl_debug_log,
6091             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
6092     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
6093     DEBUG_P(PerlIO_printf(Perl_debug_log,
6094         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
6095         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
6096         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
6097     *bp = '\0';
6098     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
6099     DEBUG_P(PerlIO_printf(Perl_debug_log,
6100         "Screamer: done, len=%ld, string=|%.*s|\n",
6101         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
6102     }
6103    else
6104     {
6105        /*The big, slow, and stupid way. */
6106 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
6107         STDCHAR *buf = 0;
6108         Newx(buf, 8192, STDCHAR);
6109         assert(buf);
6110 #else
6111         STDCHAR buf[8192];
6112 #endif
6113
6114 screamer2:
6115         if (rslen) {
6116             register const STDCHAR *bpe = buf + sizeof(buf);
6117             bp = buf;
6118             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
6119                 ; /* keep reading */
6120             cnt = bp - buf;
6121         }
6122         else {
6123             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
6124             /* Accomodate broken VAXC compiler, which applies U8 cast to
6125              * both args of ?: operator, causing EOF to change into 255
6126              */
6127             if (cnt > 0)
6128                  i = (U8)buf[cnt - 1];
6129             else
6130                  i = EOF;
6131         }
6132
6133         if (cnt < 0)
6134             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
6135         if (append)
6136              sv_catpvn(sv, (char *) buf, cnt);
6137         else
6138              sv_setpvn(sv, (char *) buf, cnt);
6139
6140         if (i != EOF &&                 /* joy */
6141             (!rslen ||
6142              SvCUR(sv) < rslen ||
6143              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
6144         {
6145             append = -1;
6146             /*
6147              * If we're reading from a TTY and we get a short read,
6148              * indicating that the user hit his EOF character, we need
6149              * to notice it now, because if we try to read from the TTY
6150              * again, the EOF condition will disappear.
6151              *
6152              * The comparison of cnt to sizeof(buf) is an optimization
6153              * that prevents unnecessary calls to feof().
6154              *
6155              * - jik 9/25/96
6156              */
6157             if (!(cnt < sizeof(buf) && PerlIO_eof(fp)))
6158                 goto screamer2;
6159         }
6160
6161 #ifdef USE_HEAP_INSTEAD_OF_STACK
6162         Safefree(buf);
6163 #endif
6164     }
6165
6166     if (rspara) {               /* have to do this both before and after */
6167         while (i != EOF) {      /* to make sure file boundaries work right */
6168             i = PerlIO_getc(fp);
6169             if (i != '\n') {
6170                 PerlIO_ungetc(fp,i);
6171                 break;
6172             }
6173         }
6174     }
6175
6176 return_string_or_null:
6177     return (SvCUR(sv) - append) ? SvPVX(sv) : Nullch;
6178 }
6179
6180 /*
6181 =for apidoc sv_inc
6182
6183 Auto-increment of the value in the SV, doing string to numeric conversion
6184 if necessary. Handles 'get' magic.
6185
6186 =cut
6187 */
6188
6189 void
6190 Perl_sv_inc(pTHX_ register SV *sv)
6191 {
6192     register char *d;
6193     int flags;
6194
6195     if (!sv)
6196         return;
6197     SvGETMAGIC(sv);
6198     if (SvTHINKFIRST(sv)) {
6199         if (SvIsCOW(sv))
6200             sv_force_normal_flags(sv, 0);
6201         if (SvREADONLY(sv)) {
6202             if (IN_PERL_RUNTIME)
6203                 Perl_croak(aTHX_ PL_no_modify);
6204         }
6205         if (SvROK(sv)) {
6206             IV i;
6207             if (SvAMAGIC(sv) && AMG_CALLun(sv,inc))
6208                 return;
6209             i = PTR2IV(SvRV(sv));
6210             sv_unref(sv);
6211             sv_setiv(sv, i);
6212         }
6213     }
6214     flags = SvFLAGS(sv);
6215     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
6216         /* It's (privately or publicly) a float, but not tested as an
6217            integer, so test it to see. */
6218         (void) SvIV(sv);
6219         flags = SvFLAGS(sv);
6220     }
6221     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6222         /* It's publicly an integer, or privately an integer-not-float */
6223 #ifdef PERL_PRESERVE_IVUV
6224       oops_its_int:
6225 #endif
6226         if (SvIsUV(sv)) {
6227             if (SvUVX(sv) == UV_MAX)
6228                 sv_setnv(sv, UV_MAX_P1);
6229             else
6230                 (void)SvIOK_only_UV(sv);
6231                 SvUV_set(sv, SvUVX(sv) + 1);
6232         } else {
6233             if (SvIVX(sv) == IV_MAX)
6234                 sv_setuv(sv, (UV)IV_MAX + 1);
6235             else {
6236                 (void)SvIOK_only(sv);
6237                 SvIV_set(sv, SvIVX(sv) + 1);
6238             }   
6239         }
6240         return;
6241     }
6242     if (flags & SVp_NOK) {
6243         (void)SvNOK_only(sv);
6244         SvNV_set(sv, SvNVX(sv) + 1.0);
6245         return;
6246     }
6247
6248     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
6249         if ((flags & SVTYPEMASK) < SVt_PVIV)
6250             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
6251         (void)SvIOK_only(sv);
6252         SvIV_set(sv, 1);
6253         return;
6254     }
6255     d = SvPVX(sv);
6256     while (isALPHA(*d)) d++;
6257     while (isDIGIT(*d)) d++;
6258     if (*d) {
6259 #ifdef PERL_PRESERVE_IVUV
6260         /* Got to punt this as an integer if needs be, but we don't issue
6261            warnings. Probably ought to make the sv_iv_please() that does
6262            the conversion if possible, and silently.  */
6263         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6264         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6265             /* Need to try really hard to see if it's an integer.
6266                9.22337203685478e+18 is an integer.
6267                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6268                so $a="9.22337203685478e+18"; $a+0; $a++
6269                needs to be the same as $a="9.22337203685478e+18"; $a++
6270                or we go insane. */
6271         
6272             (void) sv_2iv(sv);
6273             if (SvIOK(sv))
6274                 goto oops_its_int;
6275
6276             /* sv_2iv *should* have made this an NV */
6277             if (flags & SVp_NOK) {
6278                 (void)SvNOK_only(sv);
6279                 SvNV_set(sv, SvNVX(sv) + 1.0);
6280                 return;
6281             }
6282             /* I don't think we can get here. Maybe I should assert this
6283                And if we do get here I suspect that sv_setnv will croak. NWC
6284                Fall through. */
6285 #if defined(USE_LONG_DOUBLE)
6286             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6287                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6288 #else
6289             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6290                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6291 #endif
6292         }
6293 #endif /* PERL_PRESERVE_IVUV */
6294         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
6295         return;
6296     }
6297     d--;
6298     while (d >= SvPVX_const(sv)) {
6299         if (isDIGIT(*d)) {
6300             if (++*d <= '9')
6301                 return;
6302             *(d--) = '0';
6303         }
6304         else {
6305 #ifdef EBCDIC
6306             /* MKS: The original code here died if letters weren't consecutive.
6307              * at least it didn't have to worry about non-C locales.  The
6308              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
6309              * arranged in order (although not consecutively) and that only
6310              * [A-Za-z] are accepted by isALPHA in the C locale.
6311              */
6312             if (*d != 'z' && *d != 'Z') {
6313                 do { ++*d; } while (!isALPHA(*d));
6314                 return;
6315             }
6316             *(d--) -= 'z' - 'a';
6317 #else
6318             ++*d;
6319             if (isALPHA(*d))
6320                 return;
6321             *(d--) -= 'z' - 'a' + 1;
6322 #endif
6323         }
6324     }
6325     /* oh,oh, the number grew */
6326     SvGROW(sv, SvCUR(sv) + 2);
6327     SvCUR_set(sv, SvCUR(sv) + 1);
6328     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
6329         *d = d[-1];
6330     if (isDIGIT(d[1]))
6331         *d = '1';
6332     else
6333         *d = d[1];
6334 }
6335
6336 /*
6337 =for apidoc sv_dec
6338
6339 Auto-decrement of the value in the SV, doing string to numeric conversion
6340 if necessary. Handles 'get' magic.
6341
6342 =cut
6343 */
6344
6345 void
6346 Perl_sv_dec(pTHX_ register SV *sv)
6347 {
6348     int flags;
6349
6350     if (!sv)
6351         return;
6352     SvGETMAGIC(sv);
6353     if (SvTHINKFIRST(sv)) {
6354         if (SvIsCOW(sv))
6355             sv_force_normal_flags(sv, 0);
6356         if (SvREADONLY(sv)) {
6357             if (IN_PERL_RUNTIME)
6358                 Perl_croak(aTHX_ PL_no_modify);
6359         }
6360         if (SvROK(sv)) {
6361             IV i;
6362             if (SvAMAGIC(sv) && AMG_CALLun(sv,dec))
6363                 return;
6364             i = PTR2IV(SvRV(sv));
6365             sv_unref(sv);
6366             sv_setiv(sv, i);
6367         }
6368     }
6369     /* Unlike sv_inc we don't have to worry about string-never-numbers
6370        and keeping them magic. But we mustn't warn on punting */
6371     flags = SvFLAGS(sv);
6372     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
6373         /* It's publicly an integer, or privately an integer-not-float */
6374 #ifdef PERL_PRESERVE_IVUV
6375       oops_its_int:
6376 #endif
6377         if (SvIsUV(sv)) {
6378             if (SvUVX(sv) == 0) {
6379                 (void)SvIOK_only(sv);
6380                 SvIV_set(sv, -1);
6381             }
6382             else {
6383                 (void)SvIOK_only_UV(sv);
6384                 SvUV_set(sv, SvUVX(sv) - 1);
6385             }   
6386         } else {
6387             if (SvIVX(sv) == IV_MIN)
6388                 sv_setnv(sv, (NV)IV_MIN - 1.0);
6389             else {
6390                 (void)SvIOK_only(sv);
6391                 SvIV_set(sv, SvIVX(sv) - 1);
6392             }   
6393         }
6394         return;
6395     }
6396     if (flags & SVp_NOK) {
6397         SvNV_set(sv, SvNVX(sv) - 1.0);
6398         (void)SvNOK_only(sv);
6399         return;
6400     }
6401     if (!(flags & SVp_POK)) {
6402         if ((flags & SVTYPEMASK) < SVt_PVIV)
6403             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
6404         SvIV_set(sv, -1);
6405         (void)SvIOK_only(sv);
6406         return;
6407     }
6408 #ifdef PERL_PRESERVE_IVUV
6409     {
6410         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
6411         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
6412             /* Need to try really hard to see if it's an integer.
6413                9.22337203685478e+18 is an integer.
6414                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
6415                so $a="9.22337203685478e+18"; $a+0; $a--
6416                needs to be the same as $a="9.22337203685478e+18"; $a--
6417                or we go insane. */
6418         
6419             (void) sv_2iv(sv);
6420             if (SvIOK(sv))
6421                 goto oops_its_int;
6422
6423             /* sv_2iv *should* have made this an NV */
6424             if (flags & SVp_NOK) {
6425                 (void)SvNOK_only(sv);
6426                 SvNV_set(sv, SvNVX(sv) - 1.0);
6427                 return;
6428             }
6429             /* I don't think we can get here. Maybe I should assert this
6430                And if we do get here I suspect that sv_setnv will croak. NWC
6431                Fall through. */
6432 #if defined(USE_LONG_DOUBLE)
6433             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
6434                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6435 #else
6436             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
6437                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
6438 #endif
6439         }
6440     }
6441 #endif /* PERL_PRESERVE_IVUV */
6442     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
6443 }
6444
6445 /*
6446 =for apidoc sv_mortalcopy
6447
6448 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
6449 The new SV is marked as mortal. It will be destroyed "soon", either by an
6450 explicit call to FREETMPS, or by an implicit call at places such as
6451 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
6452
6453 =cut
6454 */
6455
6456 /* Make a string that will exist for the duration of the expression
6457  * evaluation.  Actually, it may have to last longer than that, but
6458  * hopefully we won't free it until it has been assigned to a
6459  * permanent location. */
6460
6461 SV *
6462 Perl_sv_mortalcopy(pTHX_ SV *oldstr)
6463 {
6464     register SV *sv;
6465
6466     new_SV(sv);
6467     sv_setsv(sv,oldstr);
6468     EXTEND_MORTAL(1);
6469     PL_tmps_stack[++PL_tmps_ix] = sv;
6470     SvTEMP_on(sv);
6471     return sv;
6472 }
6473
6474 /*
6475 =for apidoc sv_newmortal
6476
6477 Creates a new null SV which is mortal.  The reference count of the SV is
6478 set to 1. It will be destroyed "soon", either by an explicit call to
6479 FREETMPS, or by an implicit call at places such as statement boundaries.
6480 See also C<sv_mortalcopy> and C<sv_2mortal>.
6481
6482 =cut
6483 */
6484
6485 SV *
6486 Perl_sv_newmortal(pTHX)
6487 {
6488     register SV *sv;
6489
6490     new_SV(sv);
6491     SvFLAGS(sv) = SVs_TEMP;
6492     EXTEND_MORTAL(1);
6493     PL_tmps_stack[++PL_tmps_ix] = sv;
6494     return sv;
6495 }
6496
6497 /*
6498 =for apidoc sv_2mortal
6499
6500 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
6501 by an explicit call to FREETMPS, or by an implicit call at places such as
6502 statement boundaries.  SvTEMP() is turned on which means that the SV's
6503 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
6504 and C<sv_mortalcopy>.
6505
6506 =cut
6507 */
6508
6509 SV *
6510 Perl_sv_2mortal(pTHX_ register SV *sv)
6511 {
6512     dVAR;
6513     if (!sv)
6514         return sv;
6515     if (SvREADONLY(sv) && SvIMMORTAL(sv))
6516         return sv;
6517     EXTEND_MORTAL(1);
6518     PL_tmps_stack[++PL_tmps_ix] = sv;
6519     SvTEMP_on(sv);
6520     return sv;
6521 }
6522
6523 /*
6524 =for apidoc newSVpv
6525
6526 Creates a new SV and copies a string into it.  The reference count for the
6527 SV is set to 1.  If C<len> is zero, Perl will compute the length using
6528 strlen().  For efficiency, consider using C<newSVpvn> instead.
6529
6530 =cut
6531 */
6532
6533 SV *
6534 Perl_newSVpv(pTHX_ const char *s, STRLEN len)
6535 {
6536     register SV *sv;
6537
6538     new_SV(sv);
6539     sv_setpvn(sv,s,len ? len : strlen(s));
6540     return sv;
6541 }
6542
6543 /*
6544 =for apidoc newSVpvn
6545
6546 Creates a new SV and copies a string into it.  The reference count for the
6547 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
6548 string.  You are responsible for ensuring that the source string is at least
6549 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
6550
6551 =cut
6552 */
6553
6554 SV *
6555 Perl_newSVpvn(pTHX_ const char *s, STRLEN len)
6556 {
6557     register SV *sv;
6558
6559     new_SV(sv);
6560     sv_setpvn(sv,s,len);
6561     return sv;
6562 }
6563
6564
6565 /*
6566 =for apidoc newSVhek
6567
6568 Creates a new SV from the hash key structure.  It will generate scalars that
6569 point to the shared string table where possible. Returns a new (undefined)
6570 SV if the hek is NULL.
6571
6572 =cut
6573 */
6574
6575 SV *
6576 Perl_newSVhek(pTHX_ const HEK *hek)
6577 {
6578     if (!hek) {
6579         SV *sv;
6580
6581         new_SV(sv);
6582         return sv;
6583     }
6584
6585     if (HEK_LEN(hek) == HEf_SVKEY) {
6586         return newSVsv(*(SV**)HEK_KEY(hek));
6587     } else {
6588         const int flags = HEK_FLAGS(hek);
6589         if (flags & HVhek_WASUTF8) {
6590             /* Trouble :-)
6591                Andreas would like keys he put in as utf8 to come back as utf8
6592             */
6593             STRLEN utf8_len = HEK_LEN(hek);
6594             const U8 *as_utf8 = bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
6595             SV * const sv = newSVpvn ((const char*)as_utf8, utf8_len);
6596
6597             SvUTF8_on (sv);
6598             Safefree (as_utf8); /* bytes_to_utf8() allocates a new string */
6599             return sv;
6600         } else if (flags & HVhek_REHASH) {
6601             /* We don't have a pointer to the hv, so we have to replicate the
6602                flag into every HEK. This hv is using custom a hasing
6603                algorithm. Hence we can't return a shared string scalar, as
6604                that would contain the (wrong) hash value, and might get passed
6605                into an hv routine with a regular hash  */
6606
6607             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
6608             if (HEK_UTF8(hek))
6609                 SvUTF8_on (sv);
6610             return sv;
6611         }
6612         /* This will be overwhelminly the most common case.  */
6613         return newSVpvn_share(HEK_KEY(hek),
6614                               (HEK_UTF8(hek) ? -HEK_LEN(hek) : HEK_LEN(hek)),
6615                               HEK_HASH(hek));
6616     }
6617 }
6618
6619 /*
6620 =for apidoc newSVpvn_share
6621
6622 Creates a new SV with its SvPVX_const pointing to a shared string in the string
6623 table. If the string does not already exist in the table, it is created
6624 first.  Turns on READONLY and FAKE.  The string's hash is stored in the UV
6625 slot of the SV; if the C<hash> parameter is non-zero, that value is used;
6626 otherwise the hash is computed.  The idea here is that as the string table
6627 is used for shared hash keys these strings will have SvPVX_const == HeKEY and
6628 hash lookup will avoid string compare.
6629
6630 =cut
6631 */
6632
6633 SV *
6634 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
6635 {
6636     register SV *sv;
6637     bool is_utf8 = FALSE;
6638     if (len < 0) {
6639         STRLEN tmplen = -len;
6640         is_utf8 = TRUE;
6641         /* See the note in hv.c:hv_fetch() --jhi */
6642         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
6643         len = tmplen;
6644     }
6645     if (!hash)
6646         PERL_HASH(hash, src, len);
6647     new_SV(sv);
6648     sv_upgrade(sv, SVt_PV);
6649     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
6650     SvCUR_set(sv, len);
6651     SvLEN_set(sv, 0);
6652     SvREADONLY_on(sv);
6653     SvFAKE_on(sv);
6654     SvPOK_on(sv);
6655     if (is_utf8)
6656         SvUTF8_on(sv);
6657     return sv;
6658 }
6659
6660
6661 #if defined(PERL_IMPLICIT_CONTEXT)
6662
6663 /* pTHX_ magic can't cope with varargs, so this is a no-context
6664  * version of the main function, (which may itself be aliased to us).
6665  * Don't access this version directly.
6666  */
6667
6668 SV *
6669 Perl_newSVpvf_nocontext(const char* pat, ...)
6670 {
6671     dTHX;
6672     register SV *sv;
6673     va_list args;
6674     va_start(args, pat);
6675     sv = vnewSVpvf(pat, &args);
6676     va_end(args);
6677     return sv;
6678 }
6679 #endif
6680
6681 /*
6682 =for apidoc newSVpvf
6683
6684 Creates a new SV and initializes it with the string formatted like
6685 C<sprintf>.
6686
6687 =cut
6688 */
6689
6690 SV *
6691 Perl_newSVpvf(pTHX_ const char* pat, ...)
6692 {
6693     register SV *sv;
6694     va_list args;
6695     va_start(args, pat);
6696     sv = vnewSVpvf(pat, &args);
6697     va_end(args);
6698     return sv;
6699 }
6700
6701 /* backend for newSVpvf() and newSVpvf_nocontext() */
6702
6703 SV *
6704 Perl_vnewSVpvf(pTHX_ const char* pat, va_list* args)
6705 {
6706     register SV *sv;
6707     new_SV(sv);
6708     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
6709     return sv;
6710 }
6711
6712 /*
6713 =for apidoc newSVnv
6714
6715 Creates a new SV and copies a floating point value into it.
6716 The reference count for the SV is set to 1.
6717
6718 =cut
6719 */
6720
6721 SV *
6722 Perl_newSVnv(pTHX_ NV n)
6723 {
6724     register SV *sv;
6725
6726     new_SV(sv);
6727     sv_setnv(sv,n);
6728     return sv;
6729 }
6730
6731 /*
6732 =for apidoc newSViv
6733
6734 Creates a new SV and copies an integer into it.  The reference count for the
6735 SV is set to 1.
6736
6737 =cut
6738 */
6739
6740 SV *
6741 Perl_newSViv(pTHX_ IV i)
6742 {
6743     register SV *sv;
6744
6745     new_SV(sv);
6746     sv_setiv(sv,i);
6747     return sv;
6748 }
6749
6750 /*
6751 =for apidoc newSVuv
6752
6753 Creates a new SV and copies an unsigned integer into it.
6754 The reference count for the SV is set to 1.
6755
6756 =cut
6757 */
6758
6759 SV *
6760 Perl_newSVuv(pTHX_ UV u)
6761 {
6762     register SV *sv;
6763
6764     new_SV(sv);
6765     sv_setuv(sv,u);
6766     return sv;
6767 }
6768
6769 /*
6770 =for apidoc newRV_noinc
6771
6772 Creates an RV wrapper for an SV.  The reference count for the original
6773 SV is B<not> incremented.
6774
6775 =cut
6776 */
6777
6778 SV *
6779 Perl_newRV_noinc(pTHX_ SV *tmpRef)
6780 {
6781     register SV *sv;
6782
6783     new_SV(sv);
6784     sv_upgrade(sv, SVt_RV);
6785     SvTEMP_off(tmpRef);
6786     SvRV_set(sv, tmpRef);
6787     SvROK_on(sv);
6788     return sv;
6789 }
6790
6791 /* newRV_inc is the official function name to use now.
6792  * newRV_inc is in fact #defined to newRV in sv.h
6793  */
6794
6795 SV *
6796 Perl_newRV(pTHX_ SV *tmpRef)
6797 {
6798     return newRV_noinc(SvREFCNT_inc(tmpRef));
6799 }
6800
6801 /*
6802 =for apidoc newSVsv
6803
6804 Creates a new SV which is an exact duplicate of the original SV.
6805 (Uses C<sv_setsv>).
6806
6807 =cut
6808 */
6809
6810 SV *
6811 Perl_newSVsv(pTHX_ register SV *old)
6812 {
6813     register SV *sv;
6814
6815     if (!old)
6816         return Nullsv;
6817     if (SvTYPE(old) == SVTYPEMASK) {
6818         if (ckWARN_d(WARN_INTERNAL))
6819             Perl_warner(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
6820         return Nullsv;
6821     }
6822     new_SV(sv);
6823     /* SV_GMAGIC is the default for sv_setv()
6824        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
6825        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
6826     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
6827     return sv;
6828 }
6829
6830 /*
6831 =for apidoc sv_reset
6832
6833 Underlying implementation for the C<reset> Perl function.
6834 Note that the perl-level function is vaguely deprecated.
6835
6836 =cut
6837 */
6838
6839 void
6840 Perl_sv_reset(pTHX_ register const char *s, HV *stash)
6841 {
6842     dVAR;
6843     char todo[PERL_UCHAR_MAX+1];
6844
6845     if (!stash)
6846         return;
6847
6848     if (!*s) {          /* reset ?? searches */
6849         MAGIC * const mg = mg_find((SV *)stash, PERL_MAGIC_symtab);
6850         if (mg) {
6851             PMOP *pm = (PMOP *) mg->mg_obj;
6852             while (pm) {
6853                 pm->op_pmdynflags &= ~PMdf_USED;
6854                 pm = pm->op_pmnext;
6855             }
6856         }
6857         return;
6858     }
6859
6860     /* reset variables */
6861
6862     if (!HvARRAY(stash))
6863         return;
6864
6865     Zero(todo, 256, char);
6866     while (*s) {
6867         I32 max;
6868         I32 i = (unsigned char)*s;
6869         if (s[1] == '-') {
6870             s += 2;
6871         }
6872         max = (unsigned char)*s++;
6873         for ( ; i <= max; i++) {
6874             todo[i] = 1;
6875         }
6876         for (i = 0; i <= (I32) HvMAX(stash); i++) {
6877             HE *entry;
6878             for (entry = HvARRAY(stash)[i];
6879                  entry;
6880                  entry = HeNEXT(entry))
6881             {
6882                 register GV *gv;
6883                 register SV *sv;
6884
6885                 if (!todo[(U8)*HeKEY(entry)])
6886                     continue;
6887                 gv = (GV*)HeVAL(entry);
6888                 sv = GvSV(gv);
6889                 if (sv) {
6890                     if (SvTHINKFIRST(sv)) {
6891                         if (!SvREADONLY(sv) && SvROK(sv))
6892                             sv_unref(sv);
6893                         /* XXX Is this continue a bug? Why should THINKFIRST
6894                            exempt us from resetting arrays and hashes?  */
6895                         continue;
6896                     }
6897                     SvOK_off(sv);
6898                     if (SvTYPE(sv) >= SVt_PV) {
6899                         SvCUR_set(sv, 0);
6900                         if (SvPVX_const(sv) != Nullch)
6901                             *SvPVX(sv) = '\0';
6902                         SvTAINT(sv);
6903                     }
6904                 }
6905                 if (GvAV(gv)) {
6906                     av_clear(GvAV(gv));
6907                 }
6908                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
6909 #if defined(VMS)
6910                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
6911 #else /* ! VMS */
6912                     hv_clear(GvHV(gv));
6913 #  if defined(USE_ENVIRON_ARRAY)
6914                     if (gv == PL_envgv)
6915                         my_clearenv();
6916 #  endif /* USE_ENVIRON_ARRAY */
6917 #endif /* VMS */
6918                 }
6919             }
6920         }
6921     }
6922 }
6923
6924 /*
6925 =for apidoc sv_2io
6926
6927 Using various gambits, try to get an IO from an SV: the IO slot if its a
6928 GV; or the recursive result if we're an RV; or the IO slot of the symbol
6929 named after the PV if we're a string.
6930
6931 =cut
6932 */
6933
6934 IO*
6935 Perl_sv_2io(pTHX_ SV *sv)
6936 {
6937     IO* io;
6938     GV* gv;
6939
6940     switch (SvTYPE(sv)) {
6941     case SVt_PVIO:
6942         io = (IO*)sv;
6943         break;
6944     case SVt_PVGV:
6945         gv = (GV*)sv;
6946         io = GvIO(gv);
6947         if (!io)
6948             Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
6949         break;
6950     default:
6951         if (!SvOK(sv))
6952             Perl_croak(aTHX_ PL_no_usym, "filehandle");
6953         if (SvROK(sv))
6954             return sv_2io(SvRV(sv));
6955         gv = gv_fetchsv(sv, FALSE, SVt_PVIO);
6956         if (gv)
6957             io = GvIO(gv);
6958         else
6959             io = 0;
6960         if (!io)
6961             Perl_croak(aTHX_ "Bad filehandle: %"SVf, sv);
6962         break;
6963     }
6964     return io;
6965 }
6966
6967 /*
6968 =for apidoc sv_2cv
6969
6970 Using various gambits, try to get a CV from an SV; in addition, try if
6971 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
6972
6973 =cut
6974 */
6975
6976 CV *
6977 Perl_sv_2cv(pTHX_ SV *sv, HV **st, GV **gvp, I32 lref)
6978 {
6979     dVAR;
6980     GV *gv = Nullgv;
6981     CV *cv = Nullcv;
6982
6983     if (!sv)
6984         return *gvp = Nullgv, Nullcv;
6985     switch (SvTYPE(sv)) {
6986     case SVt_PVCV:
6987         *st = CvSTASH(sv);
6988         *gvp = Nullgv;
6989         return (CV*)sv;
6990     case SVt_PVHV:
6991     case SVt_PVAV:
6992         *gvp = Nullgv;
6993         return Nullcv;
6994     case SVt_PVGV:
6995         gv = (GV*)sv;
6996         *gvp = gv;
6997         *st = GvESTASH(gv);
6998         goto fix_gv;
6999
7000     default:
7001         SvGETMAGIC(sv);
7002         if (SvROK(sv)) {
7003             SV * const *sp = &sv;       /* Used in tryAMAGICunDEREF macro. */
7004             tryAMAGICunDEREF(to_cv);
7005
7006             sv = SvRV(sv);
7007             if (SvTYPE(sv) == SVt_PVCV) {
7008                 cv = (CV*)sv;
7009                 *gvp = Nullgv;
7010                 *st = CvSTASH(cv);
7011                 return cv;
7012             }
7013             else if(isGV(sv))
7014                 gv = (GV*)sv;
7015             else
7016                 Perl_croak(aTHX_ "Not a subroutine reference");
7017         }
7018         else if (isGV(sv))
7019             gv = (GV*)sv;
7020         else
7021             gv = gv_fetchsv(sv, lref, SVt_PVCV);
7022         *gvp = gv;
7023         if (!gv)
7024             return Nullcv;
7025         *st = GvESTASH(gv);
7026     fix_gv:
7027         if (lref && !GvCVu(gv)) {
7028             SV *tmpsv;
7029             ENTER;
7030             tmpsv = NEWSV(704,0);
7031             gv_efullname3(tmpsv, gv, Nullch);
7032             /* XXX this is probably not what they think they're getting.
7033              * It has the same effect as "sub name;", i.e. just a forward
7034              * declaration! */
7035             newSUB(start_subparse(FALSE, 0),
7036                    newSVOP(OP_CONST, 0, tmpsv),
7037                    Nullop,
7038                    Nullop);
7039             LEAVE;
7040             if (!GvCVu(gv))
7041                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
7042                            sv);
7043         }
7044         return GvCVu(gv);
7045     }
7046 }
7047
7048 /*
7049 =for apidoc sv_true
7050
7051 Returns true if the SV has a true value by Perl's rules.
7052 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
7053 instead use an in-line version.
7054
7055 =cut
7056 */
7057
7058 I32
7059 Perl_sv_true(pTHX_ register SV *sv)
7060 {
7061     if (!sv)
7062         return 0;
7063     if (SvPOK(sv)) {
7064         register const XPV* const tXpv = (XPV*)SvANY(sv);
7065         if (tXpv &&
7066                 (tXpv->xpv_cur > 1 ||
7067                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
7068             return 1;
7069         else
7070             return 0;
7071     }
7072     else {
7073         if (SvIOK(sv))
7074             return SvIVX(sv) != 0;
7075         else {
7076             if (SvNOK(sv))
7077                 return SvNVX(sv) != 0.0;
7078             else
7079                 return sv_2bool(sv);
7080         }
7081     }
7082 }
7083
7084 /*
7085 =for apidoc sv_pvn_force
7086
7087 Get a sensible string out of the SV somehow.
7088 A private implementation of the C<SvPV_force> macro for compilers which
7089 can't cope with complex macro expressions. Always use the macro instead.
7090
7091 =for apidoc sv_pvn_force_flags
7092
7093 Get a sensible string out of the SV somehow.
7094 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
7095 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
7096 implemented in terms of this function.
7097 You normally want to use the various wrapper macros instead: see
7098 C<SvPV_force> and C<SvPV_force_nomg>
7099
7100 =cut
7101 */
7102
7103 char *
7104 Perl_sv_pvn_force_flags(pTHX_ SV *sv, STRLEN *lp, I32 flags)
7105 {
7106
7107     if (SvTHINKFIRST(sv) && !SvROK(sv))
7108         sv_force_normal_flags(sv, 0);
7109
7110     if (SvPOK(sv)) {
7111         if (lp)
7112             *lp = SvCUR(sv);
7113     }
7114     else {
7115         char *s;
7116         STRLEN len;
7117  
7118         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
7119             const char * const ref = sv_reftype(sv,0);
7120             if (PL_op)
7121                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
7122                            ref, OP_NAME(PL_op));
7123             else
7124                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
7125         }
7126         if (SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
7127             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
7128                 OP_NAME(PL_op));
7129         s = sv_2pv_flags(sv, &len, flags);
7130         if (lp)
7131             *lp = len;
7132
7133         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
7134             if (SvROK(sv))
7135                 sv_unref(sv);
7136             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
7137             SvGROW(sv, len + 1);
7138             Move(s,SvPVX(sv),len,char);
7139             SvCUR_set(sv, len);
7140             *SvEND(sv) = '\0';
7141         }
7142         if (!SvPOK(sv)) {
7143             SvPOK_on(sv);               /* validate pointer */
7144             SvTAINT(sv);
7145             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
7146                                   PTR2UV(sv),SvPVX_const(sv)));
7147         }
7148     }
7149     return SvPVX_mutable(sv);
7150 }
7151
7152 /*
7153 =for apidoc sv_pvbyten_force
7154
7155 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
7156
7157 =cut
7158 */
7159
7160 char *
7161 Perl_sv_pvbyten_force(pTHX_ SV *sv, STRLEN *lp)
7162 {
7163     sv_pvn_force(sv,lp);
7164     sv_utf8_downgrade(sv,0);
7165     *lp = SvCUR(sv);
7166     return SvPVX(sv);
7167 }
7168
7169 /*
7170 =for apidoc sv_pvutf8n_force
7171
7172 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
7173
7174 =cut
7175 */
7176
7177 char *
7178 Perl_sv_pvutf8n_force(pTHX_ SV *sv, STRLEN *lp)
7179 {
7180     sv_pvn_force(sv,lp);
7181     sv_utf8_upgrade(sv);
7182     *lp = SvCUR(sv);
7183     return SvPVX(sv);
7184 }
7185
7186 /*
7187 =for apidoc sv_reftype
7188
7189 Returns a string describing what the SV is a reference to.
7190
7191 =cut
7192 */
7193
7194 char *
7195 Perl_sv_reftype(pTHX_ const SV *sv, int ob)
7196 {
7197     /* The fact that I don't need to downcast to char * everywhere, only in ?:
7198        inside return suggests a const propagation bug in g++.  */
7199     if (ob && SvOBJECT(sv)) {
7200         char * const name = HvNAME_get(SvSTASH(sv));
7201         return name ? name : (char *) "__ANON__";
7202     }
7203     else {
7204         switch (SvTYPE(sv)) {
7205         case SVt_NULL:
7206         case SVt_IV:
7207         case SVt_NV:
7208         case SVt_RV:
7209         case SVt_PV:
7210         case SVt_PVIV:
7211         case SVt_PVNV:
7212         case SVt_PVMG:
7213         case SVt_PVBM:
7214                                 if (SvVOK(sv))
7215                                     return "VSTRING";
7216                                 if (SvROK(sv))
7217                                     return "REF";
7218                                 else
7219                                     return "SCALAR";
7220
7221         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
7222                                 /* tied lvalues should appear to be
7223                                  * scalars for backwards compatitbility */
7224                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
7225                                     ? "SCALAR" : "LVALUE");
7226         case SVt_PVAV:          return "ARRAY";
7227         case SVt_PVHV:          return "HASH";
7228         case SVt_PVCV:          return "CODE";
7229         case SVt_PVGV:          return "GLOB";
7230         case SVt_PVFM:          return "FORMAT";
7231         case SVt_PVIO:          return "IO";
7232         default:                return "UNKNOWN";
7233         }
7234     }
7235 }
7236
7237 /*
7238 =for apidoc sv_isobject
7239
7240 Returns a boolean indicating whether the SV is an RV pointing to a blessed
7241 object.  If the SV is not an RV, or if the object is not blessed, then this
7242 will return false.
7243
7244 =cut
7245 */
7246
7247 int
7248 Perl_sv_isobject(pTHX_ SV *sv)
7249 {
7250     if (!sv)
7251         return 0;
7252     SvGETMAGIC(sv);
7253     if (!SvROK(sv))
7254         return 0;
7255     sv = (SV*)SvRV(sv);
7256     if (!SvOBJECT(sv))
7257         return 0;
7258     return 1;
7259 }
7260
7261 /*
7262 =for apidoc sv_isa
7263
7264 Returns a boolean indicating whether the SV is blessed into the specified
7265 class.  This does not check for subtypes; use C<sv_derived_from> to verify
7266 an inheritance relationship.
7267
7268 =cut
7269 */
7270
7271 int
7272 Perl_sv_isa(pTHX_ SV *sv, const char *name)
7273 {
7274     const char *hvname;
7275     if (!sv)
7276         return 0;
7277     SvGETMAGIC(sv);
7278     if (!SvROK(sv))
7279         return 0;
7280     sv = (SV*)SvRV(sv);
7281     if (!SvOBJECT(sv))
7282         return 0;
7283     hvname = HvNAME_get(SvSTASH(sv));
7284     if (!hvname)
7285         return 0;
7286
7287     return strEQ(hvname, name);
7288 }
7289
7290 /*
7291 =for apidoc newSVrv
7292
7293 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
7294 it will be upgraded to one.  If C<classname> is non-null then the new SV will
7295 be blessed in the specified package.  The new SV is returned and its
7296 reference count is 1.
7297
7298 =cut
7299 */
7300
7301 SV*
7302 Perl_newSVrv(pTHX_ SV *rv, const char *classname)
7303 {
7304     SV *sv;
7305
7306     new_SV(sv);
7307
7308     SV_CHECK_THINKFIRST_COW_DROP(rv);
7309     SvAMAGIC_off(rv);
7310
7311     if (SvTYPE(rv) >= SVt_PVMG) {
7312         const U32 refcnt = SvREFCNT(rv);
7313         SvREFCNT(rv) = 0;
7314         sv_clear(rv);
7315         SvFLAGS(rv) = 0;
7316         SvREFCNT(rv) = refcnt;
7317     }
7318
7319     if (SvTYPE(rv) < SVt_RV)
7320         sv_upgrade(rv, SVt_RV);
7321     else if (SvTYPE(rv) > SVt_RV) {
7322         SvPV_free(rv);
7323         SvCUR_set(rv, 0);
7324         SvLEN_set(rv, 0);
7325     }
7326
7327     SvOK_off(rv);
7328     SvRV_set(rv, sv);
7329     SvROK_on(rv);
7330
7331     if (classname) {
7332         HV* const stash = gv_stashpv(classname, TRUE);
7333         (void)sv_bless(rv, stash);
7334     }
7335     return sv;
7336 }
7337
7338 /*
7339 =for apidoc sv_setref_pv
7340
7341 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
7342 argument will be upgraded to an RV.  That RV will be modified to point to
7343 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
7344 into the SV.  The C<classname> argument indicates the package for the
7345 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7346 will have a reference count of 1, and the RV will be returned.
7347
7348 Do not use with other Perl types such as HV, AV, SV, CV, because those
7349 objects will become corrupted by the pointer copy process.
7350
7351 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
7352
7353 =cut
7354 */
7355
7356 SV*
7357 Perl_sv_setref_pv(pTHX_ SV *rv, const char *classname, void *pv)
7358 {
7359     if (!pv) {
7360         sv_setsv(rv, &PL_sv_undef);
7361         SvSETMAGIC(rv);
7362     }
7363     else
7364         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
7365     return rv;
7366 }
7367
7368 /*
7369 =for apidoc sv_setref_iv
7370
7371 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
7372 argument will be upgraded to an RV.  That RV will be modified to point to
7373 the new SV.  The C<classname> argument indicates the package for the
7374 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7375 will have a reference count of 1, and the RV will be returned.
7376
7377 =cut
7378 */
7379
7380 SV*
7381 Perl_sv_setref_iv(pTHX_ SV *rv, const char *classname, IV iv)
7382 {
7383     sv_setiv(newSVrv(rv,classname), iv);
7384     return rv;
7385 }
7386
7387 /*
7388 =for apidoc sv_setref_uv
7389
7390 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
7391 argument will be upgraded to an RV.  That RV will be modified to point to
7392 the new SV.  The C<classname> argument indicates the package for the
7393 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7394 will have a reference count of 1, and the RV will be returned.
7395
7396 =cut
7397 */
7398
7399 SV*
7400 Perl_sv_setref_uv(pTHX_ SV *rv, const char *classname, UV uv)
7401 {
7402     sv_setuv(newSVrv(rv,classname), uv);
7403     return rv;
7404 }
7405
7406 /*
7407 =for apidoc sv_setref_nv
7408
7409 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
7410 argument will be upgraded to an RV.  That RV will be modified to point to
7411 the new SV.  The C<classname> argument indicates the package for the
7412 blessing.  Set C<classname> to C<Nullch> to avoid the blessing.  The new SV
7413 will have a reference count of 1, and the RV will be returned.
7414
7415 =cut
7416 */
7417
7418 SV*
7419 Perl_sv_setref_nv(pTHX_ SV *rv, const char *classname, NV nv)
7420 {
7421     sv_setnv(newSVrv(rv,classname), nv);
7422     return rv;
7423 }
7424
7425 /*
7426 =for apidoc sv_setref_pvn
7427
7428 Copies a string into a new SV, optionally blessing the SV.  The length of the
7429 string must be specified with C<n>.  The C<rv> argument will be upgraded to
7430 an RV.  That RV will be modified to point to the new SV.  The C<classname>
7431 argument indicates the package for the blessing.  Set C<classname> to
7432 C<Nullch> to avoid the blessing.  The new SV will have a reference count
7433 of 1, and the RV will be returned.
7434
7435 Note that C<sv_setref_pv> copies the pointer while this copies the string.
7436
7437 =cut
7438 */
7439
7440 SV*
7441 Perl_sv_setref_pvn(pTHX_ SV *rv, const char *classname, const char *pv, STRLEN n)
7442 {
7443     sv_setpvn(newSVrv(rv,classname), pv, n);
7444     return rv;
7445 }
7446
7447 /*
7448 =for apidoc sv_bless
7449
7450 Blesses an SV into a specified package.  The SV must be an RV.  The package
7451 must be designated by its stash (see C<gv_stashpv()>).  The reference count
7452 of the SV is unaffected.
7453
7454 =cut
7455 */
7456
7457 SV*
7458 Perl_sv_bless(pTHX_ SV *sv, HV *stash)
7459 {
7460     SV *tmpRef;
7461     if (!SvROK(sv))
7462         Perl_croak(aTHX_ "Can't bless non-reference value");
7463     tmpRef = SvRV(sv);
7464     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
7465         if (SvREADONLY(tmpRef))
7466             Perl_croak(aTHX_ PL_no_modify);
7467         if (SvOBJECT(tmpRef)) {
7468             if (SvTYPE(tmpRef) != SVt_PVIO)
7469                 --PL_sv_objcount;
7470             SvREFCNT_dec(SvSTASH(tmpRef));
7471         }
7472     }
7473     SvOBJECT_on(tmpRef);
7474     if (SvTYPE(tmpRef) != SVt_PVIO)
7475         ++PL_sv_objcount;
7476     SvUPGRADE(tmpRef, SVt_PVMG);
7477     SvSTASH_set(tmpRef, (HV*)SvREFCNT_inc(stash));
7478
7479     if (Gv_AMG(stash))
7480         SvAMAGIC_on(sv);
7481     else
7482         SvAMAGIC_off(sv);
7483
7484     if(SvSMAGICAL(tmpRef))
7485         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
7486             mg_set(tmpRef);
7487
7488
7489
7490     return sv;
7491 }
7492
7493 /* Downgrades a PVGV to a PVMG.
7494  */
7495
7496 STATIC void
7497 S_sv_unglob(pTHX_ SV *sv)
7498 {
7499     void *xpvmg;
7500
7501     assert(SvTYPE(sv) == SVt_PVGV);
7502     SvFAKE_off(sv);
7503     if (GvGP(sv))
7504         gp_free((GV*)sv);
7505     if (GvSTASH(sv)) {
7506         sv_del_backref((SV*)GvSTASH(sv), sv);
7507         GvSTASH(sv) = Nullhv;
7508     }
7509     sv_unmagic(sv, PERL_MAGIC_glob);
7510     Safefree(GvNAME(sv));
7511     GvMULTI_off(sv);
7512
7513     /* need to keep SvANY(sv) in the right arena */
7514     xpvmg = new_XPVMG();
7515     StructCopy(SvANY(sv), xpvmg, XPVMG);
7516     del_XPVGV(SvANY(sv));
7517     SvANY(sv) = xpvmg;
7518
7519     SvFLAGS(sv) &= ~SVTYPEMASK;
7520     SvFLAGS(sv) |= SVt_PVMG;
7521 }
7522
7523 /*
7524 =for apidoc sv_unref_flags
7525
7526 Unsets the RV status of the SV, and decrements the reference count of
7527 whatever was being referenced by the RV.  This can almost be thought of
7528 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
7529 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
7530 (otherwise the decrementing is conditional on the reference count being
7531 different from one or the reference being a readonly SV).
7532 See C<SvROK_off>.
7533
7534 =cut
7535 */
7536
7537 void
7538 Perl_sv_unref_flags(pTHX_ SV *ref, U32 flags)
7539 {
7540     SV* const target = SvRV(ref);
7541
7542     if (SvWEAKREF(ref)) {
7543         sv_del_backref(target, ref);
7544         SvWEAKREF_off(ref);
7545         SvRV_set(ref, NULL);
7546         return;
7547     }
7548     SvRV_set(ref, NULL);
7549     SvROK_off(ref);
7550     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
7551        assigned to as BEGIN {$a = \"Foo"} will fail.  */
7552     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
7553         SvREFCNT_dec(target);
7554     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
7555         sv_2mortal(target);     /* Schedule for freeing later */
7556 }
7557
7558 /*
7559 =for apidoc sv_untaint
7560
7561 Untaint an SV. Use C<SvTAINTED_off> instead.
7562 =cut
7563 */
7564
7565 void
7566 Perl_sv_untaint(pTHX_ SV *sv)
7567 {
7568     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
7569         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
7570         if (mg)
7571             mg->mg_len &= ~1;
7572     }
7573 }
7574
7575 /*
7576 =for apidoc sv_tainted
7577
7578 Test an SV for taintedness. Use C<SvTAINTED> instead.
7579 =cut
7580 */
7581
7582 bool
7583 Perl_sv_tainted(pTHX_ SV *sv)
7584 {
7585     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
7586         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
7587         if (mg && (mg->mg_len & 1) )
7588             return TRUE;
7589     }
7590     return FALSE;
7591 }
7592
7593 /*
7594 =for apidoc sv_setpviv
7595
7596 Copies an integer into the given SV, also updating its string value.
7597 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
7598
7599 =cut
7600 */
7601
7602 void
7603 Perl_sv_setpviv(pTHX_ SV *sv, IV iv)
7604 {
7605     char buf[TYPE_CHARS(UV)];
7606     char *ebuf;
7607     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
7608
7609     sv_setpvn(sv, ptr, ebuf - ptr);
7610 }
7611
7612 /*
7613 =for apidoc sv_setpviv_mg
7614
7615 Like C<sv_setpviv>, but also handles 'set' magic.
7616
7617 =cut
7618 */
7619
7620 void
7621 Perl_sv_setpviv_mg(pTHX_ SV *sv, IV iv)
7622 {
7623     sv_setpviv(sv, iv);
7624     SvSETMAGIC(sv);
7625 }
7626
7627 #if defined(PERL_IMPLICIT_CONTEXT)
7628
7629 /* pTHX_ magic can't cope with varargs, so this is a no-context
7630  * version of the main function, (which may itself be aliased to us).
7631  * Don't access this version directly.
7632  */
7633
7634 void
7635 Perl_sv_setpvf_nocontext(SV *sv, const char* pat, ...)
7636 {
7637     dTHX;
7638     va_list args;
7639     va_start(args, pat);
7640     sv_vsetpvf(sv, pat, &args);
7641     va_end(args);
7642 }
7643
7644 /* pTHX_ magic can't cope with varargs, so this is a no-context
7645  * version of the main function, (which may itself be aliased to us).
7646  * Don't access this version directly.
7647  */
7648
7649 void
7650 Perl_sv_setpvf_mg_nocontext(SV *sv, const char* pat, ...)
7651 {
7652     dTHX;
7653     va_list args;
7654     va_start(args, pat);
7655     sv_vsetpvf_mg(sv, pat, &args);
7656     va_end(args);
7657 }
7658 #endif
7659
7660 /*
7661 =for apidoc sv_setpvf
7662
7663 Works like C<sv_catpvf> but copies the text into the SV instead of
7664 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
7665
7666 =cut
7667 */
7668
7669 void
7670 Perl_sv_setpvf(pTHX_ SV *sv, const char* pat, ...)
7671 {
7672     va_list args;
7673     va_start(args, pat);
7674     sv_vsetpvf(sv, pat, &args);
7675     va_end(args);
7676 }
7677
7678 /*
7679 =for apidoc sv_vsetpvf
7680
7681 Works like C<sv_vcatpvf> but copies the text into the SV instead of
7682 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
7683
7684 Usually used via its frontend C<sv_setpvf>.
7685
7686 =cut
7687 */
7688
7689 void
7690 Perl_sv_vsetpvf(pTHX_ SV *sv, const char* pat, va_list* args)
7691 {
7692     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7693 }
7694
7695 /*
7696 =for apidoc sv_setpvf_mg
7697
7698 Like C<sv_setpvf>, but also handles 'set' magic.
7699
7700 =cut
7701 */
7702
7703 void
7704 Perl_sv_setpvf_mg(pTHX_ SV *sv, const char* pat, ...)
7705 {
7706     va_list args;
7707     va_start(args, pat);
7708     sv_vsetpvf_mg(sv, pat, &args);
7709     va_end(args);
7710 }
7711
7712 /*
7713 =for apidoc sv_vsetpvf_mg
7714
7715 Like C<sv_vsetpvf>, but also handles 'set' magic.
7716
7717 Usually used via its frontend C<sv_setpvf_mg>.
7718
7719 =cut
7720 */
7721
7722 void
7723 Perl_sv_vsetpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
7724 {
7725     sv_vsetpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7726     SvSETMAGIC(sv);
7727 }
7728
7729 #if defined(PERL_IMPLICIT_CONTEXT)
7730
7731 /* pTHX_ magic can't cope with varargs, so this is a no-context
7732  * version of the main function, (which may itself be aliased to us).
7733  * Don't access this version directly.
7734  */
7735
7736 void
7737 Perl_sv_catpvf_nocontext(SV *sv, const char* pat, ...)
7738 {
7739     dTHX;
7740     va_list args;
7741     va_start(args, pat);
7742     sv_vcatpvf(sv, pat, &args);
7743     va_end(args);
7744 }
7745
7746 /* pTHX_ magic can't cope with varargs, so this is a no-context
7747  * version of the main function, (which may itself be aliased to us).
7748  * Don't access this version directly.
7749  */
7750
7751 void
7752 Perl_sv_catpvf_mg_nocontext(SV *sv, const char* pat, ...)
7753 {
7754     dTHX;
7755     va_list args;
7756     va_start(args, pat);
7757     sv_vcatpvf_mg(sv, pat, &args);
7758     va_end(args);
7759 }
7760 #endif
7761
7762 /*
7763 =for apidoc sv_catpvf
7764
7765 Processes its arguments like C<sprintf> and appends the formatted
7766 output to an SV.  If the appended data contains "wide" characters
7767 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
7768 and characters >255 formatted with %c), the original SV might get
7769 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
7770 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
7771 valid UTF-8; if the original SV was bytes, the pattern should be too.
7772
7773 =cut */
7774
7775 void
7776 Perl_sv_catpvf(pTHX_ SV *sv, const char* pat, ...)
7777 {
7778     va_list args;
7779     va_start(args, pat);
7780     sv_vcatpvf(sv, pat, &args);
7781     va_end(args);
7782 }
7783
7784 /*
7785 =for apidoc sv_vcatpvf
7786
7787 Processes its arguments like C<vsprintf> and appends the formatted output
7788 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
7789
7790 Usually used via its frontend C<sv_catpvf>.
7791
7792 =cut
7793 */
7794
7795 void
7796 Perl_sv_vcatpvf(pTHX_ SV *sv, const char* pat, va_list* args)
7797 {
7798     sv_vcatpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7799 }
7800
7801 /*
7802 =for apidoc sv_catpvf_mg
7803
7804 Like C<sv_catpvf>, but also handles 'set' magic.
7805
7806 =cut
7807 */
7808
7809 void
7810 Perl_sv_catpvf_mg(pTHX_ SV *sv, const char* pat, ...)
7811 {
7812     va_list args;
7813     va_start(args, pat);
7814     sv_vcatpvf_mg(sv, pat, &args);
7815     va_end(args);
7816 }
7817
7818 /*
7819 =for apidoc sv_vcatpvf_mg
7820
7821 Like C<sv_vcatpvf>, but also handles 'set' magic.
7822
7823 Usually used via its frontend C<sv_catpvf_mg>.
7824
7825 =cut
7826 */
7827
7828 void
7829 Perl_sv_vcatpvf_mg(pTHX_ SV *sv, const char* pat, va_list* args)
7830 {
7831     sv_vcatpvfn(sv, pat, strlen(pat), args, Null(SV**), 0, Null(bool*));
7832     SvSETMAGIC(sv);
7833 }
7834
7835 /*
7836 =for apidoc sv_vsetpvfn
7837
7838 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
7839 appending it.
7840
7841 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
7842
7843 =cut
7844 */
7845
7846 void
7847 Perl_sv_vsetpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
7848 {
7849     sv_setpvn(sv, "", 0);
7850     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
7851 }
7852
7853 /* private function for use in sv_vcatpvfn via the EXPECT_NUMBER macro */
7854
7855 STATIC I32
7856 S_expect_number(pTHX_ char** pattern)
7857 {
7858     I32 var = 0;
7859     switch (**pattern) {
7860     case '1': case '2': case '3':
7861     case '4': case '5': case '6':
7862     case '7': case '8': case '9':
7863         while (isDIGIT(**pattern))
7864             var = var * 10 + (*(*pattern)++ - '0');
7865     }
7866     return var;
7867 }
7868 #define EXPECT_NUMBER(pattern, var) (var = S_expect_number(aTHX_ &pattern))
7869
7870 static char *
7871 F0convert(NV nv, char *endbuf, STRLEN *len)
7872 {
7873     const int neg = nv < 0;
7874     UV uv;
7875
7876     if (neg)
7877         nv = -nv;
7878     if (nv < UV_MAX) {
7879         char *p = endbuf;
7880         nv += 0.5;
7881         uv = (UV)nv;
7882         if (uv & 1 && uv == nv)
7883             uv--;                       /* Round to even */
7884         do {
7885             const unsigned dig = uv % 10;
7886             *--p = '0' + dig;
7887         } while (uv /= 10);
7888         if (neg)
7889             *--p = '-';
7890         *len = endbuf - p;
7891         return p;
7892     }
7893     return Nullch;
7894 }
7895
7896
7897 /*
7898 =for apidoc sv_vcatpvfn
7899
7900 Processes its arguments like C<vsprintf> and appends the formatted output
7901 to an SV.  Uses an array of SVs if the C style variable argument list is
7902 missing (NULL).  When running with taint checks enabled, indicates via
7903 C<maybe_tainted> if results are untrustworthy (often due to the use of
7904 locales).
7905
7906 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
7907
7908 =cut
7909 */
7910
7911
7912 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
7913                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
7914                         vec_utf8 = DO_UTF8(vecsv);
7915
7916 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
7917
7918 void
7919 Perl_sv_vcatpvfn(pTHX_ SV *sv, const char *pat, STRLEN patlen, va_list *args, SV **svargs, I32 svmax, bool *maybe_tainted)
7920 {
7921     char *p;
7922     char *q;
7923     const char *patend;
7924     STRLEN origlen;
7925     I32 svix = 0;
7926     static const char nullstr[] = "(null)";
7927     SV *argsv = Nullsv;
7928     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
7929     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
7930     SV *nsv = Nullsv;
7931     /* Times 4: a decimal digit takes more than 3 binary digits.
7932      * NV_DIG: mantissa takes than many decimal digits.
7933      * Plus 32: Playing safe. */
7934     char ebuf[IV_DIG * 4 + NV_DIG + 32];
7935     /* large enough for "%#.#f" --chip */
7936     /* what about long double NVs? --jhi */
7937
7938     PERL_UNUSED_ARG(maybe_tainted);
7939
7940     /* no matter what, this is a string now */
7941     (void)SvPV_force(sv, origlen);
7942
7943     /* special-case "", "%s", and "%-p" (SVf - see below) */
7944     if (patlen == 0)
7945         return;
7946     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
7947         if (args) {
7948             const char * const s = va_arg(*args, char*);
7949             sv_catpv(sv, s ? s : nullstr);
7950         }
7951         else if (svix < svmax) {
7952             sv_catsv(sv, *svargs);
7953         }
7954         return;
7955     }
7956     if (args && patlen == 3 && pat[0] == '%' &&
7957                 pat[1] == '-' && pat[2] == 'p') {
7958         argsv = va_arg(*args, SV*);
7959         sv_catsv(sv, argsv);
7960         return;
7961     }
7962
7963 #ifndef USE_LONG_DOUBLE
7964     /* special-case "%.<number>[gf]" */
7965     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
7966          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
7967         unsigned digits = 0;
7968         const char *pp;
7969
7970         pp = pat + 2;
7971         while (*pp >= '0' && *pp <= '9')
7972             digits = 10 * digits + (*pp++ - '0');
7973         if (pp - pat == (int)patlen - 1) {
7974             NV nv;
7975
7976             if (svix < svmax)
7977                 nv = SvNV(*svargs);
7978             else
7979                 return;
7980             if (*pp == 'g') {
7981                 /* Add check for digits != 0 because it seems that some
7982                    gconverts are buggy in this case, and we don't yet have
7983                    a Configure test for this.  */
7984                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
7985                      /* 0, point, slack */
7986                     Gconvert(nv, (int)digits, 0, ebuf);
7987                     sv_catpv(sv, ebuf);
7988                     if (*ebuf)  /* May return an empty string for digits==0 */
7989                         return;
7990                 }
7991             } else if (!digits) {
7992                 STRLEN l;
7993
7994                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
7995                     sv_catpvn(sv, p, l);
7996                     return;
7997                 }
7998             }
7999         }
8000     }
8001 #endif /* !USE_LONG_DOUBLE */
8002
8003     if (!args && svix < svmax && DO_UTF8(*svargs))
8004         has_utf8 = TRUE;
8005
8006     patend = (char*)pat + patlen;
8007     for (p = (char*)pat; p < patend; p = q) {
8008         bool alt = FALSE;
8009         bool left = FALSE;
8010         bool vectorize = FALSE;
8011         bool vectorarg = FALSE;
8012         bool vec_utf8 = FALSE;
8013         char fill = ' ';
8014         char plus = 0;
8015         char intsize = 0;
8016         STRLEN width = 0;
8017         STRLEN zeros = 0;
8018         bool has_precis = FALSE;
8019         STRLEN precis = 0;
8020         I32 osvix = svix;
8021         bool is_utf8 = FALSE;  /* is this item utf8?   */
8022 #ifdef HAS_LDBL_SPRINTF_BUG
8023         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8024            with sfio - Allen <allens@cpan.org> */
8025         bool fix_ldbl_sprintf_bug = FALSE;
8026 #endif
8027
8028         char esignbuf[4];
8029         U8 utf8buf[UTF8_MAXBYTES+1];
8030         STRLEN esignlen = 0;
8031
8032         const char *eptr = Nullch;
8033         STRLEN elen = 0;
8034         SV *vecsv = Nullsv;
8035         const U8 *vecstr = Null(U8*);
8036         STRLEN veclen = 0;
8037         char c = 0;
8038         int i;
8039         unsigned base = 0;
8040         IV iv = 0;
8041         UV uv = 0;
8042         /* we need a long double target in case HAS_LONG_DOUBLE but
8043            not USE_LONG_DOUBLE
8044         */
8045 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
8046         long double nv;
8047 #else
8048         NV nv;
8049 #endif
8050         STRLEN have;
8051         STRLEN need;
8052         STRLEN gap;
8053         const char *dotstr = ".";
8054         STRLEN dotstrlen = 1;
8055         I32 efix = 0; /* explicit format parameter index */
8056         I32 ewix = 0; /* explicit width index */
8057         I32 epix = 0; /* explicit precision index */
8058         I32 evix = 0; /* explicit vector index */
8059         bool asterisk = FALSE;
8060
8061         /* echo everything up to the next format specification */
8062         for (q = p; q < patend && *q != '%'; ++q) ;
8063         if (q > p) {
8064             if (has_utf8 && !pat_utf8)
8065                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
8066             else
8067                 sv_catpvn(sv, p, q - p);
8068             p = q;
8069         }
8070         if (q++ >= patend)
8071             break;
8072
8073 /*
8074     We allow format specification elements in this order:
8075         \d+\$              explicit format parameter index
8076         [-+ 0#]+           flags
8077         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
8078         0                  flag (as above): repeated to allow "v02"     
8079         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
8080         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
8081         [hlqLV]            size
8082     [%bcdefginopsuxDFOUX] format (mandatory)
8083 */
8084
8085         if (args) {
8086 /*  
8087         As of perl5.9.3, printf format checking is on by default.
8088         Internally, perl uses %p formats to provide an escape to
8089         some extended formatting.  This block deals with those
8090         extensions: if it does not match, (char*)q is reset and
8091         the normal format processing code is used.
8092
8093         Currently defined extensions are:
8094                 %p              include pointer address (standard)      
8095                 %-p     (SVf)   include an SV (previously %_)
8096                 %-<num>p        include an SV with precision <num>      
8097                 %1p     (VDf)   include a v-string (as %vd)
8098                 %<num>p         reserved for future extensions
8099
8100         Robin Barker 2005-07-14
8101 */
8102             char* r = q; 
8103             bool sv = FALSE;    
8104             STRLEN n = 0;
8105             if (*q == '-')
8106                 sv = *q++;
8107             EXPECT_NUMBER(q, n);
8108             if (*q++ == 'p') {
8109                 if (sv) {                       /* SVf */
8110                     if (n) {
8111                         precis = n;
8112                         has_precis = TRUE;
8113                     }
8114                     argsv = va_arg(*args, SV*);
8115                     eptr = SvPVx_const(argsv, elen);
8116                     if (DO_UTF8(argsv))
8117                         is_utf8 = TRUE;
8118                     goto string;
8119                 }
8120 #if vdNUMBER
8121                 else if (n == vdNUMBER) {       /* VDf */
8122                     vectorize = TRUE;
8123                     VECTORIZE_ARGS
8124                     goto format_vd;
8125                 }
8126 #endif
8127                 else if (n) {
8128                     if (ckWARN_d(WARN_INTERNAL))
8129                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
8130                         "internal %%<num>p might conflict with future printf extensions");
8131                 }
8132             }
8133             q = r; 
8134         }
8135
8136         if (EXPECT_NUMBER(q, width)) {
8137             if (*q == '$') {
8138                 ++q;
8139                 efix = width;
8140             } else {
8141                 goto gotwidth;
8142             }
8143         }
8144
8145         /* FLAGS */
8146
8147         while (*q) {
8148             switch (*q) {
8149             case ' ':
8150             case '+':
8151                 plus = *q++;
8152                 continue;
8153
8154             case '-':
8155                 left = TRUE;
8156                 q++;
8157                 continue;
8158
8159             case '0':
8160                 fill = *q++;
8161                 continue;
8162
8163             case '#':
8164                 alt = TRUE;
8165                 q++;
8166                 continue;
8167
8168             default:
8169                 break;
8170             }
8171             break;
8172         }
8173
8174       tryasterisk:
8175         if (*q == '*') {
8176             q++;
8177             if (EXPECT_NUMBER(q, ewix))
8178                 if (*q++ != '$')
8179                     goto unknown;
8180             asterisk = TRUE;
8181         }
8182         if (*q == 'v') {
8183             q++;
8184             if (vectorize)
8185                 goto unknown;
8186             if ((vectorarg = asterisk)) {
8187                 evix = ewix;
8188                 ewix = 0;
8189                 asterisk = FALSE;
8190             }
8191             vectorize = TRUE;
8192             goto tryasterisk;
8193         }
8194
8195         if (!asterisk)
8196         {
8197             if( *q == '0' )
8198                 fill = *q++;
8199             EXPECT_NUMBER(q, width);
8200         }
8201
8202         if (vectorize) {
8203             if (vectorarg) {
8204                 if (args)
8205                     vecsv = va_arg(*args, SV*);
8206                 else
8207                     vecsv = (evix ? evix <= svmax : svix < svmax) ?
8208                         svargs[evix ? evix-1 : svix++] : &PL_sv_undef;
8209                 dotstr = SvPV_const(vecsv, dotstrlen);
8210                 if (DO_UTF8(vecsv))
8211                     is_utf8 = TRUE;
8212             }
8213             if (args) {
8214                 VECTORIZE_ARGS
8215             }
8216             else if (efix ? efix <= svmax : svix < svmax) {
8217                 vecsv = svargs[efix ? efix-1 : svix++];
8218                 vecstr = (U8*)SvPV_const(vecsv,veclen);
8219                 vec_utf8 = DO_UTF8(vecsv);
8220                 /* if this is a version object, we need to return the
8221                  * stringified representation (which the SvPVX_const has
8222                  * already done for us), but not vectorize the args
8223                  */
8224                 if ( *q == 'd' && sv_derived_from(vecsv,"version") )
8225                 {
8226                         q++; /* skip past the rest of the %vd format */
8227                         eptr = (const char *) vecstr;
8228                         elen = veclen;
8229                         vectorize=FALSE;
8230                         goto string;
8231                 }
8232             }
8233             else {
8234                 vecstr = (U8*)"";
8235                 veclen = 0;
8236             }
8237         }
8238
8239         if (asterisk) {
8240             if (args)
8241                 i = va_arg(*args, int);
8242             else
8243                 i = (ewix ? ewix <= svmax : svix < svmax) ?
8244                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8245             left |= (i < 0);
8246             width = (i < 0) ? -i : i;
8247         }
8248       gotwidth:
8249
8250         /* PRECISION */
8251
8252         if (*q == '.') {
8253             q++;
8254             if (*q == '*') {
8255                 q++;
8256                 if (EXPECT_NUMBER(q, epix) && *q++ != '$')
8257                     goto unknown;
8258                 /* XXX: todo, support specified precision parameter */
8259                 if (epix)
8260                     goto unknown;
8261                 if (args)
8262                     i = va_arg(*args, int);
8263                 else
8264                     i = (ewix ? ewix <= svmax : svix < svmax)
8265                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
8266                 precis = (i < 0) ? 0 : i;
8267             }
8268             else {
8269                 precis = 0;
8270                 while (isDIGIT(*q))
8271                     precis = precis * 10 + (*q++ - '0');
8272             }
8273             has_precis = TRUE;
8274         }
8275
8276         /* SIZE */
8277
8278         switch (*q) {
8279 #ifdef WIN32
8280         case 'I':                       /* Ix, I32x, and I64x */
8281 #  ifdef WIN64
8282             if (q[1] == '6' && q[2] == '4') {
8283                 q += 3;
8284                 intsize = 'q';
8285                 break;
8286             }
8287 #  endif
8288             if (q[1] == '3' && q[2] == '2') {
8289                 q += 3;
8290                 break;
8291             }
8292 #  ifdef WIN64
8293             intsize = 'q';
8294 #  endif
8295             q++;
8296             break;
8297 #endif
8298 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8299         case 'L':                       /* Ld */
8300             /* FALL THROUGH */
8301 #ifdef HAS_QUAD
8302         case 'q':                       /* qd */
8303 #endif
8304             intsize = 'q';
8305             q++;
8306             break;
8307 #endif
8308         case 'l':
8309 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
8310             if (*(q + 1) == 'l') {      /* lld, llf */
8311                 intsize = 'q';
8312                 q += 2;
8313                 break;
8314              }
8315 #endif
8316             /* FALL THROUGH */
8317         case 'h':
8318             /* FALL THROUGH */
8319         case 'V':
8320             intsize = *q++;
8321             break;
8322         }
8323
8324         /* CONVERSION */
8325
8326         if (*q == '%') {
8327             eptr = q++;
8328             elen = 1;
8329             goto string;
8330         }
8331
8332         if (vectorize)
8333             argsv = vecsv;
8334         else if (!args) {
8335             if (efix) {
8336                 const I32 i = efix-1;
8337                 argsv = (i >= 0 && i < svmax) ? svargs[i] : &PL_sv_undef;
8338             } else {
8339                 argsv = (svix >= 0 && svix < svmax)
8340                     ? svargs[svix++] : &PL_sv_undef;
8341             }
8342         }
8343
8344         switch (c = *q++) {
8345
8346             /* STRINGS */
8347
8348         case 'c':
8349             uv = (args && !vectorize) ? va_arg(*args, int) : SvIVx(argsv);
8350             if ((uv > 255 ||
8351                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
8352                 && !IN_BYTES) {
8353                 eptr = (char*)utf8buf;
8354                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
8355                 is_utf8 = TRUE;
8356             }
8357             else {
8358                 c = (char)uv;
8359                 eptr = &c;
8360                 elen = 1;
8361             }
8362             goto string;
8363
8364         case 's':
8365             if (args && !vectorize) {
8366                 eptr = va_arg(*args, char*);
8367                 if (eptr)
8368 #ifdef MACOS_TRADITIONAL
8369                   /* On MacOS, %#s format is used for Pascal strings */
8370                   if (alt)
8371                     elen = *eptr++;
8372                   else
8373 #endif
8374                     elen = strlen(eptr);
8375                 else {
8376                     eptr = (char *)nullstr;
8377                     elen = sizeof nullstr - 1;
8378                 }
8379             }
8380             else {
8381                 eptr = SvPVx_const(argsv, elen);
8382                 if (DO_UTF8(argsv)) {
8383                     if (has_precis && precis < elen) {
8384                         I32 p = precis;
8385                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
8386                         precis = p;
8387                     }
8388                     if (width) { /* fudge width (can't fudge elen) */
8389                         width += elen - sv_len_utf8(argsv);
8390                     }
8391                     is_utf8 = TRUE;
8392                 }
8393             }
8394
8395         string:
8396             vectorize = FALSE;
8397             if (has_precis && elen > precis)
8398                 elen = precis;
8399             break;
8400
8401             /* INTEGERS */
8402
8403         case 'p':
8404             if (alt || vectorize)
8405                 goto unknown;
8406             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
8407             base = 16;
8408             goto integer;
8409
8410         case 'D':
8411 #ifdef IV_IS_QUAD
8412             intsize = 'q';
8413 #else
8414             intsize = 'l';
8415 #endif
8416             /* FALL THROUGH */
8417         case 'd':
8418         case 'i':
8419 #if vdNUMBER
8420         format_vd:
8421 #endif
8422             if (vectorize) {
8423                 STRLEN ulen;
8424                 if (!veclen)
8425                     continue;
8426                 if (vec_utf8)
8427                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8428                                         UTF8_ALLOW_ANYUV);
8429                 else {
8430                     uv = *vecstr;
8431                     ulen = 1;
8432                 }
8433                 vecstr += ulen;
8434                 veclen -= ulen;
8435                 if (plus)
8436                      esignbuf[esignlen++] = plus;
8437             }
8438             else if (args) {
8439                 switch (intsize) {
8440                 case 'h':       iv = (short)va_arg(*args, int); break;
8441                 case 'l':       iv = va_arg(*args, long); break;
8442                 case 'V':       iv = va_arg(*args, IV); break;
8443                 default:        iv = va_arg(*args, int); break;
8444 #ifdef HAS_QUAD
8445                 case 'q':       iv = va_arg(*args, Quad_t); break;
8446 #endif
8447                 }
8448             }
8449             else {
8450                 IV tiv = SvIVx(argsv); /* work around GCC bug #13488 */
8451                 switch (intsize) {
8452                 case 'h':       iv = (short)tiv; break;
8453                 case 'l':       iv = (long)tiv; break;
8454                 case 'V':
8455                 default:        iv = tiv; break;
8456 #ifdef HAS_QUAD
8457                 case 'q':       iv = (Quad_t)tiv; break;
8458 #endif
8459                 }
8460             }
8461             if ( !vectorize )   /* we already set uv above */
8462             {
8463                 if (iv >= 0) {
8464                     uv = iv;
8465                     if (plus)
8466                         esignbuf[esignlen++] = plus;
8467                 }
8468                 else {
8469                     uv = -iv;
8470                     esignbuf[esignlen++] = '-';
8471                 }
8472             }
8473             base = 10;
8474             goto integer;
8475
8476         case 'U':
8477 #ifdef IV_IS_QUAD
8478             intsize = 'q';
8479 #else
8480             intsize = 'l';
8481 #endif
8482             /* FALL THROUGH */
8483         case 'u':
8484             base = 10;
8485             goto uns_integer;
8486
8487         case 'b':
8488             base = 2;
8489             goto uns_integer;
8490
8491         case 'O':
8492 #ifdef IV_IS_QUAD
8493             intsize = 'q';
8494 #else
8495             intsize = 'l';
8496 #endif
8497             /* FALL THROUGH */
8498         case 'o':
8499             base = 8;
8500             goto uns_integer;
8501
8502         case 'X':
8503         case 'x':
8504             base = 16;
8505
8506         uns_integer:
8507             if (vectorize) {
8508                 STRLEN ulen;
8509         vector:
8510                 if (!veclen)
8511                     continue;
8512                 if (vec_utf8)
8513                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
8514                                         UTF8_ALLOW_ANYUV);
8515                 else {
8516                     uv = *vecstr;
8517                     ulen = 1;
8518                 }
8519                 vecstr += ulen;
8520                 veclen -= ulen;
8521             }
8522             else if (args) {
8523                 switch (intsize) {
8524                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
8525                 case 'l':  uv = va_arg(*args, unsigned long); break;
8526                 case 'V':  uv = va_arg(*args, UV); break;
8527                 default:   uv = va_arg(*args, unsigned); break;
8528 #ifdef HAS_QUAD
8529                 case 'q':  uv = va_arg(*args, Uquad_t); break;
8530 #endif
8531                 }
8532             }
8533             else {
8534                 UV tuv = SvUVx(argsv); /* work around GCC bug #13488 */
8535                 switch (intsize) {
8536                 case 'h':       uv = (unsigned short)tuv; break;
8537                 case 'l':       uv = (unsigned long)tuv; break;
8538                 case 'V':
8539                 default:        uv = tuv; break;
8540 #ifdef HAS_QUAD
8541                 case 'q':       uv = (Uquad_t)tuv; break;
8542 #endif
8543                 }
8544             }
8545
8546         integer:
8547             {
8548                 char *ptr = ebuf + sizeof ebuf;
8549                 switch (base) {
8550                     unsigned dig;
8551                 case 16:
8552                     if (!uv)
8553                         alt = FALSE;
8554                     p = (char*)((c == 'X')
8555                                 ? "0123456789ABCDEF" : "0123456789abcdef");
8556                     do {
8557                         dig = uv & 15;
8558                         *--ptr = p[dig];
8559                     } while (uv >>= 4);
8560                     if (alt) {
8561                         esignbuf[esignlen++] = '0';
8562                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
8563                     }
8564                     break;
8565                 case 8:
8566                     do {
8567                         dig = uv & 7;
8568                         *--ptr = '0' + dig;
8569                     } while (uv >>= 3);
8570                     if (alt && *ptr != '0')
8571                         *--ptr = '0';
8572                     break;
8573                 case 2:
8574                     if (!uv)
8575                         alt = FALSE;
8576                     do {
8577                         dig = uv & 1;
8578                         *--ptr = '0' + dig;
8579                     } while (uv >>= 1);
8580                     if (alt) {
8581                         esignbuf[esignlen++] = '0';
8582                         esignbuf[esignlen++] = 'b';
8583                     }
8584                     break;
8585                 default:                /* it had better be ten or less */
8586                     do {
8587                         dig = uv % base;
8588                         *--ptr = '0' + dig;
8589                     } while (uv /= base);
8590                     break;
8591                 }
8592                 elen = (ebuf + sizeof ebuf) - ptr;
8593                 eptr = ptr;
8594                 if (has_precis) {
8595                     if (precis > elen)
8596                         zeros = precis - elen;
8597                     else if (precis == 0 && elen == 1 && *eptr == '0')
8598                         elen = 0;
8599                 }
8600             }
8601             break;
8602
8603             /* FLOATING POINT */
8604
8605         case 'F':
8606             c = 'f';            /* maybe %F isn't supported here */
8607             /* FALL THROUGH */
8608         case 'e': case 'E':
8609         case 'f':
8610         case 'g': case 'G':
8611
8612             /* This is evil, but floating point is even more evil */
8613
8614             /* for SV-style calling, we can only get NV
8615                for C-style calling, we assume %f is double;
8616                for simplicity we allow any of %Lf, %llf, %qf for long double
8617             */
8618             switch (intsize) {
8619             case 'V':
8620 #if defined(USE_LONG_DOUBLE)
8621                 intsize = 'q';
8622 #endif
8623                 break;
8624 /* [perl #20339] - we should accept and ignore %lf rather than die */
8625             case 'l':
8626                 /* FALL THROUGH */
8627             default:
8628 #if defined(USE_LONG_DOUBLE)
8629                 intsize = args ? 0 : 'q';
8630 #endif
8631                 break;
8632             case 'q':
8633 #if defined(HAS_LONG_DOUBLE)
8634                 break;
8635 #else
8636                 /* FALL THROUGH */
8637 #endif
8638             case 'h':
8639                 goto unknown;
8640             }
8641
8642             /* now we need (long double) if intsize == 'q', else (double) */
8643             nv = (args && !vectorize) ?
8644 #if LONG_DOUBLESIZE > DOUBLESIZE
8645                 intsize == 'q' ?
8646                     va_arg(*args, long double) :
8647                     va_arg(*args, double)
8648 #else
8649                     va_arg(*args, double)
8650 #endif
8651                 : SvNVx(argsv);
8652
8653             need = 0;
8654             vectorize = FALSE;
8655             if (c != 'e' && c != 'E') {
8656                 i = PERL_INT_MIN;
8657                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
8658                    will cast our (long double) to (double) */
8659                 (void)Perl_frexp(nv, &i);
8660                 if (i == PERL_INT_MIN)
8661                     Perl_die(aTHX_ "panic: frexp");
8662                 if (i > 0)
8663                     need = BIT_DIGITS(i);
8664             }
8665             need += has_precis ? precis : 6; /* known default */
8666
8667             if (need < width)
8668                 need = width;
8669
8670 #ifdef HAS_LDBL_SPRINTF_BUG
8671             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
8672                with sfio - Allen <allens@cpan.org> */
8673
8674 #  ifdef DBL_MAX
8675 #    define MY_DBL_MAX DBL_MAX
8676 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
8677 #    if DOUBLESIZE >= 8
8678 #      define MY_DBL_MAX 1.7976931348623157E+308L
8679 #    else
8680 #      define MY_DBL_MAX 3.40282347E+38L
8681 #    endif
8682 #  endif
8683
8684 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
8685 #    define MY_DBL_MAX_BUG 1L
8686 #  else
8687 #    define MY_DBL_MAX_BUG MY_DBL_MAX
8688 #  endif
8689
8690 #  ifdef DBL_MIN
8691 #    define MY_DBL_MIN DBL_MIN
8692 #  else  /* XXX guessing! -Allen */
8693 #    if DOUBLESIZE >= 8
8694 #      define MY_DBL_MIN 2.2250738585072014E-308L
8695 #    else
8696 #      define MY_DBL_MIN 1.17549435E-38L
8697 #    endif
8698 #  endif
8699
8700             if ((intsize == 'q') && (c == 'f') &&
8701                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
8702                 (need < DBL_DIG)) {
8703                 /* it's going to be short enough that
8704                  * long double precision is not needed */
8705
8706                 if ((nv <= 0L) && (nv >= -0L))
8707                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
8708                 else {
8709                     /* would use Perl_fp_class as a double-check but not
8710                      * functional on IRIX - see perl.h comments */
8711
8712                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
8713                         /* It's within the range that a double can represent */
8714 #if defined(DBL_MAX) && !defined(DBL_MIN)
8715                         if ((nv >= ((long double)1/DBL_MAX)) ||
8716                             (nv <= (-(long double)1/DBL_MAX)))
8717 #endif
8718                         fix_ldbl_sprintf_bug = TRUE;
8719                     }
8720                 }
8721                 if (fix_ldbl_sprintf_bug == TRUE) {
8722                     double temp;
8723
8724                     intsize = 0;
8725                     temp = (double)nv;
8726                     nv = (NV)temp;
8727                 }
8728             }
8729
8730 #  undef MY_DBL_MAX
8731 #  undef MY_DBL_MAX_BUG
8732 #  undef MY_DBL_MIN
8733
8734 #endif /* HAS_LDBL_SPRINTF_BUG */
8735
8736             need += 20; /* fudge factor */
8737             if (PL_efloatsize < need) {
8738                 Safefree(PL_efloatbuf);
8739                 PL_efloatsize = need + 20; /* more fudge */
8740                 Newx(PL_efloatbuf, PL_efloatsize, char);
8741                 PL_efloatbuf[0] = '\0';
8742             }
8743
8744             if ( !(width || left || plus || alt) && fill != '0'
8745                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
8746                 /* See earlier comment about buggy Gconvert when digits,
8747                    aka precis is 0  */
8748                 if ( c == 'g' && precis) {
8749                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
8750                     /* May return an empty string for digits==0 */
8751                     if (*PL_efloatbuf) {
8752                         elen = strlen(PL_efloatbuf);
8753                         goto float_converted;
8754                     }
8755                 } else if ( c == 'f' && !precis) {
8756                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
8757                         break;
8758                 }
8759             }
8760             {
8761                 char *ptr = ebuf + sizeof ebuf;
8762                 *--ptr = '\0';
8763                 *--ptr = c;
8764                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
8765 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
8766                 if (intsize == 'q') {
8767                     /* Copy the one or more characters in a long double
8768                      * format before the 'base' ([efgEFG]) character to
8769                      * the format string. */
8770                     static char const prifldbl[] = PERL_PRIfldbl;
8771                     char const *p = prifldbl + sizeof(prifldbl) - 3;
8772                     while (p >= prifldbl) { *--ptr = *p--; }
8773                 }
8774 #endif
8775                 if (has_precis) {
8776                     base = precis;
8777                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
8778                     *--ptr = '.';
8779                 }
8780                 if (width) {
8781                     base = width;
8782                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
8783                 }
8784                 if (fill == '0')
8785                     *--ptr = fill;
8786                 if (left)
8787                     *--ptr = '-';
8788                 if (plus)
8789                     *--ptr = plus;
8790                 if (alt)
8791                     *--ptr = '#';
8792                 *--ptr = '%';
8793
8794                 /* No taint.  Otherwise we are in the strange situation
8795                  * where printf() taints but print($float) doesn't.
8796                  * --jhi */
8797 #if defined(HAS_LONG_DOUBLE)
8798                 elen = ((intsize == 'q')
8799                         ? my_sprintf(PL_efloatbuf, ptr, nv)
8800                         : my_sprintf(PL_efloatbuf, ptr, (double)nv));
8801 #else
8802                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
8803 #endif
8804             }
8805         float_converted:
8806             eptr = PL_efloatbuf;
8807             break;
8808
8809             /* SPECIAL */
8810
8811         case 'n':
8812             i = SvCUR(sv) - origlen;
8813             if (args && !vectorize) {
8814                 switch (intsize) {
8815                 case 'h':       *(va_arg(*args, short*)) = i; break;
8816                 default:        *(va_arg(*args, int*)) = i; break;
8817                 case 'l':       *(va_arg(*args, long*)) = i; break;
8818                 case 'V':       *(va_arg(*args, IV*)) = i; break;
8819 #ifdef HAS_QUAD
8820                 case 'q':       *(va_arg(*args, Quad_t*)) = i; break;
8821 #endif
8822                 }
8823             }
8824             else
8825                 sv_setuv_mg(argsv, (UV)i);
8826             vectorize = FALSE;
8827             continue;   /* not "break" */
8828
8829             /* UNKNOWN */
8830
8831         default:
8832       unknown:
8833             if (!args
8834                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
8835                 && ckWARN(WARN_PRINTF))
8836             {
8837                 SV * const msg = sv_newmortal();
8838                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
8839                           (PL_op->op_type == OP_PRTF) ? "" : "s");
8840                 if (c) {
8841                     if (isPRINT(c))
8842                         Perl_sv_catpvf(aTHX_ msg,
8843                                        "\"%%%c\"", c & 0xFF);
8844                     else
8845                         Perl_sv_catpvf(aTHX_ msg,
8846                                        "\"%%\\%03"UVof"\"",
8847                                        (UV)c & 0xFF);
8848                 } else
8849                     sv_catpv(msg, "end of string");
8850                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, msg); /* yes, this is reentrant */
8851             }
8852
8853             /* output mangled stuff ... */
8854             if (c == '\0')
8855                 --q;
8856             eptr = p;
8857             elen = q - p;
8858
8859             /* ... right here, because formatting flags should not apply */
8860             SvGROW(sv, SvCUR(sv) + elen + 1);
8861             p = SvEND(sv);
8862             Copy(eptr, p, elen, char);
8863             p += elen;
8864             *p = '\0';
8865             SvCUR_set(sv, p - SvPVX_const(sv));
8866             svix = osvix;
8867             continue;   /* not "break" */
8868         }
8869
8870         /* calculate width before utf8_upgrade changes it */
8871         have = esignlen + zeros + elen;
8872         if (have < zeros)
8873             Perl_croak_nocontext(PL_memory_wrap);
8874
8875         if (is_utf8 != has_utf8) {
8876              if (is_utf8) {
8877                   if (SvCUR(sv))
8878                        sv_utf8_upgrade(sv);
8879              }
8880              else {
8881                   SV * const nsv = sv_2mortal(newSVpvn(eptr, elen));
8882                   sv_utf8_upgrade(nsv);
8883                   eptr = SvPVX_const(nsv);
8884                   elen = SvCUR(nsv);
8885              }
8886              SvGROW(sv, SvCUR(sv) + elen + 1);
8887              p = SvEND(sv);
8888              *p = '\0';
8889         }
8890
8891         need = (have > width ? have : width);
8892         gap = need - have;
8893
8894         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
8895             Perl_croak_nocontext(PL_memory_wrap);
8896         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
8897         p = SvEND(sv);
8898         if (esignlen && fill == '0') {
8899             int i;
8900             for (i = 0; i < (int)esignlen; i++)
8901                 *p++ = esignbuf[i];
8902         }
8903         if (gap && !left) {
8904             memset(p, fill, gap);
8905             p += gap;
8906         }
8907         if (esignlen && fill != '0') {
8908             int i;
8909             for (i = 0; i < (int)esignlen; i++)
8910                 *p++ = esignbuf[i];
8911         }
8912         if (zeros) {
8913             int i;
8914             for (i = zeros; i; i--)
8915                 *p++ = '0';
8916         }
8917         if (elen) {
8918             Copy(eptr, p, elen, char);
8919             p += elen;
8920         }
8921         if (gap && left) {
8922             memset(p, ' ', gap);
8923             p += gap;
8924         }
8925         if (vectorize) {
8926             if (veclen) {
8927                 Copy(dotstr, p, dotstrlen, char);
8928                 p += dotstrlen;
8929             }
8930             else
8931                 vectorize = FALSE;              /* done iterating over vecstr */
8932         }
8933         if (is_utf8)
8934             has_utf8 = TRUE;
8935         if (has_utf8)
8936             SvUTF8_on(sv);
8937         *p = '\0';
8938         SvCUR_set(sv, p - SvPVX_const(sv));
8939         if (vectorize) {
8940             esignlen = 0;
8941             goto vector;
8942         }
8943     }
8944 }
8945
8946 /* =========================================================================
8947
8948 =head1 Cloning an interpreter
8949
8950 All the macros and functions in this section are for the private use of
8951 the main function, perl_clone().
8952
8953 The foo_dup() functions make an exact copy of an existing foo thinngy.
8954 During the course of a cloning, a hash table is used to map old addresses
8955 to new addresses. The table is created and manipulated with the
8956 ptr_table_* functions.
8957
8958 =cut
8959
8960 ============================================================================*/
8961
8962
8963 #if defined(USE_ITHREADS)
8964
8965 #ifndef GpREFCNT_inc
8966 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
8967 #endif
8968
8969
8970 #define sv_dup_inc(s,t) SvREFCNT_inc(sv_dup(s,t))
8971 #define av_dup(s,t)     (AV*)sv_dup((SV*)s,t)
8972 #define av_dup_inc(s,t) (AV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8973 #define hv_dup(s,t)     (HV*)sv_dup((SV*)s,t)
8974 #define hv_dup_inc(s,t) (HV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8975 #define cv_dup(s,t)     (CV*)sv_dup((SV*)s,t)
8976 #define cv_dup_inc(s,t) (CV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8977 #define io_dup(s,t)     (IO*)sv_dup((SV*)s,t)
8978 #define io_dup_inc(s,t) (IO*)SvREFCNT_inc(sv_dup((SV*)s,t))
8979 #define gv_dup(s,t)     (GV*)sv_dup((SV*)s,t)
8980 #define gv_dup_inc(s,t) (GV*)SvREFCNT_inc(sv_dup((SV*)s,t))
8981 #define SAVEPV(p)       (p ? savepv(p) : Nullch)
8982 #define SAVEPVN(p,n)    (p ? savepvn(p,n) : Nullch)
8983
8984
8985 /* Duplicate a regexp. Required reading: pregcomp() and pregfree() in
8986    regcomp.c. AMS 20010712 */
8987
8988 REGEXP *
8989 Perl_re_dup(pTHX_ const REGEXP *r, CLONE_PARAMS *param)
8990 {
8991     dVAR;
8992     REGEXP *ret;
8993     int i, len, npar;
8994     struct reg_substr_datum *s;
8995
8996     if (!r)
8997         return (REGEXP *)NULL;
8998
8999     if ((ret = (REGEXP *)ptr_table_fetch(PL_ptr_table, r)))
9000         return ret;
9001
9002     len = r->offsets[0];
9003     npar = r->nparens+1;
9004
9005     Newxc(ret, sizeof(regexp) + (len+1)*sizeof(regnode), char, regexp);
9006     Copy(r->program, ret->program, len+1, regnode);
9007
9008     Newx(ret->startp, npar, I32);
9009     Copy(r->startp, ret->startp, npar, I32);
9010     Newx(ret->endp, npar, I32);
9011     Copy(r->startp, ret->startp, npar, I32);
9012
9013     Newx(ret->substrs, 1, struct reg_substr_data);
9014     for (s = ret->substrs->data, i = 0; i < 3; i++, s++) {
9015         s->min_offset = r->substrs->data[i].min_offset;
9016         s->max_offset = r->substrs->data[i].max_offset;
9017         s->substr     = sv_dup_inc(r->substrs->data[i].substr, param);
9018         s->utf8_substr = sv_dup_inc(r->substrs->data[i].utf8_substr, param);
9019     }
9020
9021     ret->regstclass = NULL;
9022     if (r->data) {
9023         struct reg_data *d;
9024         const int count = r->data->count;
9025         int i;
9026
9027         Newxc(d, sizeof(struct reg_data) + count*sizeof(void *),
9028                 char, struct reg_data);
9029         Newx(d->what, count, U8);
9030
9031         d->count = count;
9032         for (i = 0; i < count; i++) {
9033             d->what[i] = r->data->what[i];
9034             switch (d->what[i]) {
9035                 /* legal options are one of: sfpont
9036                    see also regcomp.h and pregfree() */
9037             case 's':
9038                 d->data[i] = sv_dup_inc((SV *)r->data->data[i], param);
9039                 break;
9040             case 'p':
9041                 d->data[i] = av_dup_inc((AV *)r->data->data[i], param);
9042                 break;
9043             case 'f':
9044                 /* This is cheating. */
9045                 Newx(d->data[i], 1, struct regnode_charclass_class);
9046                 StructCopy(r->data->data[i], d->data[i],
9047                             struct regnode_charclass_class);
9048                 ret->regstclass = (regnode*)d->data[i];
9049                 break;
9050             case 'o':
9051                 /* Compiled op trees are readonly, and can thus be
9052                    shared without duplication. */
9053                 OP_REFCNT_LOCK;
9054                 d->data[i] = (void*)OpREFCNT_inc((OP*)r->data->data[i]);
9055                 OP_REFCNT_UNLOCK;
9056                 break;
9057             case 'n':
9058                 d->data[i] = r->data->data[i];
9059                 break;
9060             case 't':
9061                 d->data[i] = r->data->data[i];
9062                 OP_REFCNT_LOCK;
9063                 ((reg_trie_data*)d->data[i])->refcount++;
9064                 OP_REFCNT_UNLOCK;
9065                 break;
9066             default:
9067                 Perl_croak(aTHX_ "panic: re_dup unknown data code '%c'", r->data->what[i]);
9068             }
9069         }
9070
9071         ret->data = d;
9072     }
9073     else
9074         ret->data = NULL;
9075
9076     Newx(ret->offsets, 2*len+1, U32);
9077     Copy(r->offsets, ret->offsets, 2*len+1, U32);
9078
9079     ret->precomp        = SAVEPVN(r->precomp, r->prelen);
9080     ret->refcnt         = r->refcnt;
9081     ret->minlen         = r->minlen;
9082     ret->prelen         = r->prelen;
9083     ret->nparens        = r->nparens;
9084     ret->lastparen      = r->lastparen;
9085     ret->lastcloseparen = r->lastcloseparen;
9086     ret->reganch        = r->reganch;
9087
9088     ret->sublen         = r->sublen;
9089
9090     if (RX_MATCH_COPIED(ret))
9091         ret->subbeg  = SAVEPVN(r->subbeg, r->sublen);
9092     else
9093         ret->subbeg = Nullch;
9094 #ifdef PERL_OLD_COPY_ON_WRITE
9095     ret->saved_copy = Nullsv;
9096 #endif
9097
9098     ptr_table_store(PL_ptr_table, r, ret);
9099     return ret;
9100 }
9101
9102 /* duplicate a file handle */
9103
9104 PerlIO *
9105 Perl_fp_dup(pTHX_ PerlIO *fp, char type, CLONE_PARAMS *param)
9106 {
9107     PerlIO *ret;
9108
9109     PERL_UNUSED_ARG(type);
9110
9111     if (!fp)
9112         return (PerlIO*)NULL;
9113
9114     /* look for it in the table first */
9115     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
9116     if (ret)
9117         return ret;
9118
9119     /* create anew and remember what it is */
9120     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
9121     ptr_table_store(PL_ptr_table, fp, ret);
9122     return ret;
9123 }
9124
9125 /* duplicate a directory handle */
9126
9127 DIR *
9128 Perl_dirp_dup(pTHX_ DIR *dp)
9129 {
9130     if (!dp)
9131         return (DIR*)NULL;
9132     /* XXX TODO */
9133     return dp;
9134 }
9135
9136 /* duplicate a typeglob */
9137
9138 GP *
9139 Perl_gp_dup(pTHX_ GP *gp, CLONE_PARAMS* param)
9140 {
9141     GP *ret;
9142     if (!gp)
9143         return (GP*)NULL;
9144     /* look for it in the table first */
9145     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
9146     if (ret)
9147         return ret;
9148
9149     /* create anew and remember what it is */
9150     Newxz(ret, 1, GP);
9151     ptr_table_store(PL_ptr_table, gp, ret);
9152
9153     /* clone */
9154     ret->gp_refcnt      = 0;                    /* must be before any other dups! */
9155     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
9156     ret->gp_io          = io_dup_inc(gp->gp_io, param);
9157     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
9158     ret->gp_av          = av_dup_inc(gp->gp_av, param);
9159     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
9160     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
9161     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
9162     ret->gp_cvgen       = gp->gp_cvgen;
9163     ret->gp_line        = gp->gp_line;
9164     ret->gp_file        = gp->gp_file;          /* points to COP.cop_file */
9165     return ret;
9166 }
9167
9168 /* duplicate a chain of magic */
9169
9170 MAGIC *
9171 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS* param)
9172 {
9173     MAGIC *mgprev = (MAGIC*)NULL;
9174     MAGIC *mgret;
9175     if (!mg)
9176         return (MAGIC*)NULL;
9177     /* look for it in the table first */
9178     mgret = (MAGIC*)ptr_table_fetch(PL_ptr_table, mg);
9179     if (mgret)
9180         return mgret;
9181
9182     for (; mg; mg = mg->mg_moremagic) {
9183         MAGIC *nmg;
9184         Newxz(nmg, 1, MAGIC);
9185         if (mgprev)
9186             mgprev->mg_moremagic = nmg;
9187         else
9188             mgret = nmg;
9189         nmg->mg_virtual = mg->mg_virtual;       /* XXX copy dynamic vtable? */
9190         nmg->mg_private = mg->mg_private;
9191         nmg->mg_type    = mg->mg_type;
9192         nmg->mg_flags   = mg->mg_flags;
9193         if (mg->mg_type == PERL_MAGIC_qr) {
9194             nmg->mg_obj = (SV*)re_dup((REGEXP*)mg->mg_obj, param);
9195         }
9196         else if(mg->mg_type == PERL_MAGIC_backref) {
9197             const AV * const av = (AV*) mg->mg_obj;
9198             SV **svp;
9199             I32 i;
9200             (void)SvREFCNT_inc(nmg->mg_obj = (SV*)newAV());
9201             svp = AvARRAY(av);
9202             for (i = AvFILLp(av); i >= 0; i--) {
9203                 if (!svp[i]) continue;
9204                 av_push((AV*)nmg->mg_obj,sv_dup(svp[i],param));
9205             }
9206         }
9207         else if (mg->mg_type == PERL_MAGIC_symtab) {
9208             nmg->mg_obj = mg->mg_obj;
9209         }
9210         else {
9211             nmg->mg_obj = (mg->mg_flags & MGf_REFCOUNTED)
9212                               ? sv_dup_inc(mg->mg_obj, param)
9213                               : sv_dup(mg->mg_obj, param);
9214         }
9215         nmg->mg_len     = mg->mg_len;
9216         nmg->mg_ptr     = mg->mg_ptr;   /* XXX random ptr? */
9217         if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
9218             if (mg->mg_len > 0) {
9219                 nmg->mg_ptr     = SAVEPVN(mg->mg_ptr, mg->mg_len);
9220                 if (mg->mg_type == PERL_MAGIC_overload_table &&
9221                         AMT_AMAGIC((AMT*)mg->mg_ptr))
9222                 {
9223                     AMT * const amtp = (AMT*)mg->mg_ptr;
9224                     AMT * const namtp = (AMT*)nmg->mg_ptr;
9225                     I32 i;
9226                     for (i = 1; i < NofAMmeth; i++) {
9227                         namtp->table[i] = cv_dup_inc(amtp->table[i], param);
9228                     }
9229                 }
9230             }
9231             else if (mg->mg_len == HEf_SVKEY)
9232                 nmg->mg_ptr     = (char*)sv_dup_inc((SV*)mg->mg_ptr, param);
9233         }
9234         if ((mg->mg_flags & MGf_DUP) && mg->mg_virtual && mg->mg_virtual->svt_dup) {
9235             CALL_FPTR(nmg->mg_virtual->svt_dup)(aTHX_ nmg, param);
9236         }
9237         mgprev = nmg;
9238     }
9239     return mgret;
9240 }
9241
9242 /* create a new pointer-mapping table */
9243
9244 PTR_TBL_t *
9245 Perl_ptr_table_new(pTHX)
9246 {
9247     PTR_TBL_t *tbl;
9248     Newxz(tbl, 1, PTR_TBL_t);
9249     tbl->tbl_max        = 511;
9250     tbl->tbl_items      = 0;
9251     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
9252     return tbl;
9253 }
9254
9255 #if (PTRSIZE == 8)
9256 #  define PTR_TABLE_HASH(ptr) (PTR2UV(ptr) >> 3)
9257 #else
9258 #  define PTR_TABLE_HASH(ptr) (PTR2UV(ptr) >> 2)
9259 #endif
9260
9261 /* 
9262    we use the PTE_SVSLOT 'reservation' made above, both here (in the
9263    following define) and at call to new_body_inline made below in 
9264    Perl_ptr_table_store()
9265  */
9266
9267 #define del_pte(p)     del_body_type(p, PTE_SVSLOT)
9268
9269 /* map an existing pointer using a table */
9270
9271 void *
9272 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *tbl, const void *sv)
9273 {
9274     PTR_TBL_ENT_t *tblent;
9275     const UV hash = PTR_TABLE_HASH(sv);
9276     assert(tbl);
9277     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
9278     for (; tblent; tblent = tblent->next) {
9279         if (tblent->oldval == sv)
9280             return tblent->newval;
9281     }
9282     return (void*)NULL;
9283 }
9284
9285 /* add a new entry to a pointer-mapping table */
9286
9287 void
9288 Perl_ptr_table_store(pTHX_ PTR_TBL_t *tbl, const void *oldsv, void *newsv)
9289 {
9290     PTR_TBL_ENT_t *tblent, **otblent;
9291     /* XXX this may be pessimal on platforms where pointers aren't good
9292      * hash values e.g. if they grow faster in the most significant
9293      * bits */
9294     const UV hash = PTR_TABLE_HASH(oldsv);
9295     bool empty = 1;
9296
9297     assert(tbl);
9298     otblent = &tbl->tbl_ary[hash & tbl->tbl_max];
9299     for (tblent = *otblent; tblent; empty=0, tblent = tblent->next) {
9300         if (tblent->oldval == oldsv) {
9301             tblent->newval = newsv;
9302             return;
9303         }
9304     }
9305     new_body_inline(tblent, sizeof(struct ptr_tbl_ent), PTE_SVSLOT);
9306     tblent->oldval = oldsv;
9307     tblent->newval = newsv;
9308     tblent->next = *otblent;
9309     *otblent = tblent;
9310     tbl->tbl_items++;
9311     if (!empty && tbl->tbl_items > tbl->tbl_max)
9312         ptr_table_split(tbl);
9313 }
9314
9315 /* double the hash bucket size of an existing ptr table */
9316
9317 void
9318 Perl_ptr_table_split(pTHX_ PTR_TBL_t *tbl)
9319 {
9320     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
9321     const UV oldsize = tbl->tbl_max + 1;
9322     UV newsize = oldsize * 2;
9323     UV i;
9324
9325     Renew(ary, newsize, PTR_TBL_ENT_t*);
9326     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
9327     tbl->tbl_max = --newsize;
9328     tbl->tbl_ary = ary;
9329     for (i=0; i < oldsize; i++, ary++) {
9330         PTR_TBL_ENT_t **curentp, **entp, *ent;
9331         if (!*ary)
9332             continue;
9333         curentp = ary + oldsize;
9334         for (entp = ary, ent = *ary; ent; ent = *entp) {
9335             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
9336                 *entp = ent->next;
9337                 ent->next = *curentp;
9338                 *curentp = ent;
9339                 continue;
9340             }
9341             else
9342                 entp = &ent->next;
9343         }
9344     }
9345 }
9346
9347 /* remove all the entries from a ptr table */
9348
9349 void
9350 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *tbl)
9351 {
9352     register PTR_TBL_ENT_t **array;
9353     register PTR_TBL_ENT_t *entry;
9354     UV riter = 0;
9355     UV max;
9356
9357     if (!tbl || !tbl->tbl_items) {
9358         return;
9359     }
9360
9361     array = tbl->tbl_ary;
9362     entry = array[0];
9363     max = tbl->tbl_max;
9364
9365     for (;;) {
9366         if (entry) {
9367             PTR_TBL_ENT_t *oentry = entry;
9368             entry = entry->next;
9369             del_pte(oentry);
9370         }
9371         if (!entry) {
9372             if (++riter > max) {
9373                 break;
9374             }
9375             entry = array[riter];
9376         }
9377     }
9378
9379     tbl->tbl_items = 0;
9380 }
9381
9382 /* clear and free a ptr table */
9383
9384 void
9385 Perl_ptr_table_free(pTHX_ PTR_TBL_t *tbl)
9386 {
9387     if (!tbl) {
9388         return;
9389     }
9390     ptr_table_clear(tbl);
9391     Safefree(tbl->tbl_ary);
9392     Safefree(tbl);
9393 }
9394
9395
9396 void
9397 Perl_rvpv_dup(pTHX_ SV *dstr, SV *sstr, CLONE_PARAMS* param)
9398 {
9399     if (SvROK(sstr)) {
9400         SvRV_set(dstr, SvWEAKREF(sstr)
9401                        ? sv_dup(SvRV(sstr), param)
9402                        : sv_dup_inc(SvRV(sstr), param));
9403
9404     }
9405     else if (SvPVX_const(sstr)) {
9406         /* Has something there */
9407         if (SvLEN(sstr)) {
9408             /* Normal PV - clone whole allocated space */
9409             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
9410             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
9411                 /* Not that normal - actually sstr is copy on write.
9412                    But we are a true, independant SV, so:  */
9413                 SvREADONLY_off(dstr);
9414                 SvFAKE_off(dstr);
9415             }
9416         }
9417         else {
9418             /* Special case - not normally malloced for some reason */
9419             if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
9420                 /* A "shared" PV - clone it as "shared" PV */
9421                 SvPV_set(dstr,
9422                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
9423                                          param)));
9424             }
9425             else {
9426                 /* Some other special case - random pointer */
9427                 SvPV_set(dstr, SvPVX(sstr));            
9428             }
9429         }
9430     }
9431     else {
9432         /* Copy the Null */
9433         if (SvTYPE(dstr) == SVt_RV)
9434             SvRV_set(dstr, NULL);
9435         else
9436             SvPV_set(dstr, 0);
9437     }
9438 }
9439
9440 /* duplicate an SV of any type (including AV, HV etc) */
9441
9442 SV *
9443 Perl_sv_dup(pTHX_ SV *sstr, CLONE_PARAMS* param)
9444 {
9445     dVAR;
9446     SV *dstr;
9447
9448     if (!sstr || SvTYPE(sstr) == SVTYPEMASK)
9449         return Nullsv;
9450     /* look for it in the table first */
9451     dstr = (SV*)ptr_table_fetch(PL_ptr_table, sstr);
9452     if (dstr)
9453         return dstr;
9454
9455     if(param->flags & CLONEf_JOIN_IN) {
9456         /** We are joining here so we don't want do clone
9457             something that is bad **/
9458         const char *hvname;
9459
9460         if(SvTYPE(sstr) == SVt_PVHV &&
9461            (hvname = HvNAME_get(sstr))) {
9462             /** don't clone stashes if they already exist **/
9463             return (SV*)gv_stashpv(hvname,0);
9464         }
9465     }
9466
9467     /* create anew and remember what it is */
9468     new_SV(dstr);
9469
9470 #ifdef DEBUG_LEAKING_SCALARS
9471     dstr->sv_debug_optype = sstr->sv_debug_optype;
9472     dstr->sv_debug_line = sstr->sv_debug_line;
9473     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
9474     dstr->sv_debug_cloned = 1;
9475 #  ifdef NETWARE
9476     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
9477 #  else
9478     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
9479 #  endif
9480 #endif
9481
9482     ptr_table_store(PL_ptr_table, sstr, dstr);
9483
9484     /* clone */
9485     SvFLAGS(dstr)       = SvFLAGS(sstr);
9486     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
9487     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
9488
9489 #ifdef DEBUGGING
9490     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
9491         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
9492                       PL_watch_pvx, SvPVX_const(sstr));
9493 #endif
9494
9495     /* don't clone objects whose class has asked us not to */
9496     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
9497         SvFLAGS(dstr) &= ~SVTYPEMASK;
9498         SvOBJECT_off(dstr);
9499         return dstr;
9500     }
9501
9502     switch (SvTYPE(sstr)) {
9503     case SVt_NULL:
9504         SvANY(dstr)     = NULL;
9505         break;
9506     case SVt_IV:
9507         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
9508         SvIV_set(dstr, SvIVX(sstr));
9509         break;
9510     case SVt_NV:
9511         SvANY(dstr)     = new_XNV();
9512         SvNV_set(dstr, SvNVX(sstr));
9513         break;
9514     case SVt_RV:
9515         SvANY(dstr)     = &(dstr->sv_u.svu_rv);
9516         Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9517         break;
9518     default:
9519         {
9520             /* These are all the types that need complex bodies allocating.  */
9521             void *new_body;
9522             const svtype sv_type = SvTYPE(sstr);
9523             const struct body_details *const sv_type_details
9524                 = bodies_by_type + sv_type;
9525
9526             switch (sv_type) {
9527             default:
9528                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]",
9529                            (IV)SvTYPE(sstr));
9530                 break;
9531
9532             case SVt_PVGV:
9533                 if (GvUNIQUE((GV*)sstr)) {
9534                     /* Do sharing here, and fall through */
9535                 }
9536             case SVt_PVIO:
9537             case SVt_PVFM:
9538             case SVt_PVHV:
9539             case SVt_PVAV:
9540             case SVt_PVBM:
9541             case SVt_PVCV:
9542             case SVt_PVLV:
9543             case SVt_PVMG:
9544             case SVt_PVNV:
9545             case SVt_PVIV:
9546             case SVt_PV:
9547                 assert(sv_type_details->copy);
9548                 if (sv_type_details->arena) {
9549                     new_body_inline(new_body, sv_type_details->copy, sv_type);
9550                     new_body
9551                         = (void*)((char*)new_body - sv_type_details->offset);
9552                 } else {
9553                     new_body = new_NOARENA(sv_type_details);
9554                 }
9555             }
9556             assert(new_body);
9557             SvANY(dstr) = new_body;
9558
9559 #ifndef PURIFY
9560             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
9561                  ((char*)SvANY(dstr)) + sv_type_details->offset,
9562                  sv_type_details->copy, char);
9563 #else
9564             Copy(((char*)SvANY(sstr)),
9565                  ((char*)SvANY(dstr)),
9566                  sv_type_details->size + sv_type_details->offset, char);
9567 #endif
9568
9569             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV)
9570                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
9571
9572             /* The Copy above means that all the source (unduplicated) pointers
9573                are now in the destination.  We can check the flags and the
9574                pointers in either, but it's possible that there's less cache
9575                missing by always going for the destination.
9576                FIXME - instrument and check that assumption  */
9577             if (sv_type >= SVt_PVMG) {
9578                 if (SvMAGIC(dstr))
9579                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
9580                 if (SvSTASH(dstr))
9581                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
9582             }
9583
9584             /* The cast silences a GCC warning about unhandled types.  */
9585             switch ((int)sv_type) {
9586             case SVt_PV:
9587                 break;
9588             case SVt_PVIV:
9589                 break;
9590             case SVt_PVNV:
9591                 break;
9592             case SVt_PVMG:
9593                 break;
9594             case SVt_PVBM:
9595                 break;
9596             case SVt_PVLV:
9597                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
9598                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
9599                     LvTARG(dstr) = dstr;
9600                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
9601                     LvTARG(dstr) = (SV*)he_dup((HE*)LvTARG(dstr), 0, param);
9602                 else
9603                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
9604                 break;
9605             case SVt_PVGV:
9606                 GvNAME(dstr)    = SAVEPVN(GvNAME(dstr), GvNAMELEN(dstr));
9607                 GvSTASH(dstr)   = hv_dup(GvSTASH(dstr), param);
9608                 /* Don't call sv_add_backref here as it's going to be created
9609                    as part of the magic cloning of the symbol table.  */
9610                 GvGP(dstr)      = gp_dup(GvGP(dstr), param);
9611                 (void)GpREFCNT_inc(GvGP(dstr));
9612                 break;
9613             case SVt_PVIO:
9614                 IoIFP(dstr)     = fp_dup(IoIFP(dstr), IoTYPE(dstr), param);
9615                 if (IoOFP(dstr) == IoIFP(sstr))
9616                     IoOFP(dstr) = IoIFP(dstr);
9617                 else
9618                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
9619                 /* PL_rsfp_filters entries have fake IoDIRP() */
9620                 if (IoDIRP(dstr) && !(IoFLAGS(dstr) & IOf_FAKE_DIRP))
9621                     IoDIRP(dstr)        = dirp_dup(IoDIRP(dstr));
9622                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
9623                     /* I have no idea why fake dirp (rsfps)
9624                        should be treated differently but otherwise
9625                        we end up with leaks -- sky*/
9626                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
9627                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
9628                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
9629                 } else {
9630                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
9631                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
9632                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
9633                 }
9634                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
9635                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
9636                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
9637                 break;
9638             case SVt_PVAV:
9639                 if (AvARRAY((AV*)sstr)) {
9640                     SV **dst_ary, **src_ary;
9641                     SSize_t items = AvFILLp((AV*)sstr) + 1;
9642
9643                     src_ary = AvARRAY((AV*)sstr);
9644                     Newxz(dst_ary, AvMAX((AV*)sstr)+1, SV*);
9645                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
9646                     SvPV_set(dstr, (char*)dst_ary);
9647                     AvALLOC((AV*)dstr) = dst_ary;
9648                     if (AvREAL((AV*)sstr)) {
9649                         while (items-- > 0)
9650                             *dst_ary++ = sv_dup_inc(*src_ary++, param);
9651                     }
9652                     else {
9653                         while (items-- > 0)
9654                             *dst_ary++ = sv_dup(*src_ary++, param);
9655                     }
9656                     items = AvMAX((AV*)sstr) - AvFILLp((AV*)sstr);
9657                     while (items-- > 0) {
9658                         *dst_ary++ = &PL_sv_undef;
9659                     }
9660                 }
9661                 else {
9662                     SvPV_set(dstr, Nullch);
9663                     AvALLOC((AV*)dstr)  = (SV**)NULL;
9664                 }
9665                 break;
9666             case SVt_PVHV:
9667                 {
9668                     HEK *hvname = 0;
9669
9670                     if (HvARRAY((HV*)sstr)) {
9671                         STRLEN i = 0;
9672                         const bool sharekeys = !!HvSHAREKEYS(sstr);
9673                         XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
9674                         XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
9675                         char *darray;
9676                         Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
9677                             + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
9678                             char);
9679                         HvARRAY(dstr) = (HE**)darray;
9680                         while (i <= sxhv->xhv_max) {
9681                             const HE *source = HvARRAY(sstr)[i];
9682                             HvARRAY(dstr)[i] = source
9683                                 ? he_dup(source, sharekeys, param) : 0;
9684                             ++i;
9685                         }
9686                         if (SvOOK(sstr)) {
9687                             struct xpvhv_aux *saux = HvAUX(sstr);
9688                             struct xpvhv_aux *daux = HvAUX(dstr);
9689                             /* This flag isn't copied.  */
9690                             /* SvOOK_on(hv) attacks the IV flags.  */
9691                             SvFLAGS(dstr) |= SVf_OOK;
9692
9693                             hvname = saux->xhv_name;
9694                             daux->xhv_name
9695                                 = hvname ? hek_dup(hvname, param) : hvname;
9696
9697                             daux->xhv_riter = saux->xhv_riter;
9698                             daux->xhv_eiter = saux->xhv_eiter
9699                                 ? he_dup(saux->xhv_eiter,
9700                                          (bool)!!HvSHAREKEYS(sstr), param) : 0;
9701                         }
9702                     }
9703                     else {
9704                         SvPV_set(dstr, Nullch);
9705                     }
9706                     /* Record stashes for possible cloning in Perl_clone(). */
9707                     if(hvname)
9708                         av_push(param->stashes, dstr);
9709                 }
9710                 break;
9711             case SVt_PVFM:
9712             case SVt_PVCV:
9713                 /* NOTE: not refcounted */
9714                 CvSTASH(dstr)   = hv_dup(CvSTASH(dstr), param);
9715                 OP_REFCNT_LOCK;
9716                 CvROOT(dstr)    = OpREFCNT_inc(CvROOT(dstr));
9717                 OP_REFCNT_UNLOCK;
9718                 if (CvCONST(dstr)) {
9719                     CvXSUBANY(dstr).any_ptr = GvUNIQUE(CvGV(dstr)) ?
9720                         SvREFCNT_inc(CvXSUBANY(dstr).any_ptr) :
9721                         sv_dup_inc((SV *)CvXSUBANY(dstr).any_ptr, param);
9722                 }
9723                 /* don't dup if copying back - CvGV isn't refcounted, so the
9724                  * duped GV may never be freed. A bit of a hack! DAPM */
9725                 CvGV(dstr)      = (param->flags & CLONEf_JOIN_IN) ?
9726                     Nullgv : gv_dup(CvGV(dstr), param) ;
9727                 if (!(param->flags & CLONEf_COPY_STACKS)) {
9728                     CvDEPTH(dstr) = 0;
9729                 }
9730                 PAD_DUP(CvPADLIST(dstr), CvPADLIST(sstr), param);
9731                 CvOUTSIDE(dstr) =
9732                     CvWEAKOUTSIDE(sstr)
9733                     ? cv_dup(    CvOUTSIDE(dstr), param)
9734                     : cv_dup_inc(CvOUTSIDE(dstr), param);
9735                 if (!CvXSUB(dstr))
9736                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
9737                 break;
9738             }
9739         }
9740     }
9741
9742     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
9743         ++PL_sv_objcount;
9744
9745     return dstr;
9746  }
9747
9748 /* duplicate a context */
9749
9750 PERL_CONTEXT *
9751 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
9752 {
9753     PERL_CONTEXT *ncxs;
9754
9755     if (!cxs)
9756         return (PERL_CONTEXT*)NULL;
9757
9758     /* look for it in the table first */
9759     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
9760     if (ncxs)
9761         return ncxs;
9762
9763     /* create anew and remember what it is */
9764     Newxz(ncxs, max + 1, PERL_CONTEXT);
9765     ptr_table_store(PL_ptr_table, cxs, ncxs);
9766
9767     while (ix >= 0) {
9768         PERL_CONTEXT *cx = &cxs[ix];
9769         PERL_CONTEXT *ncx = &ncxs[ix];
9770         ncx->cx_type    = cx->cx_type;
9771         if (CxTYPE(cx) == CXt_SUBST) {
9772             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
9773         }
9774         else {
9775             ncx->blk_oldsp      = cx->blk_oldsp;
9776             ncx->blk_oldcop     = cx->blk_oldcop;
9777             ncx->blk_oldmarksp  = cx->blk_oldmarksp;
9778             ncx->blk_oldscopesp = cx->blk_oldscopesp;
9779             ncx->blk_oldpm      = cx->blk_oldpm;
9780             ncx->blk_gimme      = cx->blk_gimme;
9781             switch (CxTYPE(cx)) {
9782             case CXt_SUB:
9783                 ncx->blk_sub.cv         = (cx->blk_sub.olddepth == 0
9784                                            ? cv_dup_inc(cx->blk_sub.cv, param)
9785                                            : cv_dup(cx->blk_sub.cv,param));
9786                 ncx->blk_sub.argarray   = (cx->blk_sub.hasargs
9787                                            ? av_dup_inc(cx->blk_sub.argarray, param)
9788                                            : Nullav);
9789                 ncx->blk_sub.savearray  = av_dup_inc(cx->blk_sub.savearray, param);
9790                 ncx->blk_sub.olddepth   = cx->blk_sub.olddepth;
9791                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
9792                 ncx->blk_sub.lval       = cx->blk_sub.lval;
9793                 ncx->blk_sub.retop      = cx->blk_sub.retop;
9794                 break;
9795             case CXt_EVAL:
9796                 ncx->blk_eval.old_in_eval = cx->blk_eval.old_in_eval;
9797                 ncx->blk_eval.old_op_type = cx->blk_eval.old_op_type;
9798                 ncx->blk_eval.old_namesv = sv_dup_inc(cx->blk_eval.old_namesv, param);
9799                 ncx->blk_eval.old_eval_root = cx->blk_eval.old_eval_root;
9800                 ncx->blk_eval.cur_text  = sv_dup(cx->blk_eval.cur_text, param);
9801                 ncx->blk_eval.retop = cx->blk_eval.retop;
9802                 break;
9803             case CXt_LOOP:
9804                 ncx->blk_loop.label     = cx->blk_loop.label;
9805                 ncx->blk_loop.resetsp   = cx->blk_loop.resetsp;
9806                 ncx->blk_loop.redo_op   = cx->blk_loop.redo_op;
9807                 ncx->blk_loop.next_op   = cx->blk_loop.next_op;
9808                 ncx->blk_loop.last_op   = cx->blk_loop.last_op;
9809                 ncx->blk_loop.iterdata  = (CxPADLOOP(cx)
9810                                            ? cx->blk_loop.iterdata
9811                                            : gv_dup((GV*)cx->blk_loop.iterdata, param));
9812                 ncx->blk_loop.oldcomppad
9813                     = (PAD*)ptr_table_fetch(PL_ptr_table,
9814                                             cx->blk_loop.oldcomppad);
9815                 ncx->blk_loop.itersave  = sv_dup_inc(cx->blk_loop.itersave, param);
9816                 ncx->blk_loop.iterlval  = sv_dup_inc(cx->blk_loop.iterlval, param);
9817                 ncx->blk_loop.iterary   = av_dup_inc(cx->blk_loop.iterary, param);
9818                 ncx->blk_loop.iterix    = cx->blk_loop.iterix;
9819                 ncx->blk_loop.itermax   = cx->blk_loop.itermax;
9820                 break;
9821             case CXt_FORMAT:
9822                 ncx->blk_sub.cv         = cv_dup(cx->blk_sub.cv, param);
9823                 ncx->blk_sub.gv         = gv_dup(cx->blk_sub.gv, param);
9824                 ncx->blk_sub.dfoutgv    = gv_dup_inc(cx->blk_sub.dfoutgv, param);
9825                 ncx->blk_sub.hasargs    = cx->blk_sub.hasargs;
9826                 ncx->blk_sub.retop      = cx->blk_sub.retop;
9827                 break;
9828             case CXt_BLOCK:
9829             case CXt_NULL:
9830                 break;
9831             }
9832         }
9833         --ix;
9834     }
9835     return ncxs;
9836 }
9837
9838 /* duplicate a stack info structure */
9839
9840 PERL_SI *
9841 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
9842 {
9843     PERL_SI *nsi;
9844
9845     if (!si)
9846         return (PERL_SI*)NULL;
9847
9848     /* look for it in the table first */
9849     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
9850     if (nsi)
9851         return nsi;
9852
9853     /* create anew and remember what it is */
9854     Newxz(nsi, 1, PERL_SI);
9855     ptr_table_store(PL_ptr_table, si, nsi);
9856
9857     nsi->si_stack       = av_dup_inc(si->si_stack, param);
9858     nsi->si_cxix        = si->si_cxix;
9859     nsi->si_cxmax       = si->si_cxmax;
9860     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
9861     nsi->si_type        = si->si_type;
9862     nsi->si_prev        = si_dup(si->si_prev, param);
9863     nsi->si_next        = si_dup(si->si_next, param);
9864     nsi->si_markoff     = si->si_markoff;
9865
9866     return nsi;
9867 }
9868
9869 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
9870 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
9871 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
9872 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
9873 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
9874 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
9875 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
9876 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
9877 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
9878 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
9879 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
9880 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
9881 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
9882 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
9883
9884 /* XXXXX todo */
9885 #define pv_dup_inc(p)   SAVEPV(p)
9886 #define pv_dup(p)       SAVEPV(p)
9887 #define svp_dup_inc(p,pp)       any_dup(p,pp)
9888
9889 /* map any object to the new equivent - either something in the
9890  * ptr table, or something in the interpreter structure
9891  */
9892
9893 void *
9894 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
9895 {
9896     void *ret;
9897
9898     if (!v)
9899         return (void*)NULL;
9900
9901     /* look for it in the table first */
9902     ret = ptr_table_fetch(PL_ptr_table, v);
9903     if (ret)
9904         return ret;
9905
9906     /* see if it is part of the interpreter structure */
9907     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
9908         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
9909     else {
9910         ret = v;
9911     }
9912
9913     return ret;
9914 }
9915
9916 /* duplicate the save stack */
9917
9918 ANY *
9919 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
9920 {
9921     ANY * const ss      = proto_perl->Tsavestack;
9922     const I32 max       = proto_perl->Tsavestack_max;
9923     I32 ix              = proto_perl->Tsavestack_ix;
9924     ANY *nss;
9925     SV *sv;
9926     GV *gv;
9927     AV *av;
9928     HV *hv;
9929     void* ptr;
9930     int intval;
9931     long longval;
9932     GP *gp;
9933     IV iv;
9934     char *c = NULL;
9935     void (*dptr) (void*);
9936     void (*dxptr) (pTHX_ void*);
9937
9938     Newxz(nss, max, ANY);
9939
9940     while (ix > 0) {
9941         I32 i = POPINT(ss,ix);
9942         TOPINT(nss,ix) = i;
9943         switch (i) {
9944         case SAVEt_ITEM:                        /* normal string */
9945             sv = (SV*)POPPTR(ss,ix);
9946             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9947             sv = (SV*)POPPTR(ss,ix);
9948             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9949             break;
9950         case SAVEt_SV:                          /* scalar reference */
9951             sv = (SV*)POPPTR(ss,ix);
9952             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9953             gv = (GV*)POPPTR(ss,ix);
9954             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
9955             break;
9956         case SAVEt_GENERIC_PVREF:               /* generic char* */
9957             c = (char*)POPPTR(ss,ix);
9958             TOPPTR(nss,ix) = pv_dup(c);
9959             ptr = POPPTR(ss,ix);
9960             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9961             break;
9962         case SAVEt_SHARED_PVREF:                /* char* in shared space */
9963             c = (char*)POPPTR(ss,ix);
9964             TOPPTR(nss,ix) = savesharedpv(c);
9965             ptr = POPPTR(ss,ix);
9966             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9967             break;
9968         case SAVEt_GENERIC_SVREF:               /* generic sv */
9969         case SAVEt_SVREF:                       /* scalar reference */
9970             sv = (SV*)POPPTR(ss,ix);
9971             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
9972             ptr = POPPTR(ss,ix);
9973             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
9974             break;
9975         case SAVEt_AV:                          /* array reference */
9976             av = (AV*)POPPTR(ss,ix);
9977             TOPPTR(nss,ix) = av_dup_inc(av, param);
9978             gv = (GV*)POPPTR(ss,ix);
9979             TOPPTR(nss,ix) = gv_dup(gv, param);
9980             break;
9981         case SAVEt_HV:                          /* hash reference */
9982             hv = (HV*)POPPTR(ss,ix);
9983             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
9984             gv = (GV*)POPPTR(ss,ix);
9985             TOPPTR(nss,ix) = gv_dup(gv, param);
9986             break;
9987         case SAVEt_INT:                         /* int reference */
9988             ptr = POPPTR(ss,ix);
9989             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9990             intval = (int)POPINT(ss,ix);
9991             TOPINT(nss,ix) = intval;
9992             break;
9993         case SAVEt_LONG:                        /* long reference */
9994             ptr = POPPTR(ss,ix);
9995             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
9996             longval = (long)POPLONG(ss,ix);
9997             TOPLONG(nss,ix) = longval;
9998             break;
9999         case SAVEt_I32:                         /* I32 reference */
10000         case SAVEt_I16:                         /* I16 reference */
10001         case SAVEt_I8:                          /* I8 reference */
10002             ptr = POPPTR(ss,ix);
10003             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10004             i = POPINT(ss,ix);
10005             TOPINT(nss,ix) = i;
10006             break;
10007         case SAVEt_IV:                          /* IV reference */
10008             ptr = POPPTR(ss,ix);
10009             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10010             iv = POPIV(ss,ix);
10011             TOPIV(nss,ix) = iv;
10012             break;
10013         case SAVEt_SPTR:                        /* SV* reference */
10014             ptr = POPPTR(ss,ix);
10015             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10016             sv = (SV*)POPPTR(ss,ix);
10017             TOPPTR(nss,ix) = sv_dup(sv, param);
10018             break;
10019         case SAVEt_VPTR:                        /* random* reference */
10020             ptr = POPPTR(ss,ix);
10021             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10022             ptr = POPPTR(ss,ix);
10023             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10024             break;
10025         case SAVEt_PPTR:                        /* char* reference */
10026             ptr = POPPTR(ss,ix);
10027             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10028             c = (char*)POPPTR(ss,ix);
10029             TOPPTR(nss,ix) = pv_dup(c);
10030             break;
10031         case SAVEt_HPTR:                        /* HV* reference */
10032             ptr = POPPTR(ss,ix);
10033             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10034             hv = (HV*)POPPTR(ss,ix);
10035             TOPPTR(nss,ix) = hv_dup(hv, param);
10036             break;
10037         case SAVEt_APTR:                        /* AV* reference */
10038             ptr = POPPTR(ss,ix);
10039             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10040             av = (AV*)POPPTR(ss,ix);
10041             TOPPTR(nss,ix) = av_dup(av, param);
10042             break;
10043         case SAVEt_NSTAB:
10044             gv = (GV*)POPPTR(ss,ix);
10045             TOPPTR(nss,ix) = gv_dup(gv, param);
10046             break;
10047         case SAVEt_GP:                          /* scalar reference */
10048             gp = (GP*)POPPTR(ss,ix);
10049             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
10050             (void)GpREFCNT_inc(gp);
10051             gv = (GV*)POPPTR(ss,ix);
10052             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
10053             c = (char*)POPPTR(ss,ix);
10054             TOPPTR(nss,ix) = pv_dup(c);
10055             iv = POPIV(ss,ix);
10056             TOPIV(nss,ix) = iv;
10057             iv = POPIV(ss,ix);
10058             TOPIV(nss,ix) = iv;
10059             break;
10060         case SAVEt_FREESV:
10061         case SAVEt_MORTALIZESV:
10062             sv = (SV*)POPPTR(ss,ix);
10063             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10064             break;
10065         case SAVEt_FREEOP:
10066             ptr = POPPTR(ss,ix);
10067             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
10068                 /* these are assumed to be refcounted properly */
10069                 OP *o;
10070                 switch (((OP*)ptr)->op_type) {
10071                 case OP_LEAVESUB:
10072                 case OP_LEAVESUBLV:
10073                 case OP_LEAVEEVAL:
10074                 case OP_LEAVE:
10075                 case OP_SCOPE:
10076                 case OP_LEAVEWRITE:
10077                     TOPPTR(nss,ix) = ptr;
10078                     o = (OP*)ptr;
10079                     OpREFCNT_inc(o);
10080                     break;
10081                 default:
10082                     TOPPTR(nss,ix) = Nullop;
10083                     break;
10084                 }
10085             }
10086             else
10087                 TOPPTR(nss,ix) = Nullop;
10088             break;
10089         case SAVEt_FREEPV:
10090             c = (char*)POPPTR(ss,ix);
10091             TOPPTR(nss,ix) = pv_dup_inc(c);
10092             break;
10093         case SAVEt_CLEARSV:
10094             longval = POPLONG(ss,ix);
10095             TOPLONG(nss,ix) = longval;
10096             break;
10097         case SAVEt_DELETE:
10098             hv = (HV*)POPPTR(ss,ix);
10099             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10100             c = (char*)POPPTR(ss,ix);
10101             TOPPTR(nss,ix) = pv_dup_inc(c);
10102             i = POPINT(ss,ix);
10103             TOPINT(nss,ix) = i;
10104             break;
10105         case SAVEt_DESTRUCTOR:
10106             ptr = POPPTR(ss,ix);
10107             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10108             dptr = POPDPTR(ss,ix);
10109             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
10110                                         any_dup(FPTR2DPTR(void *, dptr),
10111                                                 proto_perl));
10112             break;
10113         case SAVEt_DESTRUCTOR_X:
10114             ptr = POPPTR(ss,ix);
10115             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
10116             dxptr = POPDXPTR(ss,ix);
10117             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
10118                                          any_dup(FPTR2DPTR(void *, dxptr),
10119                                                  proto_perl));
10120             break;
10121         case SAVEt_REGCONTEXT:
10122         case SAVEt_ALLOC:
10123             i = POPINT(ss,ix);
10124             TOPINT(nss,ix) = i;
10125             ix -= i;
10126             break;
10127         case SAVEt_STACK_POS:           /* Position on Perl stack */
10128             i = POPINT(ss,ix);
10129             TOPINT(nss,ix) = i;
10130             break;
10131         case SAVEt_AELEM:               /* array element */
10132             sv = (SV*)POPPTR(ss,ix);
10133             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10134             i = POPINT(ss,ix);
10135             TOPINT(nss,ix) = i;
10136             av = (AV*)POPPTR(ss,ix);
10137             TOPPTR(nss,ix) = av_dup_inc(av, param);
10138             break;
10139         case SAVEt_HELEM:               /* hash element */
10140             sv = (SV*)POPPTR(ss,ix);
10141             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10142             sv = (SV*)POPPTR(ss,ix);
10143             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
10144             hv = (HV*)POPPTR(ss,ix);
10145             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
10146             break;
10147         case SAVEt_OP:
10148             ptr = POPPTR(ss,ix);
10149             TOPPTR(nss,ix) = ptr;
10150             break;
10151         case SAVEt_HINTS:
10152             i = POPINT(ss,ix);
10153             TOPINT(nss,ix) = i;
10154             break;
10155         case SAVEt_COMPPAD:
10156             av = (AV*)POPPTR(ss,ix);
10157             TOPPTR(nss,ix) = av_dup(av, param);
10158             break;
10159         case SAVEt_PADSV:
10160             longval = (long)POPLONG(ss,ix);
10161             TOPLONG(nss,ix) = longval;
10162             ptr = POPPTR(ss,ix);
10163             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10164             sv = (SV*)POPPTR(ss,ix);
10165             TOPPTR(nss,ix) = sv_dup(sv, param);
10166             break;
10167         case SAVEt_BOOL:
10168             ptr = POPPTR(ss,ix);
10169             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
10170             longval = (long)POPBOOL(ss,ix);
10171             TOPBOOL(nss,ix) = (bool)longval;
10172             break;
10173         case SAVEt_SET_SVFLAGS:
10174             i = POPINT(ss,ix);
10175             TOPINT(nss,ix) = i;
10176             i = POPINT(ss,ix);
10177             TOPINT(nss,ix) = i;
10178             sv = (SV*)POPPTR(ss,ix);
10179             TOPPTR(nss,ix) = sv_dup(sv, param);
10180             break;
10181         default:
10182             Perl_croak(aTHX_ "panic: ss_dup inconsistency");
10183         }
10184     }
10185
10186     return nss;
10187 }
10188
10189
10190 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
10191  * flag to the result. This is done for each stash before cloning starts,
10192  * so we know which stashes want their objects cloned */
10193
10194 static void
10195 do_mark_cloneable_stash(pTHX_ SV *sv)
10196 {
10197     const HEK * const hvname = HvNAME_HEK((HV*)sv);
10198     if (hvname) {
10199         GV* const cloner = gv_fetchmethod_autoload((HV*)sv, "CLONE_SKIP", 0);
10200         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
10201         if (cloner && GvCV(cloner)) {
10202             dSP;
10203             UV status;
10204
10205             ENTER;
10206             SAVETMPS;
10207             PUSHMARK(SP);
10208             XPUSHs(sv_2mortal(newSVhek(hvname)));
10209             PUTBACK;
10210             call_sv((SV*)GvCV(cloner), G_SCALAR);
10211             SPAGAIN;
10212             status = POPu;
10213             PUTBACK;
10214             FREETMPS;
10215             LEAVE;
10216             if (status)
10217                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
10218         }
10219     }
10220 }
10221
10222
10223
10224 /*
10225 =for apidoc perl_clone
10226
10227 Create and return a new interpreter by cloning the current one.
10228
10229 perl_clone takes these flags as parameters:
10230
10231 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
10232 without it we only clone the data and zero the stacks,
10233 with it we copy the stacks and the new perl interpreter is
10234 ready to run at the exact same point as the previous one.
10235 The pseudo-fork code uses COPY_STACKS while the
10236 threads->new doesn't.
10237
10238 CLONEf_KEEP_PTR_TABLE
10239 perl_clone keeps a ptr_table with the pointer of the old
10240 variable as a key and the new variable as a value,
10241 this allows it to check if something has been cloned and not
10242 clone it again but rather just use the value and increase the
10243 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
10244 the ptr_table using the function
10245 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
10246 reason to keep it around is if you want to dup some of your own
10247 variable who are outside the graph perl scans, example of this
10248 code is in threads.xs create
10249
10250 CLONEf_CLONE_HOST
10251 This is a win32 thing, it is ignored on unix, it tells perls
10252 win32host code (which is c++) to clone itself, this is needed on
10253 win32 if you want to run two threads at the same time,
10254 if you just want to do some stuff in a separate perl interpreter
10255 and then throw it away and return to the original one,
10256 you don't need to do anything.
10257
10258 =cut
10259 */
10260
10261 /* XXX the above needs expanding by someone who actually understands it ! */
10262 EXTERN_C PerlInterpreter *
10263 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
10264
10265 PerlInterpreter *
10266 perl_clone(PerlInterpreter *proto_perl, UV flags)
10267 {
10268    dVAR;
10269 #ifdef PERL_IMPLICIT_SYS
10270
10271    /* perlhost.h so we need to call into it
10272    to clone the host, CPerlHost should have a c interface, sky */
10273
10274    if (flags & CLONEf_CLONE_HOST) {
10275        return perl_clone_host(proto_perl,flags);
10276    }
10277    return perl_clone_using(proto_perl, flags,
10278                             proto_perl->IMem,
10279                             proto_perl->IMemShared,
10280                             proto_perl->IMemParse,
10281                             proto_perl->IEnv,
10282                             proto_perl->IStdIO,
10283                             proto_perl->ILIO,
10284                             proto_perl->IDir,
10285                             proto_perl->ISock,
10286                             proto_perl->IProc);
10287 }
10288
10289 PerlInterpreter *
10290 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
10291                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
10292                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
10293                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
10294                  struct IPerlDir* ipD, struct IPerlSock* ipS,
10295                  struct IPerlProc* ipP)
10296 {
10297     /* XXX many of the string copies here can be optimized if they're
10298      * constants; they need to be allocated as common memory and just
10299      * their pointers copied. */
10300
10301     IV i;
10302     CLONE_PARAMS clone_params;
10303     CLONE_PARAMS* param = &clone_params;
10304
10305     PerlInterpreter *my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
10306     /* for each stash, determine whether its objects should be cloned */
10307     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10308     PERL_SET_THX(my_perl);
10309
10310 #  ifdef DEBUGGING
10311     Poison(my_perl, 1, PerlInterpreter);
10312     PL_op = Nullop;
10313     PL_curcop = (COP *)Nullop;
10314     PL_markstack = 0;
10315     PL_scopestack = 0;
10316     PL_savestack = 0;
10317     PL_savestack_ix = 0;
10318     PL_savestack_max = -1;
10319     PL_sig_pending = 0;
10320     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10321 #  else /* !DEBUGGING */
10322     Zero(my_perl, 1, PerlInterpreter);
10323 #  endif        /* DEBUGGING */
10324
10325     /* host pointers */
10326     PL_Mem              = ipM;
10327     PL_MemShared        = ipMS;
10328     PL_MemParse         = ipMP;
10329     PL_Env              = ipE;
10330     PL_StdIO            = ipStd;
10331     PL_LIO              = ipLIO;
10332     PL_Dir              = ipD;
10333     PL_Sock             = ipS;
10334     PL_Proc             = ipP;
10335 #else           /* !PERL_IMPLICIT_SYS */
10336     IV i;
10337     CLONE_PARAMS clone_params;
10338     CLONE_PARAMS* param = &clone_params;
10339     PerlInterpreter *my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
10340     /* for each stash, determine whether its objects should be cloned */
10341     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
10342     PERL_SET_THX(my_perl);
10343
10344 #    ifdef DEBUGGING
10345     Poison(my_perl, 1, PerlInterpreter);
10346     PL_op = Nullop;
10347     PL_curcop = (COP *)Nullop;
10348     PL_markstack = 0;
10349     PL_scopestack = 0;
10350     PL_savestack = 0;
10351     PL_savestack_ix = 0;
10352     PL_savestack_max = -1;
10353     PL_sig_pending = 0;
10354     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
10355 #    else       /* !DEBUGGING */
10356     Zero(my_perl, 1, PerlInterpreter);
10357 #    endif      /* DEBUGGING */
10358 #endif          /* PERL_IMPLICIT_SYS */
10359     param->flags = flags;
10360     param->proto_perl = proto_perl;
10361
10362     Zero(&PL_body_arenaroots, 1, PL_body_arenaroots);
10363     Zero(&PL_body_roots, 1, PL_body_roots);
10364     
10365     PL_nice_chunk       = NULL;
10366     PL_nice_chunk_size  = 0;
10367     PL_sv_count         = 0;
10368     PL_sv_objcount      = 0;
10369     PL_sv_root          = Nullsv;
10370     PL_sv_arenaroot     = Nullsv;
10371
10372     PL_debug            = proto_perl->Idebug;
10373
10374     PL_hash_seed        = proto_perl->Ihash_seed;
10375     PL_rehash_seed      = proto_perl->Irehash_seed;
10376
10377 #ifdef USE_REENTRANT_API
10378     /* XXX: things like -Dm will segfault here in perlio, but doing
10379      *  PERL_SET_CONTEXT(proto_perl);
10380      * breaks too many other things
10381      */
10382     Perl_reentrant_init(aTHX);
10383 #endif
10384
10385     /* create SV map for pointer relocation */
10386     PL_ptr_table = ptr_table_new();
10387
10388     /* initialize these special pointers as early as possible */
10389     SvANY(&PL_sv_undef)         = NULL;
10390     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
10391     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
10392     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
10393
10394     SvANY(&PL_sv_no)            = new_XPVNV();
10395     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
10396     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10397                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10398     SvPV_set(&PL_sv_no, SAVEPVN(PL_No, 0));
10399     SvCUR_set(&PL_sv_no, 0);
10400     SvLEN_set(&PL_sv_no, 1);
10401     SvIV_set(&PL_sv_no, 0);
10402     SvNV_set(&PL_sv_no, 0);
10403     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
10404
10405     SvANY(&PL_sv_yes)           = new_XPVNV();
10406     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
10407     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
10408                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
10409     SvPV_set(&PL_sv_yes, SAVEPVN(PL_Yes, 1));
10410     SvCUR_set(&PL_sv_yes, 1);
10411     SvLEN_set(&PL_sv_yes, 2);
10412     SvIV_set(&PL_sv_yes, 1);
10413     SvNV_set(&PL_sv_yes, 1);
10414     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
10415
10416     /* create (a non-shared!) shared string table */
10417     PL_strtab           = newHV();
10418     HvSHAREKEYS_off(PL_strtab);
10419     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
10420     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
10421
10422     PL_compiling = proto_perl->Icompiling;
10423
10424     /* These two PVs will be free'd special way so must set them same way op.c does */
10425     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
10426     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
10427
10428     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
10429     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
10430
10431     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
10432     if (!specialWARN(PL_compiling.cop_warnings))
10433         PL_compiling.cop_warnings = sv_dup_inc(PL_compiling.cop_warnings, param);
10434     if (!specialCopIO(PL_compiling.cop_io))
10435         PL_compiling.cop_io = sv_dup_inc(PL_compiling.cop_io, param);
10436     PL_curcop           = (COP*)any_dup(proto_perl->Tcurcop, proto_perl);
10437
10438     /* pseudo environmental stuff */
10439     PL_origargc         = proto_perl->Iorigargc;
10440     PL_origargv         = proto_perl->Iorigargv;
10441
10442     param->stashes      = newAV();  /* Setup array of objects to call clone on */
10443
10444     /* Set tainting stuff before PerlIO_debug can possibly get called */
10445     PL_tainting         = proto_perl->Itainting;
10446     PL_taint_warn       = proto_perl->Itaint_warn;
10447
10448 #ifdef PERLIO_LAYERS
10449     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
10450     PerlIO_clone(aTHX_ proto_perl, param);
10451 #endif
10452
10453     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
10454     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
10455     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
10456     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
10457     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
10458     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
10459
10460     /* switches */
10461     PL_minus_c          = proto_perl->Iminus_c;
10462     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
10463     PL_localpatches     = proto_perl->Ilocalpatches;
10464     PL_splitstr         = proto_perl->Isplitstr;
10465     PL_preprocess       = proto_perl->Ipreprocess;
10466     PL_minus_n          = proto_perl->Iminus_n;
10467     PL_minus_p          = proto_perl->Iminus_p;
10468     PL_minus_l          = proto_perl->Iminus_l;
10469     PL_minus_a          = proto_perl->Iminus_a;
10470     PL_minus_F          = proto_perl->Iminus_F;
10471     PL_doswitches       = proto_perl->Idoswitches;
10472     PL_dowarn           = proto_perl->Idowarn;
10473     PL_doextract        = proto_perl->Idoextract;
10474     PL_sawampersand     = proto_perl->Isawampersand;
10475     PL_unsafe           = proto_perl->Iunsafe;
10476     PL_inplace          = SAVEPV(proto_perl->Iinplace);
10477     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
10478     PL_perldb           = proto_perl->Iperldb;
10479     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
10480     PL_exit_flags       = proto_perl->Iexit_flags;
10481
10482     /* magical thingies */
10483     /* XXX time(&PL_basetime) when asked for? */
10484     PL_basetime         = proto_perl->Ibasetime;
10485     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
10486
10487     PL_maxsysfd         = proto_perl->Imaxsysfd;
10488     PL_multiline        = proto_perl->Imultiline;
10489     PL_statusvalue      = proto_perl->Istatusvalue;
10490 #ifdef VMS
10491     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
10492 #else
10493     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
10494 #endif
10495     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
10496
10497     sv_setpvn(PERL_DEBUG_PAD(0), "", 0);        /* For regex debugging. */
10498     sv_setpvn(PERL_DEBUG_PAD(1), "", 0);        /* ext/re needs these */
10499     sv_setpvn(PERL_DEBUG_PAD(2), "", 0);        /* even without DEBUGGING. */
10500
10501     /* Clone the regex array */
10502     PL_regex_padav = newAV();
10503     {
10504         const I32 len = av_len((AV*)proto_perl->Iregex_padav);
10505         SV** const regexen = AvARRAY((AV*)proto_perl->Iregex_padav);
10506         IV i;
10507         av_push(PL_regex_padav,
10508                 sv_dup_inc(regexen[0],param));
10509         for(i = 1; i <= len; i++) {
10510             if(SvREPADTMP(regexen[i])) {
10511               av_push(PL_regex_padav, sv_dup_inc(regexen[i], param));
10512             } else {
10513                 av_push(PL_regex_padav,
10514                     SvREFCNT_inc(
10515                         newSViv(PTR2IV(re_dup(INT2PTR(REGEXP *,
10516                              SvIVX(regexen[i])), param)))
10517                        ));
10518             }
10519         }
10520     }
10521     PL_regex_pad = AvARRAY(PL_regex_padav);
10522
10523     /* shortcuts to various I/O objects */
10524     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
10525     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
10526     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
10527     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
10528     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
10529     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
10530
10531     /* shortcuts to regexp stuff */
10532     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
10533
10534     /* shortcuts to misc objects */
10535     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
10536
10537     /* shortcuts to debugging objects */
10538     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
10539     PL_DBline           = gv_dup(proto_perl->IDBline, param);
10540     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
10541     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
10542     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
10543     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
10544     PL_DBassertion      = sv_dup(proto_perl->IDBassertion, param);
10545     PL_lineary          = av_dup(proto_perl->Ilineary, param);
10546     PL_dbargs           = av_dup(proto_perl->Idbargs, param);
10547
10548     /* symbol tables */
10549     PL_defstash         = hv_dup_inc(proto_perl->Tdefstash, param);
10550     PL_curstash         = hv_dup(proto_perl->Tcurstash, param);
10551     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
10552     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
10553     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
10554
10555     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
10556     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
10557     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
10558     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
10559     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
10560     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
10561
10562     PL_sub_generation   = proto_perl->Isub_generation;
10563
10564     /* funky return mechanisms */
10565     PL_forkprocess      = proto_perl->Iforkprocess;
10566
10567     /* subprocess state */
10568     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
10569
10570     /* internal state */
10571     PL_maxo             = proto_perl->Imaxo;
10572     if (proto_perl->Iop_mask)
10573         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
10574     else
10575         PL_op_mask      = Nullch;
10576     /* PL_asserting        = proto_perl->Iasserting; */
10577
10578     /* current interpreter roots */
10579     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
10580     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
10581     PL_main_start       = proto_perl->Imain_start;
10582     PL_eval_root        = proto_perl->Ieval_root;
10583     PL_eval_start       = proto_perl->Ieval_start;
10584
10585     /* runtime control stuff */
10586     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
10587     PL_copline          = proto_perl->Icopline;
10588
10589     PL_filemode         = proto_perl->Ifilemode;
10590     PL_lastfd           = proto_perl->Ilastfd;
10591     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
10592     PL_Argv             = NULL;
10593     PL_Cmd              = Nullch;
10594     PL_gensym           = proto_perl->Igensym;
10595     PL_preambled        = proto_perl->Ipreambled;
10596     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
10597     PL_laststatval      = proto_perl->Ilaststatval;
10598     PL_laststype        = proto_perl->Ilaststype;
10599     PL_mess_sv          = Nullsv;
10600
10601     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
10602
10603     /* interpreter atexit processing */
10604     PL_exitlistlen      = proto_perl->Iexitlistlen;
10605     if (PL_exitlistlen) {
10606         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
10607         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
10608     }
10609     else
10610         PL_exitlist     = (PerlExitListEntry*)NULL;
10611     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
10612     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
10613     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
10614
10615     PL_profiledata      = NULL;
10616     PL_rsfp             = fp_dup(proto_perl->Irsfp, '<', param);
10617     /* PL_rsfp_filters entries have fake IoDIRP() */
10618     PL_rsfp_filters     = av_dup_inc(proto_perl->Irsfp_filters, param);
10619
10620     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
10621
10622     PAD_CLONE_VARS(proto_perl, param);
10623
10624 #ifdef HAVE_INTERP_INTERN
10625     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
10626 #endif
10627
10628     /* more statics moved here */
10629     PL_generation       = proto_perl->Igeneration;
10630     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
10631
10632     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
10633     PL_in_clean_all     = proto_perl->Iin_clean_all;
10634
10635     PL_uid              = proto_perl->Iuid;
10636     PL_euid             = proto_perl->Ieuid;
10637     PL_gid              = proto_perl->Igid;
10638     PL_egid             = proto_perl->Iegid;
10639     PL_nomemok          = proto_perl->Inomemok;
10640     PL_an               = proto_perl->Ian;
10641     PL_evalseq          = proto_perl->Ievalseq;
10642     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
10643     PL_origalen         = proto_perl->Iorigalen;
10644 #ifdef PERL_USES_PL_PIDSTATUS
10645     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
10646 #endif
10647     PL_osname           = SAVEPV(proto_perl->Iosname);
10648     PL_sighandlerp      = proto_perl->Isighandlerp;
10649
10650     PL_runops           = proto_perl->Irunops;
10651
10652     Copy(proto_perl->Itokenbuf, PL_tokenbuf, 256, char);
10653
10654 #ifdef CSH
10655     PL_cshlen           = proto_perl->Icshlen;
10656     PL_cshname          = proto_perl->Icshname; /* XXX never deallocated */
10657 #endif
10658
10659     PL_lex_state        = proto_perl->Ilex_state;
10660     PL_lex_defer        = proto_perl->Ilex_defer;
10661     PL_lex_expect       = proto_perl->Ilex_expect;
10662     PL_lex_formbrack    = proto_perl->Ilex_formbrack;
10663     PL_lex_dojoin       = proto_perl->Ilex_dojoin;
10664     PL_lex_starts       = proto_perl->Ilex_starts;
10665     PL_lex_stuff        = sv_dup_inc(proto_perl->Ilex_stuff, param);
10666     PL_lex_repl         = sv_dup_inc(proto_perl->Ilex_repl, param);
10667     PL_lex_op           = proto_perl->Ilex_op;
10668     PL_lex_inpat        = proto_perl->Ilex_inpat;
10669     PL_lex_inwhat       = proto_perl->Ilex_inwhat;
10670     PL_lex_brackets     = proto_perl->Ilex_brackets;
10671     i = (PL_lex_brackets < 120 ? 120 : PL_lex_brackets);
10672     PL_lex_brackstack   = SAVEPVN(proto_perl->Ilex_brackstack,i);
10673     PL_lex_casemods     = proto_perl->Ilex_casemods;
10674     i = (PL_lex_casemods < 12 ? 12 : PL_lex_casemods);
10675     PL_lex_casestack    = SAVEPVN(proto_perl->Ilex_casestack,i);
10676
10677     Copy(proto_perl->Inextval, PL_nextval, 5, YYSTYPE);
10678     Copy(proto_perl->Inexttype, PL_nexttype, 5, I32);
10679     PL_nexttoke         = proto_perl->Inexttoke;
10680
10681     /* XXX This is probably masking the deeper issue of why
10682      * SvANY(proto_perl->Ilinestr) can be NULL at this point. For test case:
10683      * http://archive.develooper.com/perl5-porters%40perl.org/msg83298.html
10684      * (A little debugging with a watchpoint on it may help.)
10685      */
10686     if (SvANY(proto_perl->Ilinestr)) {
10687         PL_linestr              = sv_dup_inc(proto_perl->Ilinestr, param);
10688         i = proto_perl->Ibufptr - SvPVX_const(proto_perl->Ilinestr);
10689         PL_bufptr               = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10690         i = proto_perl->Ioldbufptr - SvPVX_const(proto_perl->Ilinestr);
10691         PL_oldbufptr    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10692         i = proto_perl->Ioldoldbufptr - SvPVX_const(proto_perl->Ilinestr);
10693         PL_oldoldbufptr = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10694         i = proto_perl->Ilinestart - SvPVX_const(proto_perl->Ilinestr);
10695         PL_linestart    = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10696     }
10697     else {
10698         PL_linestr = NEWSV(65,79);
10699         sv_upgrade(PL_linestr,SVt_PVIV);
10700         sv_setpvn(PL_linestr,"",0);
10701         PL_bufptr = PL_oldbufptr = PL_oldoldbufptr = PL_linestart = SvPVX(PL_linestr);
10702     }
10703     PL_bufend           = SvPVX(PL_linestr) + SvCUR(PL_linestr);
10704     PL_pending_ident    = proto_perl->Ipending_ident;
10705     PL_sublex_info      = proto_perl->Isublex_info;     /* XXX not quite right */
10706
10707     PL_expect           = proto_perl->Iexpect;
10708
10709     PL_multi_start      = proto_perl->Imulti_start;
10710     PL_multi_end        = proto_perl->Imulti_end;
10711     PL_multi_open       = proto_perl->Imulti_open;
10712     PL_multi_close      = proto_perl->Imulti_close;
10713
10714     PL_error_count      = proto_perl->Ierror_count;
10715     PL_subline          = proto_perl->Isubline;
10716     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
10717
10718     /* XXX See comment on SvANY(proto_perl->Ilinestr) above */
10719     if (SvANY(proto_perl->Ilinestr)) {
10720         i = proto_perl->Ilast_uni - SvPVX_const(proto_perl->Ilinestr);
10721         PL_last_uni             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10722         i = proto_perl->Ilast_lop - SvPVX_const(proto_perl->Ilinestr);
10723         PL_last_lop             = SvPVX(PL_linestr) + (i < 0 ? 0 : i);
10724         PL_last_lop_op  = proto_perl->Ilast_lop_op;
10725     }
10726     else {
10727         PL_last_uni     = SvPVX(PL_linestr);
10728         PL_last_lop     = SvPVX(PL_linestr);
10729         PL_last_lop_op  = 0;
10730     }
10731     PL_in_my            = proto_perl->Iin_my;
10732     PL_in_my_stash      = hv_dup(proto_perl->Iin_my_stash, param);
10733 #ifdef FCRYPT
10734     PL_cryptseen        = proto_perl->Icryptseen;
10735 #endif
10736
10737     PL_hints            = proto_perl->Ihints;
10738
10739     PL_amagic_generation        = proto_perl->Iamagic_generation;
10740
10741 #ifdef USE_LOCALE_COLLATE
10742     PL_collation_ix     = proto_perl->Icollation_ix;
10743     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
10744     PL_collation_standard       = proto_perl->Icollation_standard;
10745     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
10746     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
10747 #endif /* USE_LOCALE_COLLATE */
10748
10749 #ifdef USE_LOCALE_NUMERIC
10750     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
10751     PL_numeric_standard = proto_perl->Inumeric_standard;
10752     PL_numeric_local    = proto_perl->Inumeric_local;
10753     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
10754 #endif /* !USE_LOCALE_NUMERIC */
10755
10756     /* utf8 character classes */
10757     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
10758     PL_utf8_alnumc      = sv_dup_inc(proto_perl->Iutf8_alnumc, param);
10759     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
10760     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
10761     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
10762     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
10763     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
10764     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
10765     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
10766     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
10767     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
10768     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
10769     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
10770     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
10771     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
10772     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
10773     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
10774     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
10775     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
10776     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
10777
10778     /* Did the locale setup indicate UTF-8? */
10779     PL_utf8locale       = proto_perl->Iutf8locale;
10780     /* Unicode features (see perlrun/-C) */
10781     PL_unicode          = proto_perl->Iunicode;
10782
10783     /* Pre-5.8 signals control */
10784     PL_signals          = proto_perl->Isignals;
10785
10786     /* times() ticks per second */
10787     PL_clocktick        = proto_perl->Iclocktick;
10788
10789     /* Recursion stopper for PerlIO_find_layer */
10790     PL_in_load_module   = proto_perl->Iin_load_module;
10791
10792     /* sort() routine */
10793     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
10794
10795     /* Not really needed/useful since the reenrant_retint is "volatile",
10796      * but do it for consistency's sake. */
10797     PL_reentrant_retint = proto_perl->Ireentrant_retint;
10798
10799     /* Hooks to shared SVs and locks. */
10800     PL_sharehook        = proto_perl->Isharehook;
10801     PL_lockhook         = proto_perl->Ilockhook;
10802     PL_unlockhook       = proto_perl->Iunlockhook;
10803     PL_threadhook       = proto_perl->Ithreadhook;
10804
10805     PL_runops_std       = proto_perl->Irunops_std;
10806     PL_runops_dbg       = proto_perl->Irunops_dbg;
10807
10808 #ifdef THREADS_HAVE_PIDS
10809     PL_ppid             = proto_perl->Ippid;
10810 #endif
10811
10812     /* swatch cache */
10813     PL_last_swash_hv    = Nullhv;       /* reinits on demand */
10814     PL_last_swash_klen  = 0;
10815     PL_last_swash_key[0]= '\0';
10816     PL_last_swash_tmps  = (U8*)NULL;
10817     PL_last_swash_slen  = 0;
10818
10819     PL_glob_index       = proto_perl->Iglob_index;
10820     PL_srand_called     = proto_perl->Isrand_called;
10821     PL_uudmap['M']      = 0;            /* reinits on demand */
10822     PL_bitcount         = Nullch;       /* reinits on demand */
10823
10824     if (proto_perl->Ipsig_pend) {
10825         Newxz(PL_psig_pend, SIG_SIZE, int);
10826     }
10827     else {
10828         PL_psig_pend    = (int*)NULL;
10829     }
10830
10831     if (proto_perl->Ipsig_ptr) {
10832         Newxz(PL_psig_ptr,  SIG_SIZE, SV*);
10833         Newxz(PL_psig_name, SIG_SIZE, SV*);
10834         for (i = 1; i < SIG_SIZE; i++) {
10835             PL_psig_ptr[i]  = sv_dup_inc(proto_perl->Ipsig_ptr[i], param);
10836             PL_psig_name[i] = sv_dup_inc(proto_perl->Ipsig_name[i], param);
10837         }
10838     }
10839     else {
10840         PL_psig_ptr     = (SV**)NULL;
10841         PL_psig_name    = (SV**)NULL;
10842     }
10843
10844     /* thrdvar.h stuff */
10845
10846     if (flags & CLONEf_COPY_STACKS) {
10847         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
10848         PL_tmps_ix              = proto_perl->Ttmps_ix;
10849         PL_tmps_max             = proto_perl->Ttmps_max;
10850         PL_tmps_floor           = proto_perl->Ttmps_floor;
10851         Newxz(PL_tmps_stack, PL_tmps_max, SV*);
10852         i = 0;
10853         while (i <= PL_tmps_ix) {
10854             PL_tmps_stack[i]    = sv_dup_inc(proto_perl->Ttmps_stack[i], param);
10855             ++i;
10856         }
10857
10858         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
10859         i = proto_perl->Tmarkstack_max - proto_perl->Tmarkstack;
10860         Newxz(PL_markstack, i, I32);
10861         PL_markstack_max        = PL_markstack + (proto_perl->Tmarkstack_max
10862                                                   - proto_perl->Tmarkstack);
10863         PL_markstack_ptr        = PL_markstack + (proto_perl->Tmarkstack_ptr
10864                                                   - proto_perl->Tmarkstack);
10865         Copy(proto_perl->Tmarkstack, PL_markstack,
10866              PL_markstack_ptr - PL_markstack + 1, I32);
10867
10868         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
10869          * NOTE: unlike the others! */
10870         PL_scopestack_ix        = proto_perl->Tscopestack_ix;
10871         PL_scopestack_max       = proto_perl->Tscopestack_max;
10872         Newxz(PL_scopestack, PL_scopestack_max, I32);
10873         Copy(proto_perl->Tscopestack, PL_scopestack, PL_scopestack_ix, I32);
10874
10875         /* NOTE: si_dup() looks at PL_markstack */
10876         PL_curstackinfo         = si_dup(proto_perl->Tcurstackinfo, param);
10877
10878         /* PL_curstack          = PL_curstackinfo->si_stack; */
10879         PL_curstack             = av_dup(proto_perl->Tcurstack, param);
10880         PL_mainstack            = av_dup(proto_perl->Tmainstack, param);
10881
10882         /* next PUSHs() etc. set *(PL_stack_sp+1) */
10883         PL_stack_base           = AvARRAY(PL_curstack);
10884         PL_stack_sp             = PL_stack_base + (proto_perl->Tstack_sp
10885                                                    - proto_perl->Tstack_base);
10886         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
10887
10888         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
10889          * NOTE: unlike the others! */
10890         PL_savestack_ix         = proto_perl->Tsavestack_ix;
10891         PL_savestack_max        = proto_perl->Tsavestack_max;
10892         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
10893         PL_savestack            = ss_dup(proto_perl, param);
10894     }
10895     else {
10896         init_stacks();
10897         ENTER;                  /* perl_destruct() wants to LEAVE; */
10898     }
10899
10900     PL_start_env        = proto_perl->Tstart_env;       /* XXXXXX */
10901     PL_top_env          = &PL_start_env;
10902
10903     PL_op               = proto_perl->Top;
10904
10905     PL_Sv               = Nullsv;
10906     PL_Xpv              = (XPV*)NULL;
10907     PL_na               = proto_perl->Tna;
10908
10909     PL_statbuf          = proto_perl->Tstatbuf;
10910     PL_statcache        = proto_perl->Tstatcache;
10911     PL_statgv           = gv_dup(proto_perl->Tstatgv, param);
10912     PL_statname         = sv_dup_inc(proto_perl->Tstatname, param);
10913 #ifdef HAS_TIMES
10914     PL_timesbuf         = proto_perl->Ttimesbuf;
10915 #endif
10916
10917     PL_tainted          = proto_perl->Ttainted;
10918     PL_curpm            = proto_perl->Tcurpm;   /* XXX No PMOP ref count */
10919     PL_rs               = sv_dup_inc(proto_perl->Trs, param);
10920     PL_last_in_gv       = gv_dup(proto_perl->Tlast_in_gv, param);
10921     PL_ofs_sv           = sv_dup_inc(proto_perl->Tofs_sv, param);
10922     PL_defoutgv         = gv_dup_inc(proto_perl->Tdefoutgv, param);
10923     PL_chopset          = proto_perl->Tchopset; /* XXX never deallocated */
10924     PL_toptarget        = sv_dup_inc(proto_perl->Ttoptarget, param);
10925     PL_bodytarget       = sv_dup_inc(proto_perl->Tbodytarget, param);
10926     PL_formtarget       = sv_dup(proto_perl->Tformtarget, param);
10927
10928     PL_restartop        = proto_perl->Trestartop;
10929     PL_in_eval          = proto_perl->Tin_eval;
10930     PL_delaymagic       = proto_perl->Tdelaymagic;
10931     PL_dirty            = proto_perl->Tdirty;
10932     PL_localizing       = proto_perl->Tlocalizing;
10933
10934     PL_errors           = sv_dup_inc(proto_perl->Terrors, param);
10935     PL_hv_fetch_ent_mh  = Nullhe;
10936     PL_modcount         = proto_perl->Tmodcount;
10937     PL_lastgotoprobe    = Nullop;
10938     PL_dumpindent       = proto_perl->Tdumpindent;
10939
10940     PL_sortcop          = (OP*)any_dup(proto_perl->Tsortcop, proto_perl);
10941     PL_sortstash        = hv_dup(proto_perl->Tsortstash, param);
10942     PL_firstgv          = gv_dup(proto_perl->Tfirstgv, param);
10943     PL_secondgv         = gv_dup(proto_perl->Tsecondgv, param);
10944     PL_efloatbuf        = Nullch;               /* reinits on demand */
10945     PL_efloatsize       = 0;                    /* reinits on demand */
10946
10947     /* regex stuff */
10948
10949     PL_screamfirst      = NULL;
10950     PL_screamnext       = NULL;
10951     PL_maxscream        = -1;                   /* reinits on demand */
10952     PL_lastscream       = Nullsv;
10953
10954     PL_watchaddr        = NULL;
10955     PL_watchok          = Nullch;
10956
10957     PL_regdummy         = proto_perl->Tregdummy;
10958     PL_regprecomp       = Nullch;
10959     PL_regnpar          = 0;
10960     PL_regsize          = 0;
10961     PL_colorset         = 0;            /* reinits PL_colors[] */
10962     /*PL_colors[6]      = {0,0,0,0,0,0};*/
10963     PL_reginput         = Nullch;
10964     PL_regbol           = Nullch;
10965     PL_regeol           = Nullch;
10966     PL_regstartp        = (I32*)NULL;
10967     PL_regendp          = (I32*)NULL;
10968     PL_reglastparen     = (U32*)NULL;
10969     PL_reglastcloseparen        = (U32*)NULL;
10970     PL_regtill          = Nullch;
10971     PL_reg_start_tmp    = (char**)NULL;
10972     PL_reg_start_tmpl   = 0;
10973     PL_regdata          = (struct reg_data*)NULL;
10974     PL_bostr            = Nullch;
10975     PL_reg_flags        = 0;
10976     PL_reg_eval_set     = 0;
10977     PL_regnarrate       = 0;
10978     PL_regprogram       = (regnode*)NULL;
10979     PL_regindent        = 0;
10980     PL_regcc            = (CURCUR*)NULL;
10981     PL_reg_call_cc      = (struct re_cc_state*)NULL;
10982     PL_reg_re           = (regexp*)NULL;
10983     PL_reg_ganch        = Nullch;
10984     PL_reg_sv           = Nullsv;
10985     PL_reg_match_utf8   = FALSE;
10986     PL_reg_magic        = (MAGIC*)NULL;
10987     PL_reg_oldpos       = 0;
10988     PL_reg_oldcurpm     = (PMOP*)NULL;
10989     PL_reg_curpm        = (PMOP*)NULL;
10990     PL_reg_oldsaved     = Nullch;
10991     PL_reg_oldsavedlen  = 0;
10992 #ifdef PERL_OLD_COPY_ON_WRITE
10993     PL_nrs              = Nullsv;
10994 #endif
10995     PL_reg_maxiter      = 0;
10996     PL_reg_leftiter     = 0;
10997     PL_reg_poscache     = Nullch;
10998     PL_reg_poscache_size= 0;
10999
11000     /* RE engine - function pointers */
11001     PL_regcompp         = proto_perl->Tregcompp;
11002     PL_regexecp         = proto_perl->Tregexecp;
11003     PL_regint_start     = proto_perl->Tregint_start;
11004     PL_regint_string    = proto_perl->Tregint_string;
11005     PL_regfree          = proto_perl->Tregfree;
11006
11007     PL_reginterp_cnt    = 0;
11008     PL_reg_starttry     = 0;
11009
11010     /* Pluggable optimizer */
11011     PL_peepp            = proto_perl->Tpeepp;
11012
11013     PL_stashcache       = newHV();
11014
11015     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
11016         ptr_table_free(PL_ptr_table);
11017         PL_ptr_table = NULL;
11018     }
11019
11020     /* Call the ->CLONE method, if it exists, for each of the stashes
11021        identified by sv_dup() above.
11022     */
11023     while(av_len(param->stashes) != -1) {
11024         HV* const stash = (HV*) av_shift(param->stashes);
11025         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
11026         if (cloner && GvCV(cloner)) {
11027             dSP;
11028             ENTER;
11029             SAVETMPS;
11030             PUSHMARK(SP);
11031             XPUSHs(sv_2mortal(newSVhek(HvNAME_HEK(stash))));
11032             PUTBACK;
11033             call_sv((SV*)GvCV(cloner), G_DISCARD);
11034             FREETMPS;
11035             LEAVE;
11036         }
11037     }
11038
11039     SvREFCNT_dec(param->stashes);
11040
11041     /* orphaned? eg threads->new inside BEGIN or use */
11042     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
11043         (void)SvREFCNT_inc(PL_compcv);
11044         SAVEFREESV(PL_compcv);
11045     }
11046
11047     return my_perl;
11048 }
11049
11050 #endif /* USE_ITHREADS */
11051
11052 /*
11053 =head1 Unicode Support
11054
11055 =for apidoc sv_recode_to_utf8
11056
11057 The encoding is assumed to be an Encode object, on entry the PV
11058 of the sv is assumed to be octets in that encoding, and the sv
11059 will be converted into Unicode (and UTF-8).
11060
11061 If the sv already is UTF-8 (or if it is not POK), or if the encoding
11062 is not a reference, nothing is done to the sv.  If the encoding is not
11063 an C<Encode::XS> Encoding object, bad things will happen.
11064 (See F<lib/encoding.pm> and L<Encode>).
11065
11066 The PV of the sv is returned.
11067
11068 =cut */
11069
11070 char *
11071 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
11072 {
11073     dVAR;
11074     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
11075         SV *uni;
11076         STRLEN len;
11077         const char *s;
11078         dSP;
11079         ENTER;
11080         SAVETMPS;
11081         save_re_context();
11082         PUSHMARK(sp);
11083         EXTEND(SP, 3);
11084         XPUSHs(encoding);
11085         XPUSHs(sv);
11086 /*
11087   NI-S 2002/07/09
11088   Passing sv_yes is wrong - it needs to be or'ed set of constants
11089   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
11090   remove converted chars from source.
11091
11092   Both will default the value - let them.
11093
11094         XPUSHs(&PL_sv_yes);
11095 */
11096         PUTBACK;
11097         call_method("decode", G_SCALAR);
11098         SPAGAIN;
11099         uni = POPs;
11100         PUTBACK;
11101         s = SvPV_const(uni, len);
11102         if (s != SvPVX_const(sv)) {
11103             SvGROW(sv, len + 1);
11104             Move(s, SvPVX(sv), len + 1, char);
11105             SvCUR_set(sv, len);
11106         }
11107         FREETMPS;
11108         LEAVE;
11109         SvUTF8_on(sv);
11110         return SvPVX(sv);
11111     }
11112     return SvPOKp(sv) ? SvPVX(sv) : NULL;
11113 }
11114
11115 /*
11116 =for apidoc sv_cat_decode
11117
11118 The encoding is assumed to be an Encode object, the PV of the ssv is
11119 assumed to be octets in that encoding and decoding the input starts
11120 from the position which (PV + *offset) pointed to.  The dsv will be
11121 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
11122 when the string tstr appears in decoding output or the input ends on
11123 the PV of the ssv. The value which the offset points will be modified
11124 to the last input position on the ssv.
11125
11126 Returns TRUE if the terminator was found, else returns FALSE.
11127
11128 =cut */
11129
11130 bool
11131 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
11132                    SV *ssv, int *offset, char *tstr, int tlen)
11133 {
11134     dVAR;
11135     bool ret = FALSE;
11136     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
11137         SV *offsv;
11138         dSP;
11139         ENTER;
11140         SAVETMPS;
11141         save_re_context();
11142         PUSHMARK(sp);
11143         EXTEND(SP, 6);
11144         XPUSHs(encoding);
11145         XPUSHs(dsv);
11146         XPUSHs(ssv);
11147         XPUSHs(offsv = sv_2mortal(newSViv(*offset)));
11148         XPUSHs(sv_2mortal(newSVpvn(tstr, tlen)));
11149         PUTBACK;
11150         call_method("cat_decode", G_SCALAR);
11151         SPAGAIN;
11152         ret = SvTRUE(TOPs);
11153         *offset = SvIV(offsv);
11154         PUTBACK;
11155         FREETMPS;
11156         LEAVE;
11157     }
11158     else
11159         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
11160     return ret;
11161
11162 }
11163
11164 /* ---------------------------------------------------------------------
11165  *
11166  * support functions for report_uninit()
11167  */
11168
11169 /* the maxiumum size of array or hash where we will scan looking
11170  * for the undefined element that triggered the warning */
11171
11172 #define FUV_MAX_SEARCH_SIZE 1000
11173
11174 /* Look for an entry in the hash whose value has the same SV as val;
11175  * If so, return a mortal copy of the key. */
11176
11177 STATIC SV*
11178 S_find_hash_subscript(pTHX_ HV *hv, SV* val)
11179 {
11180     dVAR;
11181     register HE **array;
11182     I32 i;
11183
11184     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
11185                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
11186         return Nullsv;
11187
11188     array = HvARRAY(hv);
11189
11190     for (i=HvMAX(hv); i>0; i--) {
11191         register HE *entry;
11192         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
11193             if (HeVAL(entry) != val)
11194                 continue;
11195             if (    HeVAL(entry) == &PL_sv_undef ||
11196                     HeVAL(entry) == &PL_sv_placeholder)
11197                 continue;
11198             if (!HeKEY(entry))
11199                 return Nullsv;
11200             if (HeKLEN(entry) == HEf_SVKEY)
11201                 return sv_mortalcopy(HeKEY_sv(entry));
11202             return sv_2mortal(newSVpvn(HeKEY(entry), HeKLEN(entry)));
11203         }
11204     }
11205     return Nullsv;
11206 }
11207
11208 /* Look for an entry in the array whose value has the same SV as val;
11209  * If so, return the index, otherwise return -1. */
11210
11211 STATIC I32
11212 S_find_array_subscript(pTHX_ AV *av, SV* val)
11213 {
11214     SV** svp;
11215     I32 i;
11216     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
11217                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
11218         return -1;
11219
11220     svp = AvARRAY(av);
11221     for (i=AvFILLp(av); i>=0; i--) {
11222         if (svp[i] == val && svp[i] != &PL_sv_undef)
11223             return i;
11224     }
11225     return -1;
11226 }
11227
11228 /* S_varname(): return the name of a variable, optionally with a subscript.
11229  * If gv is non-zero, use the name of that global, along with gvtype (one
11230  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
11231  * targ.  Depending on the value of the subscript_type flag, return:
11232  */
11233
11234 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
11235 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
11236 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
11237 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
11238
11239 STATIC SV*
11240 S_varname(pTHX_ GV *gv, const char gvtype, PADOFFSET targ,
11241         SV* keyname, I32 aindex, int subscript_type)
11242 {
11243
11244     SV * const name = sv_newmortal();
11245     if (gv) {
11246         char buffer[2];
11247         buffer[0] = gvtype;
11248         buffer[1] = 0;
11249
11250         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
11251
11252         gv_fullname4(name, gv, buffer, 0);
11253
11254         if ((unsigned int)SvPVX(name)[1] <= 26) {
11255             buffer[0] = '^';
11256             buffer[1] = SvPVX(name)[1] + 'A' - 1;
11257
11258             /* Swap the 1 unprintable control character for the 2 byte pretty
11259                version - ie substr($name, 1, 1) = $buffer; */
11260             sv_insert(name, 1, 1, buffer, 2);
11261         }
11262     }
11263     else {
11264         U32 unused;
11265         CV * const cv = find_runcv(&unused);
11266         SV *sv;
11267         AV *av;
11268
11269         if (!cv || !CvPADLIST(cv))
11270             return Nullsv;
11271         av = (AV*)(*av_fetch(CvPADLIST(cv), 0, FALSE));
11272         sv = *av_fetch(av, targ, FALSE);
11273         /* SvLEN in a pad name is not to be trusted */
11274         sv_setpv(name, SvPV_nolen_const(sv));
11275     }
11276
11277     if (subscript_type == FUV_SUBSCRIPT_HASH) {
11278         SV * const sv = NEWSV(0,0);
11279         *SvPVX(name) = '$';
11280         Perl_sv_catpvf(aTHX_ name, "{%s}",
11281             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
11282         SvREFCNT_dec(sv);
11283     }
11284     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
11285         *SvPVX(name) = '$';
11286         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
11287     }
11288     else if (subscript_type == FUV_SUBSCRIPT_WITHIN)
11289         sv_insert(name, 0, 0,  "within ", 7);
11290
11291     return name;
11292 }
11293
11294
11295 /*
11296 =for apidoc find_uninit_var
11297
11298 Find the name of the undefined variable (if any) that caused the operator o
11299 to issue a "Use of uninitialized value" warning.
11300 If match is true, only return a name if it's value matches uninit_sv.
11301 So roughly speaking, if a unary operator (such as OP_COS) generates a
11302 warning, then following the direct child of the op may yield an
11303 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
11304 other hand, with OP_ADD there are two branches to follow, so we only print
11305 the variable name if we get an exact match.
11306
11307 The name is returned as a mortal SV.
11308
11309 Assumes that PL_op is the op that originally triggered the error, and that
11310 PL_comppad/PL_curpad points to the currently executing pad.
11311
11312 =cut
11313 */
11314
11315 STATIC SV *
11316 S_find_uninit_var(pTHX_ OP* obase, SV* uninit_sv, bool match)
11317 {
11318     dVAR;
11319     SV *sv;
11320     AV *av;
11321     GV *gv;
11322     OP *o, *o2, *kid;
11323
11324     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
11325                             uninit_sv == &PL_sv_placeholder)))
11326         return Nullsv;
11327
11328     switch (obase->op_type) {
11329
11330     case OP_RV2AV:
11331     case OP_RV2HV:
11332     case OP_PADAV:
11333     case OP_PADHV:
11334       {
11335         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
11336         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
11337         I32 index = 0;
11338         SV *keysv = Nullsv;
11339         int subscript_type = FUV_SUBSCRIPT_WITHIN;
11340
11341         if (pad) { /* @lex, %lex */
11342             sv = PAD_SVl(obase->op_targ);
11343             gv = Nullgv;
11344         }
11345         else {
11346             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
11347             /* @global, %global */
11348                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
11349                 if (!gv)
11350                     break;
11351                 sv = hash ? (SV*)GvHV(gv): (SV*)GvAV(gv);
11352             }
11353             else /* @{expr}, %{expr} */
11354                 return find_uninit_var(cUNOPx(obase)->op_first,
11355                                                     uninit_sv, match);
11356         }
11357
11358         /* attempt to find a match within the aggregate */
11359         if (hash) {
11360             keysv = S_find_hash_subscript(aTHX_ (HV*)sv, uninit_sv);
11361             if (keysv)
11362                 subscript_type = FUV_SUBSCRIPT_HASH;
11363         }
11364         else {
11365             index = S_find_array_subscript(aTHX_ (AV*)sv, uninit_sv);
11366             if (index >= 0)
11367                 subscript_type = FUV_SUBSCRIPT_ARRAY;
11368         }
11369
11370         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
11371             break;
11372
11373         return varname(gv, hash ? '%' : '@', obase->op_targ,
11374                                     keysv, index, subscript_type);
11375       }
11376
11377     case OP_PADSV:
11378         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
11379             break;
11380         return varname(Nullgv, '$', obase->op_targ,
11381                                     Nullsv, 0, FUV_SUBSCRIPT_NONE);
11382
11383     case OP_GVSV:
11384         gv = cGVOPx_gv(obase);
11385         if (!gv || (match && GvSV(gv) != uninit_sv))
11386             break;
11387         return varname(gv, '$', 0, Nullsv, 0, FUV_SUBSCRIPT_NONE);
11388
11389     case OP_AELEMFAST:
11390         if (obase->op_flags & OPf_SPECIAL) { /* lexical array */
11391             if (match) {
11392                 SV **svp;
11393                 av = (AV*)PAD_SV(obase->op_targ);
11394                 if (!av || SvRMAGICAL(av))
11395                     break;
11396                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11397                 if (!svp || *svp != uninit_sv)
11398                     break;
11399             }
11400             return varname(Nullgv, '$', obase->op_targ,
11401                     Nullsv, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11402         }
11403         else {
11404             gv = cGVOPx_gv(obase);
11405             if (!gv)
11406                 break;
11407             if (match) {
11408                 SV **svp;
11409                 av = GvAV(gv);
11410                 if (!av || SvRMAGICAL(av))
11411                     break;
11412                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
11413                 if (!svp || *svp != uninit_sv)
11414                     break;
11415             }
11416             return varname(gv, '$', 0,
11417                     Nullsv, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
11418         }
11419         break;
11420
11421     case OP_EXISTS:
11422         o = cUNOPx(obase)->op_first;
11423         if (!o || o->op_type != OP_NULL ||
11424                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
11425             break;
11426         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
11427
11428     case OP_AELEM:
11429     case OP_HELEM:
11430         if (PL_op == obase)
11431             /* $a[uninit_expr] or $h{uninit_expr} */
11432             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
11433
11434         gv = Nullgv;
11435         o = cBINOPx(obase)->op_first;
11436         kid = cBINOPx(obase)->op_last;
11437
11438         /* get the av or hv, and optionally the gv */
11439         sv = Nullsv;
11440         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
11441             sv = PAD_SV(o->op_targ);
11442         }
11443         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
11444                 && cUNOPo->op_first->op_type == OP_GV)
11445         {
11446             gv = cGVOPx_gv(cUNOPo->op_first);
11447             if (!gv)
11448                 break;
11449             sv = o->op_type == OP_RV2HV ? (SV*)GvHV(gv) : (SV*)GvAV(gv);
11450         }
11451         if (!sv)
11452             break;
11453
11454         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
11455             /* index is constant */
11456             if (match) {
11457                 if (SvMAGICAL(sv))
11458                     break;
11459                 if (obase->op_type == OP_HELEM) {
11460                     HE* he = hv_fetch_ent((HV*)sv, cSVOPx_sv(kid), 0, 0);
11461                     if (!he || HeVAL(he) != uninit_sv)
11462                         break;
11463                 }
11464                 else {
11465                     SV ** const svp = av_fetch((AV*)sv, SvIV(cSVOPx_sv(kid)), FALSE);
11466                     if (!svp || *svp != uninit_sv)
11467                         break;
11468                 }
11469             }
11470             if (obase->op_type == OP_HELEM)
11471                 return varname(gv, '%', o->op_targ,
11472                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
11473             else
11474                 return varname(gv, '@', o->op_targ, Nullsv,
11475                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
11476             ;
11477         }
11478         else  {
11479             /* index is an expression;
11480              * attempt to find a match within the aggregate */
11481             if (obase->op_type == OP_HELEM) {
11482                 SV * const keysv = S_find_hash_subscript(aTHX_ (HV*)sv, uninit_sv);
11483                 if (keysv)
11484                     return varname(gv, '%', o->op_targ,
11485                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
11486             }
11487             else {
11488                 const I32 index = S_find_array_subscript(aTHX_ (AV*)sv, uninit_sv);
11489                 if (index >= 0)
11490                     return varname(gv, '@', o->op_targ,
11491                                         Nullsv, index, FUV_SUBSCRIPT_ARRAY);
11492             }
11493             if (match)
11494                 break;
11495             return varname(gv,
11496                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
11497                 ? '@' : '%',
11498                 o->op_targ, Nullsv, 0, FUV_SUBSCRIPT_WITHIN);
11499         }
11500
11501         break;
11502
11503     case OP_AASSIGN:
11504         /* only examine RHS */
11505         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
11506
11507     case OP_OPEN:
11508         o = cUNOPx(obase)->op_first;
11509         if (o->op_type == OP_PUSHMARK)
11510             o = o->op_sibling;
11511
11512         if (!o->op_sibling) {
11513             /* one-arg version of open is highly magical */
11514
11515             if (o->op_type == OP_GV) { /* open FOO; */
11516                 gv = cGVOPx_gv(o);
11517                 if (match && GvSV(gv) != uninit_sv)
11518                     break;
11519                 return varname(gv, '$', 0,
11520                             Nullsv, 0, FUV_SUBSCRIPT_NONE);
11521             }
11522             /* other possibilities not handled are:
11523              * open $x; or open my $x;  should return '${*$x}'
11524              * open expr;               should return '$'.expr ideally
11525              */
11526              break;
11527         }
11528         goto do_op;
11529
11530     /* ops where $_ may be an implicit arg */
11531     case OP_TRANS:
11532     case OP_SUBST:
11533     case OP_MATCH:
11534         if ( !(obase->op_flags & OPf_STACKED)) {
11535             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
11536                                  ? PAD_SVl(obase->op_targ)
11537                                  : DEFSV))
11538             {
11539                 sv = sv_newmortal();
11540                 sv_setpvn(sv, "$_", 2);
11541                 return sv;
11542             }
11543         }
11544         goto do_op;
11545
11546     case OP_PRTF:
11547     case OP_PRINT:
11548         /* skip filehandle as it can't produce 'undef' warning  */
11549         o = cUNOPx(obase)->op_first;
11550         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
11551             o = o->op_sibling->op_sibling;
11552         goto do_op2;
11553
11554
11555     case OP_RV2SV:
11556     case OP_CUSTOM:
11557     case OP_ENTERSUB:
11558         match = 1; /* XS or custom code could trigger random warnings */
11559         goto do_op;
11560
11561     case OP_SCHOMP:
11562     case OP_CHOMP:
11563         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
11564             return sv_2mortal(newSVpvn("${$/}", 5));
11565         /* FALL THROUGH */
11566
11567     default:
11568     do_op:
11569         if (!(obase->op_flags & OPf_KIDS))
11570             break;
11571         o = cUNOPx(obase)->op_first;
11572         
11573     do_op2:
11574         if (!o)
11575             break;
11576
11577         /* if all except one arg are constant, or have no side-effects,
11578          * or are optimized away, then it's unambiguous */
11579         o2 = Nullop;
11580         for (kid=o; kid; kid = kid->op_sibling) {
11581             if (kid &&
11582                 (    (kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid)))
11583                   || (kid->op_type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
11584                   || (kid->op_type == OP_PUSHMARK)
11585                 )
11586             )
11587                 continue;
11588             if (o2) { /* more than one found */
11589                 o2 = Nullop;
11590                 break;
11591             }
11592             o2 = kid;
11593         }
11594         if (o2)
11595             return find_uninit_var(o2, uninit_sv, match);
11596
11597         /* scan all args */
11598         while (o) {
11599             sv = find_uninit_var(o, uninit_sv, 1);
11600             if (sv)
11601                 return sv;
11602             o = o->op_sibling;
11603         }
11604         break;
11605     }
11606     return Nullsv;
11607 }
11608
11609
11610 /*
11611 =for apidoc report_uninit
11612
11613 Print appropriate "Use of uninitialized variable" warning
11614
11615 =cut
11616 */
11617
11618 void
11619 Perl_report_uninit(pTHX_ SV* uninit_sv)
11620 {
11621     if (PL_op) {
11622         SV* varname = Nullsv;
11623         if (uninit_sv) {
11624             varname = find_uninit_var(PL_op, uninit_sv,0);
11625             if (varname)
11626                 sv_insert(varname, 0, 0, " ", 1);
11627         }
11628         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
11629                 varname ? SvPV_nolen_const(varname) : "",
11630                 " in ", OP_DESC(PL_op));
11631     }
11632     else
11633         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
11634                     "", "", "");
11635 }
11636
11637 /*
11638  * Local variables:
11639  * c-indentation-style: bsd
11640  * c-basic-offset: 4
11641  * indent-tabs-mode: t
11642  * End:
11643  *
11644  * ex: set ts=8 sts=4 sw=4 noet:
11645  */