Change a few tests to use new test.pl EBCDIC stuff

A few .t's are delivered here which use the new conversion functions in
test.pl.  Obviously, this commit doesn't have to be incorporated, but it
does simplify those tests.

Add functions to test.pl for easier EBCDIC testing

This patch adds functions native_to_latin1($) and latin1_to_native($) to
test.pl.  Use of these in test scripts allows for less special case code
(or deciding to blow it off and just skip EBCDIC platforms).  If a
string is all ASCII, one has always been able to just use it and not
worry about EBCDIC.  But non-ASCII, latin1 characters have been a
different matter.  This allows one to wrap those characters in a
function call and get automatic EBCDIC compatibility.

The functions do not handle UTF-8/UTF-EBCDIC conversions.  This is more
complicated, and I was worried that that part was not appropriate for
test.pl which should use the bare minimum of Perl functionality.  These
functions use tr///, beyond what other parts of test.pl use.

Fix CLONE/weakref bug revealed by adf8f095c5881bce.

The AV unreferenced in the clone_params needs to be reference counted, rather
than not referenced counted, because the fixup to ensure that all otherwise
0-reference count scalars have a reference (on the temps stack) happens after
CLONE is run, and CLONE can run Perl code that causes their reference counts
to increase from then return to zero, which prematurely triggers sv_free().

Update rsync sources in perlhack

Add the perl equivalent for av_make.

Signed-off-by: David Golden <dagolden@cpan.org>

Add the Perl equivalent for av_len.

Signed-off-by: David Golden <dagolden@cpan.org>

Add a missing comma in the av_fill() docs.

Minor, but still good enough for a commit.

Signed-off-by: David Golden <dagolden@cpan.org>

Clarify the av_fetch() documentation.

Thanks to LeoNerd and Zefram on #p5p on IRC for some insights and
suggesting versions for the modified text. I ended up using Zefram's
version.

Signed-off-by: David Golden <dagolden@cpan.org>

Add Perl equivalent for av_exists().

This mentions that it's equivalent to exists($myarray[$key]).

Signed-off-by: David Golden <dagolden@cpan.org>

Add a Perl equivalent to av_delete().

Signed-off-by: David Golden <dagolden@cpan.org>

Add the Perl equivalent example to av_clear.

Signed-off-by: David Golden <dagolden@cpan.org>

Link from GIMME_V to perlcall for a usage example.

Added a link from the GIMME_V entry to perlcall for a usage example.

Signed-off-by: David Golden <dagolden@cpan.org>

PATCH: correct misstatement, formats in perlunicode

This is suitable for 5.12.2, but not many people use this feature.

Fix for typo in 0824d66743a706cd, in the expected output with threads.

add OPpDEREFed flag to avoid double mg_get()

    The previous commit made various ops such as rv2av unconditionally do
    an SvGETMAGIC(). Under some circumstances this could cause a double
    mg_get() (and hence double FETCH etc). In particular, when the
    proceeding op was something like aelem with OPpDEREF, the aelem would
    call vivify_ref(), which would call magic. So in peep(), mark
    OP_RV2[SAH]V ops with the new OPpDEREFed flag if the preceding op was
    OPpDEREF. Then use this flag to avoid a second dose of magic.

    Note that RV2GV probably needs this flag too, but there weren't any
    spare private flag bits left for that op (I think).

Deref ops ignore get-magic when SvROK(sv)

This is just like bug 68192, except in this case it’s a different set
of operators that have had this problem for much longer.

Just the tests from a proposed fix for 68192

The bug was fixed in a different way by davem, but the tests
are needed as the base for a commit to follow

Replace wrong tr/// table in perlebcdic.pod

perlebcdic.pod contains a helpful table to use in tr/// to convert
between EBCDIC and Latin1/ASCII.  Unfortunately, the table is the
inverse of the one it describes, as I discovered in following the
directions on how it was extracted.

The actual code that uses the table uses it in the inverse way, so it
actually works correctly, but if you follow the instructions to get the
tables corresponding to the other recognized code pages, you will get
the inverse of the ones you wanted, and things won't work out.

This patch changes the table to its inverse, and changes the sample code
to correspond, as this is easier for the person trying to follow the
instructions since deriving the old table is somewhat more complicated.

I also changed the table to hex from octal, as that is more the norm
these days, and I changed to recipes in the pod to print out leading
zeros to make all the values the same length, as the table that they can
generate has them.

Remove unused, wrong #define in utf8.h

is unused in the code, and is wrong for EBCDIC platforms, as there can
be invariants there that aren't ASCII.  I simply removed it.

Fix build warnings introduced by v5.13.0-139-ge0fa7e2

Add Perl_clone_params_{del,new} and Perl_sv_dup to the "no threads" exclusions.

Set PADSTALE on all lexicals at the end of sub creation.

The PADSTALEness of lexicals between the 0th and 1st call to a subroutine is now
consistent with the state between the nth and (n + 1)th call.

This permits a work around in Perl_padlist_dup() to avoid leaking active pad
data into a new thread, whilst still correctly bodging the external references
needed by the current ?{} implementation. Fix that, and this can be removed.

Don't clone the contents of lexicals in pads.

This stops the values of lexicals in active stack frames in the parent leaking
into the lexicals in the child thread.

With an exception for lexicals with a reference count of > 1, to cope with the
implementation of ?{{ ... }} blocks in regexps. :-(

In Perl_pad_tidy(), merge the SvPADTMP_on() loops for padtidy_SUB and _FORMAT.

In Perl_padlist_dup() don't duplicate @_ or pads caused by recursion.

CvDEPTH() is 0 in a new thread, so duplicating pads beyond the always-present
first level is a waste of effort and memory.

Convert PAD_DUP to a function Perl_padlist_dup().

assert() that pads are never AvREAL().

When deleting CLONE_PARAMS, push any unreferenced SVs onto the temps stack.

Effectively this leaves the cloned-into interpreter in a consistent state.
In the cloned-from interpreter, the SV targets of non-reference owning pointers
*are* referenced and managed by other pointers. SvREFCNT() == 0 SVs in the
cloned-into interpreter result from the non-reference owning pointers being
found and followed, but the reference owning and managing pointers not being
part of the subsection of interpreter state cloned over. Hence, this change
creates reference owning pointers to this SVs on the temps stack, which ensures
that they are correctly cleaned up, and don't "leak" until interpreter
destruction. (Which might be some time away, in a persistent process.)

Better ithreads cloning - add all SVs with a 0 refcnt to the temps stack.

Track all SVs created by sv_dup() that have a 0 reference count. If they still
have a 0 reference count at the end of cloning, assign a reference to each to
the temps stack. As the temps stack is cleared at thread exit, SVs book keeping
will be correct and consistent before perl_destruct() makes its check for
leaked scalars.

Remove special case code for checking each @_ and the parent's temp stack.

Cleaner implementations for Perl_clone_params_{new,del}

Not source or binary compatible with maint-5.12.

Abstract *correct* initialisation of CLONE_PARAMS into Perl_clone_params_new().

As it allocates memory dynamically, add Perl_clone_params_del(). This will
allow CLONE_PARAMS to be expand in future in a source and binary compatible
fashion.

These implementations of Perl_clone_params_new()/Perl_clone_params_del() jump
through hoops to remain source and binary compatible, in particular, by not
assuming that the structure member is present and correctly initialised. Hence
they should be suitable for inclusion into Devel::PPPort.

Convert threads.xs to use them, resolving RT #73046.

Convert Perl_sv_dup_inc() from a macro to a real function.

In perl_clone_using(), turn off AvREAL() on param->stashes.

This is an optimisation, not a bug fix.

Add package block syntax to perldelta

Add perldelta entry for non-destructive substitution

Change the API documentation from sv_2nv to sv_2nv_flags.

Addendum to 39d5de13bc6d138b.

fix MAD handling of package block syntax

There was a broken TOKEN_GETMAD attempting to handle the label preceding a
package-block statement, where no label is actually possible.  The correct
behaviour for no label is a no-op, so just remove the TOKEN_GETMAD.

add perldelta entry for overload fixes

Format perlhist consistently by maint/dev track

create perl5132delta

Rephrase perlop for non-destructive substitution

Add David Caldwell to AUTHORS

Add s///r (non-destructive substitution).

This changes s/// so that it doesn't act destructively on its target.
Instead it returns the result of the substitution (or the original string if
there was no match).

In addition this patch:

  * Adds a new warning when s///r happens in void context.
  * Adds a error when you try to use s///r with !~
  * Makes it so constant strings can be bound to s///r with =~
  * Adds documentation.
  * Adds some tests.
  * Updates various debug code so it knows about the /r flag.
  * Adds some new 'r' words to B::Deparse.

Restore strict refs on stashes, removed by ce10b5d1ec5b5f68b0811018a415bc37.

Strictures on stashes were special-cased, because the lexer was special-cased
to avoid autovivifying stashes (in adc51b978ed1b2e9d4512c9bfa80386ac917d05a,
now reverted), to keep the behaviour of defined %stash:: consistent.

defined %stash:: is deprecated.

Keep the new regression tests from ce10b5d1ec5b5f68b0811018a415bc37bb6bfe5e.

Re-instate the use of gv_stashpvn_flags(), and the correct non-boolean argument.

This restores the change of 9bde8eb087a2c05d4c8b0394a59d28a09fe5f529.

Remove the tokeniser hack that prevents compile-time vivification of %stash::

This was put in to ensure that defined %stash:: continued to return false after
the implementation of hashes was changed, such that stashes were always defined.
defined %stash:: is deprecated.

This reverts the tokeniser changes of adc51b978ed1b2e9d4512c9bfa80386ac917d05a,
76138434928a968a390c791aec92e5f00017d01d,
d6069db2e52f58ef65bf59f2fd453604270d2205 and part of
9bde8eb087a2c05d4c8b0394a59d28a09fe5f529, and updates the tests added with those
commits to reflect the restored (but as yet unreleased) behaviour.

I don't think that this should be merged to blead until after 5.12.0 ships,
with the enabled deprecation warnings on defined %hash, as it changes subtle
behaviour that all current released stable perls accept without warning.

PL_in_load_module only has values 0 and 1, so can be a bool instead of int.

Perl_hv_fill(), count empty chains down, rather than used chains up.

The assumption is that most chains of a hash are in use.

Suggestion and initial patch by Ruslan Zakirov.

Eliminate xhv_fill from struct xpvhv.

Make HvFILL() count the allocated buckets, instead of reading a stored value.

Add a function Perl_hv_fill to perform the count. This will save 1 IV per hash,
and on some systems cause struct xpvhv to become cache aligned.

Replace boolean use of HvFILL(hv) with HvTOTALKEYS(hv), which is equivalent.

followup to magic/overload fix

6f1401dc2acd2a2b85df22b0a74e5f7e6e0a33aa was over-enthusiastic
on removing redundant code in the comparison ops. This code was only used
on 64-bit #ifdef branches which is why I failed to spot it earlier.
So restore that code!

make overload respect get magic

In most places, ops checked their args for overload *before* doing
mg_get(). This meant that, among other issues, tied vars that
returned overloaded objects wouldn't trigger calling the
overloaded method.  (Actually, for tied and arrays and hashes, it
still often would since mg_get gets called beforehand in rvalue
context).

This patch does the following:

Makes sure get magic is called first.

Moves most of the overload code formerly included by macros at the
start of each pp function into the separate helper functions
Perl_try_amagic_bin, Perl_try_amagic_un, S_try_amagic_ftest,
with 3 new wrapper macros:
tryAMAGICbin_MG, tryAMAGICun_MG, tryAMAGICftest_MG.
This made the code 3800 bytes smaller.

Makes sure that FETCH is not called multiple times. Much of this
bit was helped by some earlier work from Father Chrysostomos.

Added new functions and macros sv_inc_nomg(), sv_dec_nomg(),
dPOPnv_nomg, dPOPXiirl_ul_nomg, dPOPTOPnnrl_nomg, dPOPTOPiirl_ul_nomg
dPOPTOPiirl_nomg, SvIV_please_nomg, SvNV_nomg (again, some of
these were based on Father Chrysostomos's work).

Fixed the list version of the repeat operator (x): it now only
calls overloaded methods for the scalar version:
    (1,2,$overloaded) x 10
no longer erroneously calls
    x_method($overloaded,10))

The only thing I haven't checked/fixed yet is overloading the
iterator operator, <>.

Remove union _xivu from _XPVCV_COMMON, and hence structs xpvcv and xpvfm

Replaced with xcv_depth and xfm_lines respectively. Both structures might
benefit from some field re-ordering.

Update the descriptive comments in the definition of union _xivu.

Remove union _xivu from struct regexp - replace it with a non-union paren_names.

This was the only user of xivu_hv in union _xivu, so remove that too.

Remove union _xivu from struct xpvhv - replace it with a non-union xav_keys.

Remove union _xivu from struct xpvav - replace it with a non-union xav_alloc.

This was the only user of xivu_p1 in union _xivu, so remove that too.

Reinstate space optimisations to SV body structures.

In the SV body, exchange the positions of the NV and stash/magic.

Remove all space optimisations from SV body structures.

The size of a character in C is per definition 1

Fix CCINCDIR and CCLIBDIR for mingw64 cross compiler

When building perl with the mingw64 x64 cross-compiler 'incpath', 'libpth',
'ldflags', 'lddlflags' and 'ldflags_nolargefiles' values in Config.pm and
Config_heavy.pl are not being set correctly because, with that compiler, the
include and lib directories are not immediately below $(CCHOME).

fully test package-version-block syntax

Extend the exhaustive package-version tests in t/op/packagev.t
to test each case using package-block syntax in addition to the
package-declaration syntax.

additional tests for package block syntax

Test that __PACKAGE__ propagates into string eval correctly.  Test that
__LINE__ is correct.  Test that goto into and out of package blocks
works correctly.

fix SEGV with eval("package Foo {")

OPs relating to the package name and version were subject to double
freeing during error recovery from an incomplete package block.  Fixed by
using the op_latefree mechanism to shift the op free time.

support "package Foo { ... }"

Package block syntax limits the scope of the package declaration to the
attached block.  It's cleaner than requiring the declaration to come
inside the block.

PL_endav can be NULL, so in S_ithread_create() no need to set it to newAV().

Remove redundant hv_exists() calls from ithread_create()'s spec parser.

hv_fetch(..., 0) won't create the element if it doesn't exist, returning a NULL
pointer, so hv_exists() and hv_fetch() is doing two hash lookups where one would
suffice.

On this machine, reduces the object code by 3K, about 7%. Everyone's a winner.

Change S_ithread_create() params from a single AV* to a pair of SV** pointers.

This saves creating, duplicating and freeing and AV, which is only ever used for
an internal calling convention.

In threads.xs, convert thread->params from RV to AV.

Pass around and store the array directly, rather than creating, holding and
dereferencing a reference to it.

SvIVX() isn't valid on SVt_REGEXP

In sv.c, _all_ {new,del}_X* macros can be *_body_allocated.

Previously those where bodies_by_type[sv_type].offset was zero were using
{new,del}_body_typed. However, the optimiser can spot this, and generates the
same object code. This allows simplification of the C code, and more
flexibility to rearrange the structures without generating bugs.

update Ricardo Signes's email

Do not try to load a feature bundle when doing "no VERSION"

do not check for deprecation of removed lib

add the v5.13.1 epigraph

remove =over/=back from epigraphs.pod, add empty sections

...even though they are *totally legal* and the suggested way to make a
blockquote-like paragraph.  Pod::Checker doesn't like them.

add new release to perlhist

update MANIFEST, remove delta for uninstalled file

further updates to CoreList

Who knew there was a helper to do this, now!

Update META.yml

Notice the glorious deletion of Switch from the manifest!

bump CoreList version

add vertical space to CoreList.pm

This makes it easy to move through the file with { and } in vi.
Yes, this really helps.

remove empty perldelta section

update change command

Bump the perl version in various places for 5.13.1

replace 2nd 5.013000 block with 5.013001

update CoreList for 5.13.1

bump version on modules changed since 5.13.0

pass through perl5131delta in prep of release

Add a note in perl5131delta about given return values

And tweak its documentation.

Adding script used for recent perlhist changes.

Update perlhist.pod for 5.10.1-5.12.1

bumped File::Find version to 1.16

Fixed typo: "effecting data" -> "affecting data".

Merge branch 'vincent/rvalue_stmt_given' into blead

perldelta entries for my changes in 5.13.1.

add reminder about updating epigraphs.pod to RMG

the proper term is epigraph, not epigram

document historical release epigrams

Actually note that Shell.pm is deprecated for 5.13 and 5.14, so we can
remove it in 5.15 in the Spring of 2011.