Add mktables option for development use

The -output_names option was added.  It will cause the generated file
tables to not have ranges, and each line will have the character name.
This makes it easier to compare what characters are in given tables,
from version to version, or to compare the differences between
properties.

mktables -- don't create Names table unless asked

This speeds up mktables by not creating the Names table unless asked to,
by someone adding it to the list of tables to be output.  Perl uses a
different table than this one for charnames, so the one being suppressed
isn't generally used.  Previously it was created but not output.  Now,
we skip the useless creation step.

Fix priority of suppressed vs. explicitly output

It's not clear this is a real bug, but it is a surprise.  If a table is
in the suppressed list, it isn't output, even if it is in the
to-be-output override list.  This latter list is non-empty only if the
user has hand-edited the the program to force an output.  So this patch
makes that list have priority.

Remove obsolete comment

Commit: 6c4b69c35161f79a5088d6c3070cc17a0e4978b2 made this comment
obsolete; forgot to remove it then.

Generate simple case folding tables only if asked

Speed up mktables by not generating the simple case folding tables
unless asked to.  Previously the simple tables were generated, and then
the full tables were initialized with them, and then overwritten with
the full mappings.  This is an artifact from the fact that the data
comes to us in two files, one  with the simple mappings (among other
things), and another with the full mapping overrides.  Now, the full
tables are initialized from the first file, and the second file
overrides the full mappings.  The simple tables are not generated by
default, so this saves, copying them.

Add comment about objaddr in mktables

Slightly modified to include the commit id by Steffen.

Use in-line 'no overloading' for speed

An earlier performance enhancement was to change the subroutine that
gets the address of a ref to using 'no overloading' and then numifying
the ref, which returns its address.  This patch speeds things up
slightly by in-lining the "no overloading" so that the function call
overhead is avoided.

It also gets rid of the kludge that was done before the original
speed-up that created a local in the call stack of one of the classes so
that the address would only have to be executed once per call stack;
This was subject to failure if maintenance of the code perturbed things
so it didn't work; now the overhead is minimal, so the address is gotten
in each call.

Don't require doubled backslashes in perldiag.pod

Prior to this patch, messages in perldiag.pod had to have \\ instead of
the correct single backslash in order for diag.t to not complain.

Eliminate some newSV(0)s by merging the SV allocation with first modification.

Only allocate entries for @_ when the subroutine is first called.

Previously, @_ was allocated for every subroutine at compile time, with a
default sized AV, hence space for 4 entries. We don't actually need to
allocate the space for entries, as there is already a check at call time as to
whether @_ is long enough.

valgrind suggests that this saves allocating 23K (on a 64 bit platform) when
running pod2man on perlfunc.pod. As well as the absolute saving, there is also
benefit in deferring allocation for subroutines actually called - for a program
which forks, @_ is less likely to be in pages shared COW with the parent.

Resolves RT #72416.

Fix the regexp in t/porting/args_assert.t, and add 3 missing macros.

Resolves RT #72800.

Properly free paren_name_list with its regexp.

Previously the AV paren_name_list would "leak" until global destruction.
This was only an issue under -DDEBUGGING. Fixes RT #73438.

Clarify that count is bytes not unicode characters

Display characters as Unicode for clarity

Add tested for corrupted regnode

Use sizeof instead of hard-coded array size

The array should be declared with its actual size.

Typo

When assigning to $^P, don't zero $DB::single, $DB::trace and $DB::signal.

Previously, whenever a true value was assigned to $^P, all 3 were set to 0.
Now only set them to 0 if they aren't already SvIOK().

Resolves RT #72422.

Migrate most other op_private to name conversion into S_op_private_to_names().

In Perl_do_op_dump(), move calls to append_flags() into S_op_private_to_names()

Add C_ARRAY_END(), returning a pointer to after the last element of an array.

Refactor the macro append_flags() in dump.c to use it.

In Perl_do_op_dump(), reorder the ops within the  if (o->op_private) clause.

In Perl_do_sv_dump(), use append_flags() for PVCV, PVFM and PVGP flags.

In Perl_do_sv_dump(), for PVCV and PVFM, test for SvCOMPILED(sv) last.

In Perl_do_op_dump(), move runs of op_private name tests to S_append_flags().

Create S_append_flags() from a common code pattern in dump.c.

Convert repetitive sequences of "if this bit is set, append that string" into
structures and a function call. Use a custom macro append_flags() to make
calling it easer.

This makes the object code slightly smaller.

InPerl_boot_core_UNIVERSAL() use a data structure for calls to newXS{,proto}

Replacing the longhand list of calls to newXS{,proto} with loop over a data
structure reduces the object size by over 1K.

Naif calls segfault T_PRTOBJ of the stock typemap

The T_PTROBJ INPUT in stock typemap only uses 'sv_derived_from' for
input validation, that cause a segfault when the argument passed match
the class name.

Add simple_bitmask and varies_bitmask to globvar.sym.

global.sym is generated; is there a way to automate globvar.sym?

Convert REGNODE_{SIMPLE,VARIES} to a bitmask lookup, from a strchr() lookup.

This is O(1) with no branching, instead of O(n) with branching.
Deprecate the old implementation's externally visible variables
PL_simple and PL_varies. Google codesearch suggests that nothing outside the
core regexp code was using these.

Change regcomp.pl to 0-based indexing for its arrays and loops.

Encapsulate lookups in PL_{varies,simple} within macros REGNODE_{VARIES,SIMPLE}

This allows the implementation of the lookup mechanism to change.

Generate PL_simple[] and PL_varies[] with regcomp.pl, rather than hard-coding.

Add a new flags column to regcomp.sym, with V if the node type is in PL_varies,
S if it is in PL_simple, and . if a placeholder is needed because subsequent
optional columns are present.

Re-work the regcomp.sym to remove use of hard tabs. No data change.

The tab separating name and type is replaced with whitespace, the tab marking
the start of the description is replaced by a semicolon.

Correct the node numbers in comments.

Really, should we be maintaining these manually?

Remove stray tab character in definition for VERB.

As VERB is "Used only for the type field of verbs" this is only a cosmetic
change, causing that correct description to appear in the comment in
regnodes.h. The change to regarglen doesn't affect anything, as the VERB type
is never actually used for compiled nodes.

Fix clang "incompatible operand types" error in ternary expressions.

PATCH: user defined special casing for non utf8

Users can define their own case changing mappings to replace the
standard ones.  Prior to this patch, any mappings on characters whose
ordinals are 0-222, 224-255 that resulted in multiple characters were
ignored.

Note that there still is a deficiency in that the mappings will be
applied only to strings in utf8 format.

Change a few tests to use new test.pl EBCDIC stuff

A few .t's are delivered here which use the new conversion functions in
test.pl.  Obviously, this commit doesn't have to be incorporated, but it
does simplify those tests.

Add functions to test.pl for easier EBCDIC testing

This patch adds functions native_to_latin1($) and latin1_to_native($) to
test.pl.  Use of these in test scripts allows for less special case code
(or deciding to blow it off and just skip EBCDIC platforms).  If a
string is all ASCII, one has always been able to just use it and not
worry about EBCDIC.  But non-ASCII, latin1 characters have been a
different matter.  This allows one to wrap those characters in a
function call and get automatic EBCDIC compatibility.

The functions do not handle UTF-8/UTF-EBCDIC conversions.  This is more
complicated, and I was worried that that part was not appropriate for
test.pl which should use the bare minimum of Perl functionality.  These
functions use tr///, beyond what other parts of test.pl use.

Fix CLONE/weakref bug revealed by adf8f095c5881bce.

The AV unreferenced in the clone_params needs to be reference counted, rather
than not referenced counted, because the fixup to ensure that all otherwise
0-reference count scalars have a reference (on the temps stack) happens after
CLONE is run, and CLONE can run Perl code that causes their reference counts
to increase from then return to zero, which prematurely triggers sv_free().

Update rsync sources in perlhack

Add the perl equivalent for av_make.

Signed-off-by: David Golden <dagolden@cpan.org>

Add the Perl equivalent for av_len.

Signed-off-by: David Golden <dagolden@cpan.org>

Add a missing comma in the av_fill() docs.

Minor, but still good enough for a commit.

Signed-off-by: David Golden <dagolden@cpan.org>

Clarify the av_fetch() documentation.

Thanks to LeoNerd and Zefram on #p5p on IRC for some insights and
suggesting versions for the modified text. I ended up using Zefram's
version.

Signed-off-by: David Golden <dagolden@cpan.org>

Add Perl equivalent for av_exists().

This mentions that it's equivalent to exists($myarray[$key]).

Signed-off-by: David Golden <dagolden@cpan.org>

Add a Perl equivalent to av_delete().

Signed-off-by: David Golden <dagolden@cpan.org>

Add the Perl equivalent example to av_clear.

Signed-off-by: David Golden <dagolden@cpan.org>

Link from GIMME_V to perlcall for a usage example.

Added a link from the GIMME_V entry to perlcall for a usage example.

Signed-off-by: David Golden <dagolden@cpan.org>

PATCH: correct misstatement, formats in perlunicode

This is suitable for 5.12.2, but not many people use this feature.

Fix for typo in 0824d66743a706cd, in the expected output with threads.

add OPpDEREFed flag to avoid double mg_get()

    The previous commit made various ops such as rv2av unconditionally do
    an SvGETMAGIC(). Under some circumstances this could cause a double
    mg_get() (and hence double FETCH etc). In particular, when the
    proceeding op was something like aelem with OPpDEREF, the aelem would
    call vivify_ref(), which would call magic. So in peep(), mark
    OP_RV2[SAH]V ops with the new OPpDEREFed flag if the preceding op was
    OPpDEREF. Then use this flag to avoid a second dose of magic.

    Note that RV2GV probably needs this flag too, but there weren't any
    spare private flag bits left for that op (I think).

Deref ops ignore get-magic when SvROK(sv)

This is just like bug 68192, except in this case it’s a different set
of operators that have had this problem for much longer.

Just the tests from a proposed fix for 68192

The bug was fixed in a different way by davem, but the tests
are needed as the base for a commit to follow

Replace wrong tr/// table in perlebcdic.pod

perlebcdic.pod contains a helpful table to use in tr/// to convert
between EBCDIC and Latin1/ASCII.  Unfortunately, the table is the
inverse of the one it describes, as I discovered in following the
directions on how it was extracted.

The actual code that uses the table uses it in the inverse way, so it
actually works correctly, but if you follow the instructions to get the
tables corresponding to the other recognized code pages, you will get
the inverse of the ones you wanted, and things won't work out.

This patch changes the table to its inverse, and changes the sample code
to correspond, as this is easier for the person trying to follow the
instructions since deriving the old table is somewhat more complicated.

I also changed the table to hex from octal, as that is more the norm
these days, and I changed to recipes in the pod to print out leading
zeros to make all the values the same length, as the table that they can
generate has them.

Remove unused, wrong #define in utf8.h

is unused in the code, and is wrong for EBCDIC platforms, as there can
be invariants there that aren't ASCII.  I simply removed it.

Fix build warnings introduced by v5.13.0-139-ge0fa7e2

Add Perl_clone_params_{del,new} and Perl_sv_dup to the "no threads" exclusions.

Set PADSTALE on all lexicals at the end of sub creation.

The PADSTALEness of lexicals between the 0th and 1st call to a subroutine is now
consistent with the state between the nth and (n + 1)th call.

This permits a work around in Perl_padlist_dup() to avoid leaking active pad
data into a new thread, whilst still correctly bodging the external references
needed by the current ?{} implementation. Fix that, and this can be removed.

Don't clone the contents of lexicals in pads.

This stops the values of lexicals in active stack frames in the parent leaking
into the lexicals in the child thread.

With an exception for lexicals with a reference count of > 1, to cope with the
implementation of ?{{ ... }} blocks in regexps. :-(

In Perl_pad_tidy(), merge the SvPADTMP_on() loops for padtidy_SUB and _FORMAT.

In Perl_padlist_dup() don't duplicate @_ or pads caused by recursion.

CvDEPTH() is 0 in a new thread, so duplicating pads beyond the always-present
first level is a waste of effort and memory.

Convert PAD_DUP to a function Perl_padlist_dup().

assert() that pads are never AvREAL().

When deleting CLONE_PARAMS, push any unreferenced SVs onto the temps stack.

Effectively this leaves the cloned-into interpreter in a consistent state.
In the cloned-from interpreter, the SV targets of non-reference owning pointers
*are* referenced and managed by other pointers. SvREFCNT() == 0 SVs in the
cloned-into interpreter result from the non-reference owning pointers being
found and followed, but the reference owning and managing pointers not being
part of the subsection of interpreter state cloned over. Hence, this change
creates reference owning pointers to this SVs on the temps stack, which ensures
that they are correctly cleaned up, and don't "leak" until interpreter
destruction. (Which might be some time away, in a persistent process.)

Better ithreads cloning - add all SVs with a 0 refcnt to the temps stack.

Track all SVs created by sv_dup() that have a 0 reference count. If they still
have a 0 reference count at the end of cloning, assign a reference to each to
the temps stack. As the temps stack is cleared at thread exit, SVs book keeping
will be correct and consistent before perl_destruct() makes its check for
leaked scalars.

Remove special case code for checking each @_ and the parent's temp stack.

Cleaner implementations for Perl_clone_params_{new,del}

Not source or binary compatible with maint-5.12.

Abstract *correct* initialisation of CLONE_PARAMS into Perl_clone_params_new().

As it allocates memory dynamically, add Perl_clone_params_del(). This will
allow CLONE_PARAMS to be expand in future in a source and binary compatible
fashion.

These implementations of Perl_clone_params_new()/Perl_clone_params_del() jump
through hoops to remain source and binary compatible, in particular, by not
assuming that the structure member is present and correctly initialised. Hence
they should be suitable for inclusion into Devel::PPPort.

Convert threads.xs to use them, resolving RT #73046.

Convert Perl_sv_dup_inc() from a macro to a real function.

In perl_clone_using(), turn off AvREAL() on param->stashes.

This is an optimisation, not a bug fix.

Add package block syntax to perldelta

Add perldelta entry for non-destructive substitution

Change the API documentation from sv_2nv to sv_2nv_flags.

Addendum to 39d5de13bc6d138b.

fix MAD handling of package block syntax

There was a broken TOKEN_GETMAD attempting to handle the label preceding a
package-block statement, where no label is actually possible.  The correct
behaviour for no label is a no-op, so just remove the TOKEN_GETMAD.

add perldelta entry for overload fixes

Format perlhist consistently by maint/dev track

create perl5132delta

Rephrase perlop for non-destructive substitution

Add David Caldwell to AUTHORS

Add s///r (non-destructive substitution).

This changes s/// so that it doesn't act destructively on its target.
Instead it returns the result of the substitution (or the original string if
there was no match).

In addition this patch:

  * Adds a new warning when s///r happens in void context.
  * Adds a error when you try to use s///r with !~
  * Makes it so constant strings can be bound to s///r with =~
  * Adds documentation.
  * Adds some tests.
  * Updates various debug code so it knows about the /r flag.
  * Adds some new 'r' words to B::Deparse.

Restore strict refs on stashes, removed by ce10b5d1ec5b5f68b0811018a415bc37.

Strictures on stashes were special-cased, because the lexer was special-cased
to avoid autovivifying stashes (in adc51b978ed1b2e9d4512c9bfa80386ac917d05a,
now reverted), to keep the behaviour of defined %stash:: consistent.

defined %stash:: is deprecated.

Keep the new regression tests from ce10b5d1ec5b5f68b0811018a415bc37bb6bfe5e.

Re-instate the use of gv_stashpvn_flags(), and the correct non-boolean argument.

This restores the change of 9bde8eb087a2c05d4c8b0394a59d28a09fe5f529.

Remove the tokeniser hack that prevents compile-time vivification of %stash::

This was put in to ensure that defined %stash:: continued to return false after
the implementation of hashes was changed, such that stashes were always defined.
defined %stash:: is deprecated.

This reverts the tokeniser changes of adc51b978ed1b2e9d4512c9bfa80386ac917d05a,
76138434928a968a390c791aec92e5f00017d01d,
d6069db2e52f58ef65bf59f2fd453604270d2205 and part of
9bde8eb087a2c05d4c8b0394a59d28a09fe5f529, and updates the tests added with those
commits to reflect the restored (but as yet unreleased) behaviour.

I don't think that this should be merged to blead until after 5.12.0 ships,
with the enabled deprecation warnings on defined %hash, as it changes subtle
behaviour that all current released stable perls accept without warning.

PL_in_load_module only has values 0 and 1, so can be a bool instead of int.

Perl_hv_fill(), count empty chains down, rather than used chains up.

The assumption is that most chains of a hash are in use.

Suggestion and initial patch by Ruslan Zakirov.

Eliminate xhv_fill from struct xpvhv.

Make HvFILL() count the allocated buckets, instead of reading a stored value.

Add a function Perl_hv_fill to perform the count. This will save 1 IV per hash,
and on some systems cause struct xpvhv to become cache aligned.

Replace boolean use of HvFILL(hv) with HvTOTALKEYS(hv), which is equivalent.

followup to magic/overload fix

6f1401dc2acd2a2b85df22b0a74e5f7e6e0a33aa was over-enthusiastic
on removing redundant code in the comparison ops. This code was only used
on 64-bit #ifdef branches which is why I failed to spot it earlier.
So restore that code!

make overload respect get magic

In most places, ops checked their args for overload *before* doing
mg_get(). This meant that, among other issues, tied vars that
returned overloaded objects wouldn't trigger calling the
overloaded method.  (Actually, for tied and arrays and hashes, it
still often would since mg_get gets called beforehand in rvalue
context).

This patch does the following:

Makes sure get magic is called first.

Moves most of the overload code formerly included by macros at the
start of each pp function into the separate helper functions
Perl_try_amagic_bin, Perl_try_amagic_un, S_try_amagic_ftest,
with 3 new wrapper macros:
tryAMAGICbin_MG, tryAMAGICun_MG, tryAMAGICftest_MG.
This made the code 3800 bytes smaller.

Makes sure that FETCH is not called multiple times. Much of this
bit was helped by some earlier work from Father Chrysostomos.

Added new functions and macros sv_inc_nomg(), sv_dec_nomg(),
dPOPnv_nomg, dPOPXiirl_ul_nomg, dPOPTOPnnrl_nomg, dPOPTOPiirl_ul_nomg
dPOPTOPiirl_nomg, SvIV_please_nomg, SvNV_nomg (again, some of
these were based on Father Chrysostomos's work).

Fixed the list version of the repeat operator (x): it now only
calls overloaded methods for the scalar version:
    (1,2,$overloaded) x 10
no longer erroneously calls
    x_method($overloaded,10))

The only thing I haven't checked/fixed yet is overloading the
iterator operator, <>.

Remove union _xivu from _XPVCV_COMMON, and hence structs xpvcv and xpvfm

Replaced with xcv_depth and xfm_lines respectively. Both structures might
benefit from some field re-ordering.

Update the descriptive comments in the definition of union _xivu.

Remove union _xivu from struct regexp - replace it with a non-union paren_names.

This was the only user of xivu_hv in union _xivu, so remove that too.

Remove union _xivu from struct xpvhv - replace it with a non-union xav_keys.

Remove union _xivu from struct xpvav - replace it with a non-union xav_alloc.

This was the only user of xivu_p1 in union _xivu, so remove that too.

Reinstate space optimisations to SV body structures.

In the SV body, exchange the positions of the NV and stash/magic.

Remove all space optimisations from SV body structures.

The size of a character in C is per definition 1

Fix CCINCDIR and CCLIBDIR for mingw64 cross compiler

When building perl with the mingw64 x64 cross-compiler 'incpath', 'libpth',
'ldflags', 'lddlflags' and 'ldflags_nolargefiles' values in Config.pm and
Config_heavy.pl are not being set correctly because, with that compiler, the
include and lib directories are not immediately below $(CCHOME).

fully test package-version-block syntax

Extend the exhaustive package-version tests in t/op/packagev.t
to test each case using package-block syntax in addition to the
package-declaration syntax.