PATCH: uniprops.t take advantage of EBCDIC test.pl

This patch removes the partial solution to testing on EBCDIC platforms
that was in uniprops.t (generated by mktables), and replaces it with the
simple complete solution now in test.pl

reduce size of regmatch_state.u.curlyx by 2 words

micro-optimise a bit of trie code

Test the return value of push and unshift.

Convert tiearray.t to test.pl.

Change regexec.c to use new foldEQ functions

Change name of ibcmp to foldEQ

As discussed on p5p, ibcmp has different semantics from other cmp
functions in that it is a binary instead of ternary function.  It is
less confusing then to have a name that implies true/false.

There are three functions affected: ibcmp, ibcmp_locale and ibcmp_utf8.
ibcmp is actually equivalent to foldNE, but for the same reason that things
like 'unless' and 'until' are cautioned against, I changed the functions
to foldEQ, so that the existing names, like ibcmp_utf8 are defined as
macros as being the complement of foldEQ.

This patch also changes the one file where turning ibcmp into a macro
causes problems.  It changes it to use the new name.  It also documents
for the first time ibcmp, ibcmp_locale and their new names.

utf8.c: further doc tweaks

utf8.c: Modify doc comment; change whitespace

This removes the comment about the function name, and converts tabs to
blanks throughout the function, as so much of it is changing already.

It also removes trailing whitespace in other lines of the file.

Revamp ibcmp_utf8 for performance and clarity

I had a hard time understanding how this routine worked; there were no
comments.  In figuring it out, I discovered it could be made more
efficient.  This routine is called over and over in the innermost loops
in regex matching, so efficiency is a concern.

Setup is done once before the main while loop so that it now has two
conditions instead of eight.  The loop was rearranged slightly to be
smaller and a couple of unneeded assignments to temporaries were
removed, and recomputation of some values was avoided.  Several other
small efficiency changes were made.

Several asserts had been commented out, saying that they make tests
fail.  But they no longer do, at least on my platform.  There was a
reason that they were asserts to begin with, and that is they denoted an
insane or trivial condition.  Apparently there have been fixes to the
other code calling this, so I re-enabled them.

The names of several variables were changed to be less confusing; hence
f1 means the fold buffer for string 1 whereas it used to mean its goal,
which is now g1.

The leading indent was changed from 5 to 4 blanks.  I made enough
other changes that I didn't submit this as a separate commit

Clarify some documentation

silence some warnings in hv.c

Since de0a224a057997a65d38856f1981702fca5d7c18, xhv_keys and xhv_max
are the same type, so no casting needed

add handy note on vtable fields

update Perl_magic_methcall description

it's now a varargs function

fix for RT #8438: $tied->() doesn't call FETCH

pp_entersub checked for ROK *before* calling magic. If the tied scalar
already had ROK set (perhaps from a previous time), then get magic (and
hence FETCH) wasn't called.

Avoid overflow warning in chop.t.

It overflows at compile time on 32-bit architectures, so the skip
isn't enough.

fix indendation of DM_* flag definitions

express DM_[GU]ID flags in terms of components

rename DM_ARRAY flag to DM_ARRAY_ISA

This better represents its current role as specifically delaying magic on
@ISA as opposed to a general array magic delay mechanism.

belatedly add a test for RT #51636:

segmentation fault with array ties

Revert "Re: [perl #51636] segmentation fault with array ties"

This reverts commit 90630e3c741716305d7f1da4df5eab5c1bee42cc.

This fix turns out to be wrong, and also made ($<,$>)=(...) fail
(RT #75212).

The original problem was a SEGV in av_clear(). This was mis-diagnosed
as recursive PL_delaymagic issue, and the fix was to temprarily reset
PL_delaymagic to zero. This stopped the mg_set() of $> and $> being
delayed.

The real problem was that mg_free wasn't clearing the [GSR]MG flags
after freeing xmg_magic. This was independently fixed by commit
68f8932eb570af656553ed44c11a23f0a216a3ec.

threads::shared: veto signal despatch if locked

This fixes RT #74868: Safe signals changes causing hangs with threads.

The basic issue is that due to changes in where safe signals can be
despatched, (including now on leaving scope), it's possible for a
perl-level signal handler to be called while PL_sharedsv_lock is held.
If the handler does locking or manipulation of shared vars, then deadlock
can occur.

A robust fix for this is to ensure that the signal handler isn't called
while we have the lock. This is done using the signal handler hook added
in the previous commit.

add PL_signalhook to hook into signal dispatch

This is initially intended for threads::shared and shouldn't (yet)
be considered part of the public API.

Do not advertise Math::TrulyRandom, which hasn't been updated since 1996

(Spotted by Giel Goudsmit)

Remove extraneous semicolon from OP_PRIVATE_ONCE.

Thus silencing compiler noise like:

OP_PRIVATE_ONCE(op_aassign, OPpASSIGN_COMMON, ",COMMON");
........................................................^
%CC-I-EXTRASEMI, Extraneous semicolon.
at line number 846 in file D0:[craig.blead]dump.c;1

Deprecate find_rundefsvoffset()

The UNDERBAR macro should use find_rundefsv() as well

Make pp_reverse fetch the lexical $_ from the correct pad

This is achieved by introducing a new find_rundefsv() function in pad.c

This fixes [perl #75436].

Skip two Japhs that use the fact that split in void context splitted
to @_. This is no longer true in 5.12.0 and upwards.

Document IO::Socket getsockopt and setsockopt

get/setsockopt are not explicitly documented. Note that the documented
sockopt() method is a wrapper around get/setsockopt, but does not cover
all cases because of the hardcoded level (= SOL_SOCKET).

move the fresh_perl() tests above the environment tests

the environment tests were resetting environment variables useful for
running fresh perls, like LD_LIBRARY_PATH.

PATCH: teach diag.t new warning function names

A number of function names that do warnings have been added, but diag.t
hasn't kept up.

This patch changes it to look for likely function names in embed.fnc, so
it will automatically keep up in the future.  There's no need to worry
about it looking for inappropriate functions, as the syntax of messages
that it looks for is so restrictive, that there won't be false
positives.  Instead there are still many messages it fails to catch.

As a result of it's falling behind several issues have crept in.  I
resolved the couple I thought were clear (including one in a comment;
diag.t doesn't strip comments, but mostly it doesn't matter), and added
the others to the <DATA> section to ignore.
are

State the requirement of a C89 compliant ANSI C-compiler

In Perl_pad_add_name(), use sv_upgrade() directly rather than new[AH]V().

As newAV() and newHV() are now merely wrappers around sv_upgrade(), and the
existing SV is always brand new and of type SVt_NULL, call them on it, rather
than disposing of it as a side effect of storing a(nother new) SV.

Also, no need to set SvPADMY() again, as it is already set.

Resolves RT #73092.

Reorder the entry for die, moving discussion of the exit code later.

Change to start with "C<die> raises an exception." and phrase in terms of
handling exceptions, and then how uncaught exceptions result in process exit.
Do not give details of the exit code in the first paragraph. Move this to a
later paragraph, clarify that $! is often unpredictable, and stress that 255
is the last resort exit code.

handle perl extended utf8 start bytes

perl uses UTF8_IS_START() to test if a byte is a valid start byte,
this didn't take perl's extended UTF-8 range into account.

[perl #70075] no 6; broken

the original patch included a fix, but this problem was fixed in
faee19b5, so only apply the test.

PATCH: [perl #75138] "\c`" -> " "

Attached is a patch for some of this issue.  I took Nicholas' advice,
and if the result of \cX isn't a word character, the output message will
precede it with a backslash, so the message in the example would be

"\c`" more clearly written simply as "\ " at -e line 1.

I think that message is true.

I also added tests.

There is a test that guarantees that we won't ship 5.14 with things as
they are now in it.  I added wording to the comments next to that test
to be sure to verify with this email thread if we should remove the
deprecation, and mentioned that in the explanatory wording in the pod.
I support removing the deprecation, but for now I'm not touching that,
to see what other issues may yet arise before 5.14.

Document tricks, work-arounds for user-defined casing

And add a .t file to verify that it works.

Un-TODO a threads-shared test that now passes

Commit bb1bc619ea68d9703fbd3fe5bc65ae000f90151f has
fixed a threads-shared TODO test in t/object.t.

Add mktables option for development use

The -output_names option was added.  It will cause the generated file
tables to not have ranges, and each line will have the character name.
This makes it easier to compare what characters are in given tables,
from version to version, or to compare the differences between
properties.

mktables -- don't create Names table unless asked

This speeds up mktables by not creating the Names table unless asked to,
by someone adding it to the list of tables to be output.  Perl uses a
different table than this one for charnames, so the one being suppressed
isn't generally used.  Previously it was created but not output.  Now,
we skip the useless creation step.

Fix priority of suppressed vs. explicitly output

It's not clear this is a real bug, but it is a surprise.  If a table is
in the suppressed list, it isn't output, even if it is in the
to-be-output override list.  This latter list is non-empty only if the
user has hand-edited the the program to force an output.  So this patch
makes that list have priority.

Remove obsolete comment

Commit: 6c4b69c35161f79a5088d6c3070cc17a0e4978b2 made this comment
obsolete; forgot to remove it then.

Generate simple case folding tables only if asked

Speed up mktables by not generating the simple case folding tables
unless asked to.  Previously the simple tables were generated, and then
the full tables were initialized with them, and then overwritten with
the full mappings.  This is an artifact from the fact that the data
comes to us in two files, one  with the simple mappings (among other
things), and another with the full mapping overrides.  Now, the full
tables are initialized from the first file, and the second file
overrides the full mappings.  The simple tables are not generated by
default, so this saves, copying them.

Add comment about objaddr in mktables

Slightly modified to include the commit id by Steffen.

Use in-line 'no overloading' for speed

An earlier performance enhancement was to change the subroutine that
gets the address of a ref to using 'no overloading' and then numifying
the ref, which returns its address.  This patch speeds things up
slightly by in-lining the "no overloading" so that the function call
overhead is avoided.

It also gets rid of the kludge that was done before the original
speed-up that created a local in the call stack of one of the classes so
that the address would only have to be executed once per call stack;
This was subject to failure if maintenance of the code perturbed things
so it didn't work; now the overhead is minimal, so the address is gotten
in each call.

Don't require doubled backslashes in perldiag.pod

Prior to this patch, messages in perldiag.pod had to have \\ instead of
the correct single backslash in order for diag.t to not complain.

Eliminate some newSV(0)s by merging the SV allocation with first modification.

Only allocate entries for @_ when the subroutine is first called.

Previously, @_ was allocated for every subroutine at compile time, with a
default sized AV, hence space for 4 entries. We don't actually need to
allocate the space for entries, as there is already a check at call time as to
whether @_ is long enough.

valgrind suggests that this saves allocating 23K (on a 64 bit platform) when
running pod2man on perlfunc.pod. As well as the absolute saving, there is also
benefit in deferring allocation for subroutines actually called - for a program
which forks, @_ is less likely to be in pages shared COW with the parent.

Resolves RT #72416.

Fix the regexp in t/porting/args_assert.t, and add 3 missing macros.

Resolves RT #72800.

Properly free paren_name_list with its regexp.

Previously the AV paren_name_list would "leak" until global destruction.
This was only an issue under -DDEBUGGING. Fixes RT #73438.

Clarify that count is bytes not unicode characters

Display characters as Unicode for clarity

Add tested for corrupted regnode

Use sizeof instead of hard-coded array size

The array should be declared with its actual size.

Typo

When assigning to $^P, don't zero $DB::single, $DB::trace and $DB::signal.

Previously, whenever a true value was assigned to $^P, all 3 were set to 0.
Now only set them to 0 if they aren't already SvIOK().

Resolves RT #72422.

Migrate most other op_private to name conversion into S_op_private_to_names().

In Perl_do_op_dump(), move calls to append_flags() into S_op_private_to_names()

Add C_ARRAY_END(), returning a pointer to after the last element of an array.

Refactor the macro append_flags() in dump.c to use it.

In Perl_do_op_dump(), reorder the ops within the  if (o->op_private) clause.

In Perl_do_sv_dump(), use append_flags() for PVCV, PVFM and PVGP flags.

In Perl_do_sv_dump(), for PVCV and PVFM, test for SvCOMPILED(sv) last.

In Perl_do_op_dump(), move runs of op_private name tests to S_append_flags().

Create S_append_flags() from a common code pattern in dump.c.

Convert repetitive sequences of "if this bit is set, append that string" into
structures and a function call. Use a custom macro append_flags() to make
calling it easer.

This makes the object code slightly smaller.

InPerl_boot_core_UNIVERSAL() use a data structure for calls to newXS{,proto}

Replacing the longhand list of calls to newXS{,proto} with loop over a data
structure reduces the object size by over 1K.

Naif calls segfault T_PRTOBJ of the stock typemap

The T_PTROBJ INPUT in stock typemap only uses 'sv_derived_from' for
input validation, that cause a segfault when the argument passed match
the class name.

Add simple_bitmask and varies_bitmask to globvar.sym.

global.sym is generated; is there a way to automate globvar.sym?

Convert REGNODE_{SIMPLE,VARIES} to a bitmask lookup, from a strchr() lookup.

This is O(1) with no branching, instead of O(n) with branching.
Deprecate the old implementation's externally visible variables
PL_simple and PL_varies. Google codesearch suggests that nothing outside the
core regexp code was using these.

Change regcomp.pl to 0-based indexing for its arrays and loops.

Encapsulate lookups in PL_{varies,simple} within macros REGNODE_{VARIES,SIMPLE}

This allows the implementation of the lookup mechanism to change.

Generate PL_simple[] and PL_varies[] with regcomp.pl, rather than hard-coding.

Add a new flags column to regcomp.sym, with V if the node type is in PL_varies,
S if it is in PL_simple, and . if a placeholder is needed because subsequent
optional columns are present.

Re-work the regcomp.sym to remove use of hard tabs. No data change.

The tab separating name and type is replaced with whitespace, the tab marking
the start of the description is replaced by a semicolon.

Correct the node numbers in comments.

Really, should we be maintaining these manually?

Remove stray tab character in definition for VERB.

As VERB is "Used only for the type field of verbs" this is only a cosmetic
change, causing that correct description to appear in the comment in
regnodes.h. The change to regarglen doesn't affect anything, as the VERB type
is never actually used for compiled nodes.

Fix clang "incompatible operand types" error in ternary expressions.

PATCH: user defined special casing for non utf8

Users can define their own case changing mappings to replace the
standard ones.  Prior to this patch, any mappings on characters whose
ordinals are 0-222, 224-255 that resulted in multiple characters were
ignored.

Note that there still is a deficiency in that the mappings will be
applied only to strings in utf8 format.

Change a few tests to use new test.pl EBCDIC stuff

A few .t's are delivered here which use the new conversion functions in
test.pl.  Obviously, this commit doesn't have to be incorporated, but it
does simplify those tests.

Add functions to test.pl for easier EBCDIC testing

This patch adds functions native_to_latin1($) and latin1_to_native($) to
test.pl.  Use of these in test scripts allows for less special case code
(or deciding to blow it off and just skip EBCDIC platforms).  If a
string is all ASCII, one has always been able to just use it and not
worry about EBCDIC.  But non-ASCII, latin1 characters have been a
different matter.  This allows one to wrap those characters in a
function call and get automatic EBCDIC compatibility.

The functions do not handle UTF-8/UTF-EBCDIC conversions.  This is more
complicated, and I was worried that that part was not appropriate for
test.pl which should use the bare minimum of Perl functionality.  These
functions use tr///, beyond what other parts of test.pl use.

Fix CLONE/weakref bug revealed by adf8f095c5881bce.

The AV unreferenced in the clone_params needs to be reference counted, rather
than not referenced counted, because the fixup to ensure that all otherwise
0-reference count scalars have a reference (on the temps stack) happens after
CLONE is run, and CLONE can run Perl code that causes their reference counts
to increase from then return to zero, which prematurely triggers sv_free().

Update rsync sources in perlhack

Add the perl equivalent for av_make.

Signed-off-by: David Golden <dagolden@cpan.org>

Add the Perl equivalent for av_len.

Signed-off-by: David Golden <dagolden@cpan.org>

Add a missing comma in the av_fill() docs.

Minor, but still good enough for a commit.

Signed-off-by: David Golden <dagolden@cpan.org>

Clarify the av_fetch() documentation.

Thanks to LeoNerd and Zefram on #p5p on IRC for some insights and
suggesting versions for the modified text. I ended up using Zefram's
version.

Signed-off-by: David Golden <dagolden@cpan.org>

Add Perl equivalent for av_exists().

This mentions that it's equivalent to exists($myarray[$key]).

Signed-off-by: David Golden <dagolden@cpan.org>

Add a Perl equivalent to av_delete().

Signed-off-by: David Golden <dagolden@cpan.org>

Add the Perl equivalent example to av_clear.

Signed-off-by: David Golden <dagolden@cpan.org>

Link from GIMME_V to perlcall for a usage example.

Added a link from the GIMME_V entry to perlcall for a usage example.

Signed-off-by: David Golden <dagolden@cpan.org>

PATCH: correct misstatement, formats in perlunicode

This is suitable for 5.12.2, but not many people use this feature.

Fix for typo in 0824d66743a706cd, in the expected output with threads.

add OPpDEREFed flag to avoid double mg_get()

    The previous commit made various ops such as rv2av unconditionally do
    an SvGETMAGIC(). Under some circumstances this could cause a double
    mg_get() (and hence double FETCH etc). In particular, when the
    proceeding op was something like aelem with OPpDEREF, the aelem would
    call vivify_ref(), which would call magic. So in peep(), mark
    OP_RV2[SAH]V ops with the new OPpDEREFed flag if the preceding op was
    OPpDEREF. Then use this flag to avoid a second dose of magic.

    Note that RV2GV probably needs this flag too, but there weren't any
    spare private flag bits left for that op (I think).

Deref ops ignore get-magic when SvROK(sv)

This is just like bug 68192, except in this case it’s a different set
of operators that have had this problem for much longer.

Just the tests from a proposed fix for 68192

The bug was fixed in a different way by davem, but the tests
are needed as the base for a commit to follow

Replace wrong tr/// table in perlebcdic.pod

perlebcdic.pod contains a helpful table to use in tr/// to convert
between EBCDIC and Latin1/ASCII.  Unfortunately, the table is the
inverse of the one it describes, as I discovered in following the
directions on how it was extracted.

The actual code that uses the table uses it in the inverse way, so it
actually works correctly, but if you follow the instructions to get the
tables corresponding to the other recognized code pages, you will get
the inverse of the ones you wanted, and things won't work out.

This patch changes the table to its inverse, and changes the sample code
to correspond, as this is easier for the person trying to follow the
instructions since deriving the old table is somewhat more complicated.

I also changed the table to hex from octal, as that is more the norm
these days, and I changed to recipes in the pod to print out leading
zeros to make all the values the same length, as the table that they can
generate has them.

Remove unused, wrong #define in utf8.h

is unused in the code, and is wrong for EBCDIC platforms, as there can
be invariants there that aren't ASCII.  I simply removed it.

Fix build warnings introduced by v5.13.0-139-ge0fa7e2

Add Perl_clone_params_{del,new} and Perl_sv_dup to the "no threads" exclusions.

Set PADSTALE on all lexicals at the end of sub creation.

The PADSTALEness of lexicals between the 0th and 1st call to a subroutine is now
consistent with the state between the nth and (n + 1)th call.

This permits a work around in Perl_padlist_dup() to avoid leaking active pad
data into a new thread, whilst still correctly bodging the external references
needed by the current ?{} implementation. Fix that, and this can be removed.