add -d option to Porting/cmpVERSION.pl to display diffs

some more Porting/ script documentation

Add some basic decriptions and/or usage info to some Porting/ scripts

get_isa_hash() is only used in S_isa_lookup(), so it can be static. Also, it has
never been in a released version of perl, so this change has no compatibility
implications.

Following change 34356, which decoupled get_isa_hash() from
S_mro_get_linear_isa_dfs(), we can move get_isa_hash() to any other source file.

Fix a thinko in regression test for [perl #54956]

(follows to commit 8c8eee8276dbc780932b841fe5183943a7117a3d)

Subject: [PATCH] Update autodie to 1.998
From: Paul Fenwick <pjf@perltraining.com.au>
Date: Sat, 03 Jan 2009 11:32:59 +1100
Message-ID: <495EB23B.6080504@perltraining.com.au>

a test for Paul Evan's qr leak

[perl #61392] Method call documentation in perlobj.pod

More comprehensive smartmatch.t, supersedes smobj.t

add eval and error support to the t/op/smartmatch.t test

add undef tests to t/op/smartmatch.t

Minimal mention of overloading.pm in overload.pm

In amagic_call(), offset should be strictly lesser than the SV len to be allowed to access the corresponding string buffer byte

Merge branch 'failing-test-for-overloading-pragma' into blead

Add a new test for overloading.pm

This one overloads "cos", which is currently at the end of the
overload table, so we properly test the bitstring stored in %^H

Fix overload index mismatch in overloading logic.

In amagic_call(), the 'method' arg comes the overload enum in overload.h, but is expected to match the bit set from %overloading::numbers::names. It values wrongly start at 1, differing by 1 from the enum indexes. This didn't appear in the tests because 'method' was reduced modulo 7 instead of 8.

Bump coopyright year in embed.pl and various files that were just touched

(and run "make regen")

Factorize numeric constant for "overloading" lexical hint

Faster sv_utf8_upgrade()

Consider what currently happens when the tokenizer is scanning a string.
It looks through it byte-by-byte until it finds a character that forces
it to decide to go to utf8.  It then calls sv_utf8_upgrade() with the
portion of the string scanned so far.

sv_utf8_upgrade() starts over from the beginning, and scans the string
byte-by-byte until it finds a character that varies between non-utf8 and
utf8.  It then calls bytes_to_utf8().

bytes_to_utf8() allocates a new string that can handle the worst case
expansion, 2n+1, of the entire string, and starts over from the
beginning, and scans the input string byte-by-byte copying and
converting each character to the output string as it goes.

It doesn't return the size of the new string, so sv_utf8_upgrade()
assumes it is only as big as what actually got converted, throwing away
knowledge of any spare.

It then returns to the tokenizer, which immediately does a grow to get
space for the unparsed input.  This is likely to cause a new string to
be allocated and copied from the one we had just created, even if that
string in actuality had enough space in it.

Thus, the invariant head portion of the string is scanned 3 times, and
probably 2 strings will be allocated and copied.

My solution to cutting this down is to do several things.

First, I added an extra flag for sv_utf8_upgrade that says don't bother
to check if the string needs to be converted to utf8, just assume it
does.  This eliminates one of the passes.

I also added a new parameter to sv_utf8_upgrade that says when you
return, I want this much unused space in the string.  That eliminates
the extra grow.

This was all done by renaming the current work-horse function from
sv_utf8_upgrade_flags to be sv_utf8_upgrade_flags_grow() and making the
current function name be a macro which calls the revised one with a 0
grow parameter.

I also improved the internal efficiency of sv_utf8_upgrade so that when
it does scan the string, it doesn't call bytes_to_utf8, but does the
conversion itself, using a fast memory copy instead of the byte-oriented
one for the invariant header, and it uses that header to get a better
estimate of the needed size of the new string, and it doesn't throw away
the knowledge of the allocated size.

And, if it is clear without scanning the whole string that the
conversion will fit in the already allocated string, it just uses that
instead of allocating and copying a new one, using the algorithm I
copied from the tokenizer.  (In this case it does have to finish
scanning the whole string to get the correct size.)  The comments have
details.

It still is byte-oriented.  Vectorization et. al. could yield
performance improvements.  One idea for that is in the comments.

The patch also includes a new synonym I created which is a more accurate
name than NATIVE_TO_ASCII.

Merge branch 'yuval/overloading' into blead

Bump copyright year after previous change

[perl #54956] crash on binary-or lvalue operation on qr//

This fixes the following problem:

  -e 'my $re = qr/x/; $re |= "y"'
  assert failure under 5.10.0, 10-maint, bleed, but not 5.8.8

Mention overloading.pm in perl5110delta

Bump copyright year after previous change d15cd8313063e574

Move variable declaration without initialisation at the top

Plus a comment by Nicholas

Fix a couple of typos in overloading.pm docs

'overloading' pragma

From: Max Maischein <corion@corion.net>
Date: Thu, 01 Jan 2009 17:22:41 +0100
Subject: pod/perlrepositories.pod: s/asterix/asterisk/

First cut at handling git patch numbers on VMS.
Partially based on suggestions from John Malmberg at <495C279C.7020106@gmail.com>.

Switching to `` requires one more \ to escape $Config in new_config=`...`

Switching from $() to `` requires two more backticks in unpushed_commits=`...`

More efficient API choices for string appending.

cflags also runs under /bin/sh so can't use $()

Solaris awk (at least) thinks that + should be escaped.

Solaris /bin/sh doesn't do POSIX $( ... ) syntax for ` .... `

varargs functions such as sv_catpvf can't have compatibility wrappers for
threads, so have to be written longhand as Perl_sv_catpvf(aTHX_ ...)  :-(

much better git related version numbering in our (*nix for now) build process

The net result of this patch is to make available via Config.pm and -v/-V the
details about the git version info we have available for the build. When built within
a git repository git is queried directly. When built from a snapshot or bundle
it is assumed that the source is unchanged, and that the required details are
avaialble in a file called .patch, whose format current is a four field string
in the following format: "$branchname $date.$time $sha1 $describe". The
generator of these files currently resides on camel.booking.com.

* git-describe is now used more directly with -v.
When the prefix of git-describe matches the version number
as determined by the defines in patchlevel.h then we use ONLY
the git-describe output, otherwise we include
the git describe in parenthesis after the version number. Either way
the describe text is optionally followed by a star should there be
uncommitted changes.
eg: This is perl, v5.11.0 (GitLive-blead-136-g58ca560) built for i686-linux
or: This is perl, v5.11.0-1-g58ca560 built for i686-linux
or: This is perl, v5.11.0 built for i686-linux

* include the SHA1 in perl -V summary, and automatically include unpushed
commits in the registered patches list

* include various git/version/.patch details in %Config, as follows:

git_commit_id             # sha1 of HEAD
git_ancestor              # ancestor in $remote/$branch (presumably canonical)
git_describe              # git describe
git_branch                # current branch
git_uncommitted_changes   # "true" if there are any, empty otherwise
git_unpushed_commits      # List of sha1's of unpushed commits
git_commit_id_title       # Used to make the perl -V summary output

Additionally one more value is added depending on build process used: when
building from an rsynced snapshot (or any dist including a file called
.patch) then the second field will be used to populate the
"git_snapshot_date" field. Otherwise if built in a git directory (as is hopefully
recommended these day) then the field will be "git_commit_date" which will be the
commit date of HEAD.

This patch introduces two new files (on top of .patchnum) that will be generated by
make_patchnum.sh: "lib/Config_git.pl" and "unpushed.h", the former is used to make
git data available to Config.pm/%Config without rebuilding everything else, and the
second is used to expose unpushed commits (if any) via the registered patch facility
of patchlevel.h

added information how to build on Leopard

In mro_get_mro, use the length and UTF-8-ness now contained in struct mro_alg
when generating an SV containing the name.

Mark my dual-life modules as authoritative in blead

PL_registered_mros can start with 1 hash bucket, as it will probably never
contain more than "dfs", and even if C3 is loaded, 2 buckets are less than the
default of 8.

Bump switch version to 2.14

Make Switch.pm skip POD like perl does

Patch provided by Daniel Klein <danielklein-à-airpost.net> :

  It also doesn't check for invalid POD which gets ignored by the
  compiler anyway.

Seems that Damian had a POD parser in mind when he devised those
regular expressions, but perl only looks for =cut followed by a
non-letter.

Fix line numbering issues with POD filtered by Switch.pm

Patch provided by Daniel Klein <danielklein-à-airpost.net> :

  I noticed a very subtle bug in the code: it filters out all detected POD
  from the source code. This means that any line number reporting after
  POD code will be out by the number of POD lines removed. So if there is
  an error or a "warn"ing in the code it will be harder for the programmer
  to track down.

Switch.pm doesn't appear to support plain arrays and hashes in case().

Let us direct Switch questions to P5P.

I still can release versions of Switch to CPAN, but I prefer
to consider the blead version canonical.

Handle non-numeric version numbers in ext/Digest/MD5/Makefile.PL

Also define 'localizing' in pp_helem for the sake of clarity

On scope end, delete localized array elements that should not exist anymore, so that the array recovers its previous length. Honour EXISTS and DELETE for tied arrays.

Add save_adelete()/SAVEADELETE() to save on the stack an array element delete

Introduce SvCANEXISTDELETE in pp.h, which simplify the logic in pp_helem and pp_hslice

Fix malformed utf8 in regexec.c

Revise malformed utf8 test case

Add casts to gain C++ compatibility, as spotted by Yves.

Add a key flag HVhek_KEYCANONICAL for Perl_hv_common(), which signals that the
key is in canonical form - any key passed encoded in UTF-8 cannot be represented
as bytes, hence the downgrade check can be skipped. Use this internally for
shared hash key scalars, as they are always canonical.

Verify that pre-computing hashes with shared hash key scalars does not cause
problems.

Also test Perl_hv_common() and pre-computed hashes for SV keys.

Precomputing the hash value for a string representable in bytes, but passed in
in UTF-8, would result in storing the wrong hash value in the hash, and hence
failing lookups. I guess not that much XS code precomputes hash values.

Fix typo in code not yet used.

Move all mro:: XS functions from mro.c to ext/mro/mro.xs, except for
mro::method_changed_in(), which is used by constant.

In struct mro_meta, rename mro_linear_dfs to mro_linear_all, and change it from
AV * to HV *.

In struct mro_meta, rename mro_linear_c3 to mro_linear_current, and change it
from AV * to SV *.

Break out the set-the-MRO logic from the XS_mro_set_mro into Perl_mro_set_mro(),
which can be called from C code (such as the guts of extensions).

Optimisation of the use of the meta structure - don't create a hash if all we
are dealing with is data for the current MRO. Instead the direct pointer "owns"
the (reference to the) data, with the hash pointer left as NULL to signal this.

Remove the comment that the mro:: functions are actually in the core
interpreter, hence you don't actually need to use mro;
This should have remained an implementation detail, as it limits the scope to
move things around within a stable branch. So for now, remove the expectation.

Proper pluggable Method Resolution Orders. 'c3' is now implemented outside the
core, in ext/mro/mro.xs. Also move mro::_nextcan() to mro.xs. It needs direct
access to S_mro_get_linear_isa_c3(), and nothing on CPAN calls it, except via
methods defined in mro.pm. Hence all users already require mro;

Explictly export Perl_mro_meta_init() so that HvMROMETA() can become part of the
public API and be used outside the core. However, leave Perl_mro_meta_init() as
a private implementation detail.

Add Perl_mro_register() to register Method Resolution Orders,
Perl_mro_get_from_name() to retrieve MROs by name, and PL_registered_mros to
store them in. Abolish the static array of mros, and instead register the dfs
and c3 MRO structures.

Add MRO_GET_PRIVATE_DATA() to use the cached mro private data where possible.

Repurpose struct mro_meta to allow it to store cached linear ISA for arbitary
method resolution orders.

mro_linear_dfs becomes a hash holding the different MROs' private data.
mro_linear_c3 becomes a shortcut pointer to the current MRO's private data.

Merge branch 'blead' of nicholas@perl5.git.perl.org:/gitroot/perl into blead

fix problem on some platforms

Tweak make_patchnum.sh to cope with /bin/sh on Solaris 9, in particular errors
most hateful in the man page for test.

tweak dependency

fix bug #57042 - preserve $^R across TRIE matches

ignore bugBLAH.pl files as they are likely dev/test/debugging byproduct

better .patchnum/.sha1 dependency stuff

hopefully this makes FreeBSD happy

add cflags as a dependency for all object files. (it is used to control the arguments they are compiled with)

apparently this isnt necessary after all.

make make_patchnum.sh (more) portable

rebuild cflags if cflags.sh changes

come new version related code in perl.c is not enabled -- explain why

remove .sha1 file as well if necessary

forgot that i was modifying a generated file

add a newline for clarity

better git based version numbering (hopefully sane)

tidier -v output

make git-describe info show up in -V output in the "Characteristics of this binary" section.

Generate .patchnum from .patch or .git

slightly smarter make_patchnum logic, detect if there are changes to the working directory so we dont lie about our version

smarter make_patchnum.sh, get the .patchnum from the .patch file if it exists

clean up .patchnum in make clean

fix broken indentation, and move PERL_PATCHNUM logic to a different place so it only affects perl.c

more build dependency changes, we should make sure that cflags is updated whenever cflags.SH changes

make sure that the perl -v/-V output corresponds to the latest commit

Remove "b" flag for sv_utf8_upgrade_nomg in embed.fnc

This is only a macro, without a Perl_ implementation.
Hopefully this fixes the Win32 build.

sv_dup(): avoid cloning empty arrays

Testing the ARRAY pointer is insufficent.  Arrays emptied by 'shift' or
'pop' may still have non-NULL 'ARRAY' pointers.  Check more carefully to
determine whether the array has anything worth duplicating.  If not, reset
the FILL and MAX offsets to -1 just as 'undef @ARRAY' would.

This avoids potential corruption in the PL_ptr_table during perl_clone().

Regen docs and headers

Necessary after change fe749c9aa803ce74d997ff797103481a55741837

Fix two pod links