Omnibus strict and lax version parsing

Authors: John Peacock, David Golden and Zefram

The goal of this mega-patch is to enforce strict rules for version
numbers provided to 'package NAME VERSION' while formalizing the prior,
lax rules used for version object creation.  Parsing for use() is
unchanged.

version.pm adds two globals, $STRICT and $LAX, containing regular
expressions that define the rules.  There are two additional functions
-- version::is_strict and version::is_lax -- that test an argument
against these rules.

However, parsing of strings that might contain version numbers is done
in core via the Perl_scan_version function, which may be called during
compilation or may be called later when version objects are created by
Perl_new_version or Perl_upg_version.

A new helper function, Perl_prescan_version, has been added to validate
a string under either strict or lax rules.  This is used in toke.c for
'package NAME VERSION' in strict mode and by Perl_scan_version in lax
mode.  It matches the behavior of the verison.pm regular expressions,
but does not use them directly.

A new test file, comp/packagev.t, validates strict and lax behaviors of
'package NAME VERSION' and 'version->new(VERSION)' respectively and
verifies their behavior against the $STRICT and $LAX regular
expressions, as well.  Validating these two implementation should help
ensure they each work as intended.

Other files and tests have been modified as necessary to support these
changes.

There is remaining work to be done in a few areas:

* documenting all changes in behavior and new functions

* determining proper treatment of "," as decimal separators in
  various locales

* updating diagnostics for new error messages

* porting changes back to the version.pm distribution on CPAN,
  including pure-Perl versions

Changed Copyright year as suggested by karl williamson in nntp.perl.org/group/perl.perl5.porters/155493

* Em dash cleanup in pod/

I looked at all the instances of spaces around -- and in most cases
converted the sentences to use more appropriate punctuation. In
general, the -- in the perl docs seem to be there only to make
really complicated and really long sentences.

I didn't look at the closed em-dashes. They probably have the same
sentence-complexity problem.

I left some open em-dashes in place. Those are the ones used in
lists.

* FAQ sync for Perl 5.12 release candidate

This is commit cfc60b072536b6232cec8a3a3551c8bdf3c3eefd from the
perlfaq repository at git@github.com:briandfoy/perlfaq.git

Tom Christiansen's perlfunc cleansing, part 2

From "PATCH: perlfunc cleanup, part 2" (28574.1263366404@chthon)

Quite a lot here, I know.

I probably spent the most time on pack(), as you'll see, but there are
plenty of rephrasings of awkward wordings plus the occasional orthographic
fix scattered throughout.  I've added a few more examples here and there,
and certain simple things like perl vs Perl have been set to canonical form.

I've eyeballed the diffs for my own typos, and I've looked at the whole
thing after running it both through nroff (not so pretty, but better) and
also through troff (*much* better).

I didn't try to make sure all code inserts were indented the same number of
spaces, not because it doesn't need being done, but because I didn't want
to blow this patch up that much more than it already is.  You can see the
ragged left in the code inserts if you troff->ps->pdf view it.  Oh, well.

Hope this helps,

--tom

Update File-Fetch to CPAN version 0.24

  Changes for 0.24        Wed Jan  6 23:32:19 2010
  =================================================
  * Applied a patch from brian d foy RT #53427
    that makes new() respect sub-classes.

test stash_name in less.pm

catch the one $class instance missed in less.pm

Document UNIVERSAL->import deprecation in perldelta

Mention name of C constant in feature.pm for greppability

The new lvalue warning should not be turned on by default

A check for the warning category was missing from commit
885ef6f56b61fd750ef3b1fa614d11480baac635. Also, document
the warning category in perldiag.

Document new lvalue warning in perldelta

The "illegalproto" warning category is new in 5.11.4, not 5.11.3

Nits in perldelta template

Add perl5114delta.pod

With $PERL_UNICODE we still need to find utf8.pm

fix for [perl #65582] anon globs segfaulting

The following code has had differing behaviours:

    my $io_ref = *STDOUT{IO};
    my $glob = *$io_ref;

          defined($glob)    "$glob"
          --------------    -------
5.8.8       false           "" with uninit warning
5.10.0      true            (coredump)
this commit true            ""

$glob is essentially an anonymous typeglob (no NAME, EGV or GvSTASH).
It shouldn't register as undefined since it's clearly a valid GV with a
valid IO slot; Stringifying to "" seems to be the right thing, and not
warning seems right too, since its not undef.

fix for [perl #61976] Errno ($!) not evaluated to a error message string
(5.10.0 in taint mode)

Change 27176 / 2a509ed3c095f7d712013e653f68821f6bb2d6db fixed a taint
bug, which as a side effect, meant that $! used within a tainted expression
failed to have a string value.

This quick fix just makes sure the POK flag is set (prior to it being
shifted back to pPOK).

Add note to .pod for compound form perl extensions

Bump less' version

allow indirection between less and its hints stash name

Remove [[:posix:]] references because changes not going into 5.12

fix for [perl #41138] $_ leaks under threads

It's possible for an interpreter to get cloned with an SV copied that ends
up only linked from @_. For example, local $x causes a link to the
original $x SV to be added to the save stack, but when cloning a thread
the save stack isn't copied. If the old $x was also in someone's @_,
then it gets copied, but because @_'s elements  aren't normally reference
counted, old $x ends up with a refcount of zero, and you get a "leaked"
warning when the thread exits.

The workaround is to reify any reify-able AVs in the cloned interpreter
during cloning.

Also fixes [perl #70602], [perl #70974]

PATCH: perlfunc cleanup, part 1

So I started tidying up the C<delete> and C<each> documentation,
but ended up diddling the file pretty much all over.  There are
some typo corrections, but most of this is just smoothing out
infelicitous wording.  I did add one brief example to C<glob>.

I've made no warnings about delete and slices with negative
indices; I'm hoping that may be fixed, as David has suggested
be done.  It's not a political edit, just a copy-edit.

This is obviously only the first portion of the file, but the
tweaks were getting extensive enough I thought I'd better send
in a checkpoint.  I'll finish it up over the next several days.

[perl #71788] Skip $) test when NGROUPS_MAX is too small or when on darwin

Remove an extraneous space

Re: [perl #71852] Warning "/* within comment" in Win32 config.h-related files

(Applied patch and regenerated canned config files)

Message-ID: <4B44FB2B.8080509@volny.cz>

Retain builtin attributes from pre-declaration. Fixes [perl #68758].

Ignore a lvalue attribute after the subroutine has been defined, and warn about it. Fixes part of [perl #68758].

[perl #71924] shmget/semget may return zero as valid id

Documentation in perlipc thus fixed by using // instead of ||

Completely avoid autovivification of CORE::GLOBAL::caller

(by using symbolic references as suggested by Vincent)

Typo fix : caller:: isn't caller

(Noticed by Aaron Crane)

Add new prototype warning test file to MANIFEST

Perldelta presentation nits

Move prototype parsing related warnings from the 'syntax' top level warnings category to a new 'illegalproto' subcategory.

Two warnings can be emitted when parsing a prototype -

  Illegal character in prototype for %s : %s
  Prototype after '%c' for %s : %s

The first one is emitted when any invalid character is found, the latter
when further prototype-type stuff is found after a slurpy entry (i.e. valid
character but in such a place as to be a no-op, and therefore likely a bug).

These warnings are distinct from those emitted when a sub is overwritten by
one with a different prototype, and when calls are made to subroutines with
prototypes - those are in the pre-existing sub-category 'prototype'.

Since modules such as signatures.pm and Web::Simple only need to disable
the warnings during parsing, I chose to add a new category containing only
these. Moving these warnings into the 'prototype' sub-category would have
forced authors to disable more warnings than they intended, and the entire
raison d'etre of this patch is to allow the specific warnings involved to
be disabled.

In order to maintain compatibility with existing code, the new location
needed to be a sub-category of 'syntax' - this means that

  no warnings 'syntax';

will continue to work as expected - even in cases like Web::Simple where all
subcategories extant prior to this patch are re-enabled (this is another
reason why a move into the 'protoype' category would not achieve the desired
goal).

The category name 'illegalproto' was chosen because the most common warning
to encounter is the "Illegal character" one, and therefore 'illegalproto'
while minorly inaccurate by ignoring the (relatively recent and unknown)
second warning is an easy name to spot on an initial skim of perllexwarn
and will behave as expected by also disabling the case of an unusual prototype
that happens to look like a normal one.

This patch updates pod/perllexwarn.pod, perldiag.pod and perl5113delta.pod
to document the new category, toke.c and warnings.pl to create and implement
the new category, and a new test t/op/protowarn.t that verifies the new
behaviour in a number of cases. It also includes the files generated by
regen.pl that are found in the repo - notably warnings.h and lib/warnings.pm.

2.024

[perl #71948] Documentation error for (*MARK)

The NAME portion of (*MARK:NAME) is not optional.

Update skip count in perlio.t.

Follow-up to af9379e9ed4daaed65ba42baa492afc842917dd5.

PL_sv_serial only exists ifdef DEBUG_LEAKING_SCALARS

Fix for 4149198fba64273f3fea8fc073ccb5d080059f4a which broke
debugging build. Whoops!

Update Archive-Extract to cpan version 0.38

  Changes for 0.38    Wed Jan  6 23:48:52 2010
  ============================================
  * Apply a patch from Michael G Schwern RT #53246
    extract() is vulnerable to print globals.

fix for [perl #66108] Leaked scalars

@DB::args is a hack: it gets set with non-refcounted aliases of the
caller's @_ elements.

Once the sub that ran caller() has exited, @DB::args will contain garbage:
elements will be SVs that have been freed, re-assigned etc.

So as a minimum, when cloning an interpreter, skip cloning @DB::args.

reset sv_serial for each new interpreter

to a value of 0 + 1000000*interpreter_number
where interpreter_number is currently just a dirty hash of my_perl

in perl_clone() move common code outside ifdef/else blocks

e diff looks confusing, but basically it changes:

    #ifdef PERL_IMPLICIT_SYS
      ...
      COMMON_BLOCK
    #else
      ...
      COMMON_BLOCK
    #end

into
    #ifdef PERL_IMPLICIT_SYS
      ...
    #else
      ...
    #end
    COMMON_BLOCK

in perl_clone() shuffle some ifdefs about a bit

No change in logic.

unify #ifdef indent on both sides of PERL_IMPLICIT_SYS in perl_clone()

include sv_debug_serial field in debugging output

Avoid race conditions with files in /tmp, by explicitly checking dev & inode.

(Concerns raised by and the form of the solution suggested by Bram.)

Correct errors in the use of multiple targets, which could break parallel make.

Where a single script (or program) generates multiple files, the Makefile rule
was written with those multiple files as targets on the same line. This would
be correct if that syntax meant "these $n things are built by these commands".

However it doesn't - it means "to build any of these targets, run these
commands", and hence to run them once for each of the targets. This can result
in race conditions with parallel makes, with files being trampled on and
strange failure modes.

Hence the correct style is to give one of the targets on the rule, and rules
that make all the other targets that are generated depend on that target.

Unlink PerlIO's tempfiles for the case of no -T, but bogus $ENV{TMPDIR}

When -T is enabled, or when $ENV{TMPDIR} is bogus, perlio.c used a pathname
matching </tmp/PerlIO_??????>. However, it was only correctly unlinking the
file for the case of -T enabled.

Cleanup PerlIO temp files

[perl #71870] Use of uninitialized value in bitwise and B::Deparse

It's better to just silence it in Deparse rather than stopping
B::PMOP::reflags from returning undef because of a non-constant regexp.
That way, we keep the possibility to test for this situation, and it stays
in line with B::PMOP::pregcomp.

Also bump $B::Deparse::VERSION.

Fix typo in reference

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Document that interpolating a '(??{ code })' construct in a regular
expression also requires "use re 'eval'", just as '(?{ code })' does.

Fix a couple of typos and standardize on using 'regexp' instead of
using a 'regex'/'regexp' mash.

vaproto for the other OS's

Follow-up to d03b3b00ac22f32af87a752669a46d9d06ae1561

Increase default pipe buffer size on VMS to 8192 on 64-bit systems.

As Charles Lane's piping code reaches its 10-year anniversary, it's
time to bump up the default to something slightly more appropriate
for modern systems.  In addition to other benefits, this fixes test
failures when a test script outputs a large amount of text on one
line (e.g., t/re/reg_posixcc.t).

vaproto for VMS.

Follow-up to d03b3b00ac22f32af87a752669a46d9d06ae1561, which broke
the build.

[perl #71748] Bleadperl f0e67a1 breaks CPAN: Template::Plugin::YAML::Encode 0.02

Unsurprisingly, the nature of the bug is that I accidentally changed
the logic of one of the several types of space skipping.  Fix attached.

Avoid a possible race condition where a parallel make might
attempt to update git_version.h and lib/Config_git.pl in
concurrent processes.

Sort the initialisers to non_bincompat_options[], and fix a whitespace "error".

Add USE_ATTRIBUTES_FOR_PERLIO to the list of -V's compile-time options.

Tie::Hash::NamedCapture::* shouldn't abort if passed bad input [RT #71828]

Note which t/ subdirs are not suitable for test.pl use

FD 4 is not (yet) open at this stage.

Regenerated after backporting 88a6f4fc380d30c40
Please *do* remember to notify the metaconfig folk when directly patching Configure
Bring back Missing parts

PATCH: minor typo cleanup of pod/ directory

These are all in the pod/ directory, and only the first is a code fix.
There was also a single lingering ISO 8859-1 encoding that missed the
UTF-8 upconvert.  The rest are cleanups for typos, some of which seem
to have been around for a rather long time: spelling errors, incorrect
possessives, and extra, missing, or duplicated words.

If you actually read through, I bet you'll realize what sparked this. :)

--tom

Signed-off-by: Abigail <abigail@abigail.be>

perlguts: mutli-threaded typo

--
Reini Urban
http://phpwiki.org/           http://murbreak.at/

From 76ebe81f50d97e606c4243d5060d4749f7408deb Mon Sep 17 00:00:00 2001
From: Reini Urban <rurban@x-ray.at>
Date: Mon, 4 Jan 2010 18:09:25 +0000
Subject: [PATCH 1/2] perlguts: mutli-threaded typo

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

perlguts: B::Generate already works

--
Reini Urban
http://phpwiki.org/           http://murbreak.at/

From 520f6e768bdf71ad35740698df2d4c7f0bb7ae9e Mon Sep 17 00:00:00 2001
From: Reini Urban <rurban@x-ray.at>
Date: Mon, 4 Jan 2010 18:16:14 +0000
Subject: [PATCH 2/2] perlguts: B::Generate already works

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

A mechanism for inlineable OP equivalents of XSUBs is a TODO.

Following fd909433c7437296, check that {sub f} correctly stubs the subroutine.

Allow "{sub f}" to compile

Bump version of UNIVERSAL.pm

dial back warnings on UNIVERSAL->import

still warn on UNIVERSAL->import(@args)
do not warn on UNIVERSAL->import; this means "use UNIVERSAL;" is
still accepted without warning (for better or worse)

advice regarding make regen changes

CC compiler updates for >=5.10

    PP_EVAL: nullify the string loop, analog to the old retstack.
             pp_leaveeval sets: retop = cx->blk_eval.retop
    PP_ENTERTRY: See PERL_FLEXIBLE_EXCEPTIONS in cop.h

TT is not a terminal in lots of situations.

d1585ceaf66a98c6f5f3520ecf3dec4ccc98a1d6 didn't go far enough.  TT may
be a mailbox when we're in a subprocess, for example.  So skip on VMS
unless TT translates to one of the more common terminal device names.

s/text message/text editor/ in the last change to perlrepository.pod

Spotted by David E. Wheeler.

Update perlrepository.pod with new guidelines on commit messages and patches.

Karl Williamson pointed out to me that our existing guidelines on
commit messages in 'perlrepository.pod' were somewhat less than ideal.

This commit improves our documentation for commit messages, though it
may want cleanup or further improvement.

Correct \p{print} to not match LINE SEPARATOR nor PARAGRAPH SEPARATOR

The Unicode Standard defines (as a recommendation) that Print be based on
graphical characters and blank characters (minus controls).  Perl's has been
based on space rather than blank. The only practical effect this has is that
Perl erroneously matches the LINE SEPARATOR and PARAGRAPH SEPARATOR, which
clearly are not printable characters.

Signed-off-by: Abigail <abigail@abigail.be>

Add a usage scenario and common use pattern to perldoc -f quotemeta

PATCH: correct grammatical error in perlunicode.pod

Attached

From 75bb462da5f7ea844447dfdd7d9aadfe15f6dcf3 Mon Sep 17 00:00:00 2001
From: Karl Williamson <khw@khw-desktop.(none)>
Date: Tue, 29 Dec 2009 13:08:28 -0700
Subject: [PATCH] Correct grammatical error in perlunicode.pod

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

Guard open.t against Encode not being available

Similar changes should/could be made to cpan/CGI/t/utf8.t
and ext/XS-APItest/t/utf16_to_utf8.t

Reasoning is my smokes being built without Encode, because
it takes too long.

PATCH: document all Perl Unicode \p{} extensions

This also changes some C<> constructs.

From d01b049b3aa9bc3a394adb30d6db735f5dd52321 Mon Sep 17 00:00:00 2001
From: Karl Williamson <khw@khw-desktop.(none)>
Date: Mon, 28 Dec 2009 09:14:48 -0700
Subject: [PATCH] Document all perl Unicode \p extensions

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

PATCH: Makefile in lib/unicore shouldn't clean .t file

Attached.

From 35eb2eee53740951b4f3dd7e96dc030d38e84ba7 Mon Sep 17 00:00:00 2001
From: Karl Williamson <khw@khw-desktop.(none)>
Date: Sun, 27 Dec 2009 20:30:00 -0700
Subject: [PATCH] make clean shouldn't remove .t file

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

* fix a perlop fix from debian: bugs.debian.org/514814

The original said

     C<< <I<filehandle>> >>

The italic is probably meant for "filehandle", which is a stand-in
for a concrete filehandle. The italic should not apply to the
syntax for the line input operator.

The fix turned it inside out and brought back the ugly interior
sequences:

     I< C< E<lt>filehandleE<gt> > >

It's much better without worrying about the italic face.

Update pods

Signed-off-by: Abigail <abigail@abigail.be>

Update .pods

Signed-off-by: Abigail <abigail@abigail.be>

[perl #70748] threads panic in del_backref

This was caused by change 34210/41fae7a, which simply reveals a bug that
already existed.

A sub returned from a thread brings a lot of baggage with it, including
some globs. There is this comment near the top of Perl_sv_dup in the
if(param->flags & CLONEf_JOIN_IN) block that reads:
        /** don't clone stashes if they already exist **/

Then later on, under case SVt_PVGV:
        /* Don't call sv_add_backref here as it's going to be
           created as part of the magic cloning of the symbol
           table. */

So what’s happening is that there is a glob with no back-reference in its
stash, which glob is sometimes freed after the stash, so it induces the
panic.

Fix up pods for \X

expand-macro.pl was printing the header include to STDOUT by mistake.

This stopped it expanding macros in header files not directly or indirectly
included via perl.h or EXTERN.h

The bug was introduced with change 4784c5e80ccedd3734ce162e02ed1c7e25e60c01.

The use of PTH will be unsupported in perl-5.12 for HP-UX 10.20

have corelist-perldelta.pl generate add'l sections

fix CPAN.pm test broken by hotfixes

local version number bumps for CPAN.pm hotfixes

note CPAN hotfixes in perldelta

hotfix CPAN.pm to force only ftp URLs

CPAN::FTP has problems with curl and other command line
programs.  Having mirror autoconfig prefer http URLs was
triggering these bugs for any bootstrap installation without
LWP.

This hotfix forces only ftp URLs from autoconfig which
hides the problem for now until CPAN::FTP can be fixed
upstream.

hotfix App::Cpan

Suppresses uninitialized warnings and NullLogger output.  Changes
have already been submitted to upstream repos.

fix pod typo in how_to_write_a_perldelta.pod

Update Module::CoreList for the new Encode (and seeming missing updates from M::B update)

First pass at noting the update to Encode 2.39 rgs applied