lexer API fixes

The attached patch contains these fixes for the lexer API work:

* fix MinGW-revealed problem in BOM logic (replacing Jan's patch)
* fix warnings from t/op/incfilter.t
* probably fix g++ failure due to goto bypassing initialisation
* perl5112delta update

-zefram

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

minitest fixes

Attached patch fixes two small bugs that interfere with minitest.

-zefram

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

Add a few more distribution versus module name exceptions

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Add the 5.11.2 release

{camel,dromedary}.booking.com names are gone, so update them to {,users.}per5.git.perl.org

And run podtidy.

Module::CoreList updated for 5.11.2

Fix two spelling errors

Bump 5.11.1 -> 5.11.2 in all sorts of places it's (oh so unfortunately) hardcoded

Updated CPAN path for Module::CoreList in Maintainers.pl

Fix minor typo in comment

Skip the scope name checks if PL_scopestack_name is NULL.

It's possible that someone has built a module with -DDEBUGGING, but they're
using it against a perl built non-DEBUGGING, in which case PL_scopestack_name
will be NULL. Better to skip the checks than to SEGV.

PL_scopestack_name needs to be present, -DDEBUGGING or not.

-DDEBUGGING and not need to be binary compatible with each other. Fixes the
test failures in ext/re caused by d343c3ef45381352 for threaded builds without
-DDEBUGGING.

Update CPANPLUS::Dist::Build to cpan version 0.44

  Changes for 0.44
  ================
  Make the prereq resolving fallback to _build/ querying if the 'prereq_data' action fails.

  The edge-case of a distribution that is bundling an older version of Module::Build exposed this
  flaw. Thanks to Johan Vromans for questioning the test report for EekBoek.

Correct the arguments to MBTest->tmpdir() to reflect implementation changes.

Updated Module::Build to 0.35_08

0.35_08 - Mon Nov 16 22:38:28 EST 2009

 Bug fixes:

 - Multiple tests were failing due to dependency problems.  Author
   dependencies have been largely removed from core 'requires' into
   optional features.  Feature prereq detection and messaging have been
   expanded and bugs on older Perls have been removed.

0.35_07 - Sat Nov 14 17:14:39 EST 2009

 Bug fixes:

 - Auto-detection of abstract and author fixed for mixed-case POD headers
   (RT#51117) [David Wheeler]

 - resume() was not restoring additions to @INC added in Build.PL
   (RT#50145) [David Golden]

 - When tarball paths are less than 100 characters, disables 'prefix'
   mode of Archive::Tar for maximum compatibility (RT#50571) [David Golden]

0.35_06 - Fri Nov 13 14:51:28 EST 2009

 Enhancements:

 - Added experimental inc/ bundling; see Module::Build::Bundling for
   details.  [David Golden and Eric Wilhelm]

 - Clarified that 'apache' in the license attribute indicates the Apache
   License 2.0 and added 'apache_1_1' for the older version of the license
   (RT#50614) [David Golden]

 Bug fixes:

 - Merging 'requires' and 'build_requires' in Module::Build::Compat could
   lead to duplicate PREREQ_PM entries; now the highest version is used
   for PREREQ_PM. (RT#50948) [David Golden]

 - Module::Build::Compat will now die with an error if advanced,
   non-numeric prerequisites are given, as these are not supported by
   ExtUtils::MakeMaker in PREREQ_PM [David Golden]

 - Made MYMETA generation non-fatal if fields required for META.yml
   are missing [David Golden]

 - Added Pod::Simple to requirements for manpage support; avoids
   problems if a user has a broken Pod::Man/Pod::Simple.  (RT#50081)
   [David Golden]

 - Won't die if installed Pod::Readme is broken [David Golden]

 Other:

 - Fixed Module::Build::Notes POD [David Golden]

 - Some commands had become silent by default, so added a few short status
   messages so users know something actually happened [David Golden]

 - Cleaned up Changes file formatting [David Golden]

 - Removed most PERL_CORE customizations from test files due to
   reorganization of dual-life modules in core (RT#49522) [David Golden]

0.35_05 - Wed Oct 28 17:20:59 EDT 2009

 Bug fixes:

 - Fix test failure in t/actions/installdeps.t when $^X is not the default
   perl [David Golden]

 - Work around $VERSION numbers in ActiveState with multiple underscores
   that prevent Module::Build from installing on Win32 [David Golden]

 - Fix bug cleaning compatibility Makefile when older ExtUtils::Manifest is
   installed [David Golden with help from David Cantrell]

 Other:

 - Suppressed more warnings from tests [David Golden]

 - Add provisional support for 'package NAME VERSION' syntax added in
   Perl 5.11.1 [David Golden]

0.35_04 - Fri Oct 23 11:20:41 EDT 2009

 Bug fixes:

 - Fix test failure if IPC::Cmd isn't installed [David Golden]

 Other:

 - Suppressed warning messages from various tests [David Golden]

0.35_03 - Wed Oct 21 21:20:59 EDT 2009

 *** API CHANGE ***

 - The prepare_metadata() method used to take a YAML::Node object as an
   argument for modification.  The method now takes no arguments and just
   returns a hash reference of metadata. [David Golden]

 Enhancements

 - Command line options may be set via the PERL_MB_OPT environment
   variable (similar to PERL_MM_OPT in ExtUtils::MakeMaker)

 Bug fixes:

 - Updated PPM generation to PPM v4 (RT#49600) [Olivier Mengue]

 - When c_source is specified, the directory scan will include additional,
   less-common C++ extensions (RT49298) [David Golden]

 - When module_name is not supplied, no packlist was being written; fixed
   by guessing module_name from dist_version_from or the directory name
   (just like ExtUtils::Manifest does without NAME) [David Golden]

 - Bumped IO::File prereq to fix binmode failures in PPMMaker on Perl
   prior to 5.8.8 [David Golden]

 Other:

 - Replaced use of YAML.pm with YAML::Tiny; Module::Build::YAML is now
   based on YAML::Tiny as well [David Golden]

 - Reduced amount of console output under normal operation (use --verbose
   to see all output) [David Golden]

0.35_02 - Mon Sep  7 22:37:42 EDT 2009

 Enhancements:

 - Added 'needs_compiler' property.  Defaults to true if XS or c_source
   exist.  If true, ExtUtils::CBuilder is also added to build_requires.
   [David Golden]

 - File::ShareDir automatically added to 'requires' if 'share_dir' is set
   [David Golden]

 - Added 'Build installdeps' action to install needed dependencies via
   a user-configurable command line program.  (Defaults to 'cpan'.)
   [Eric Wilhelm]

 Bug fixes:

 - Failure to detect a compiler will now warn during Build.PL and be a
   fatal error when trying to compile during Build. (RT#48918) [David
   Golden]

 - Fixed directory sorting failure in share_dir.t [David Golden]

 - Property defaults that are data structures were being assigned as
   references to new objects. Changed so that defaults are cloned instead.
   (This mostly affects testing, which often creates multiple objects in the
   same process) [David Golden]

 - Simplified error message on exit under use_tap_harness [suggested by
   David Wheeler]

 - Fixed typemap search to use a dist-level typemap if a typemap is not
   found in the directory with the *.xs file; (was manifesting as warnings
   in Perl 5.6 tests) [David Golden]

 Other:

 - Replaced guts of new_from_context().  Build.PL is now executed in a
   separate process before resume() is called.  (This is generally only of
   interest to Module::Build or toolchain developers) (RT#49350) [David
   Golden, Eric Wilhelm, Ken Williams]

 - Revised test helper classes to fix potential bugs and add new features
   to make writing tests simpler and easier.  Changes incorporated into
   t/README.pod and t/sample.t as examples for new testing. [David Golden]

0.35_01 - Mon Aug 31 12:11:10 EDT 2009

 Enhancements:

 - Generates MYMETA.yml during Build.PL (new standard protocol for
   communicating configuration results between toolchain components)
   [David Golden]

 - Added 'share_dir' property to provide File::ShareDir support;
   set automatically if a directory called 'share' exists
   [David Golden]

 Bug fixes:

 - Fix the t/destinations.t fix. [David Golden, with thanks to Eric Wilhelm]

 - Fix recursive test files in generated Makefile.PL (RT#49254) [Sawyer X]

 - Guard against trying :utf8 when :utf8 isn't available

 - The "test" action now dies when using the 'use_tap_harness'
   option and tests fail, matching the behavior under Test::Harness.
   (RT#49080) [initial patch from David Wheeler; revised by David Golden]

 Other:

 - Added t/README.pod and t/sample.t to guide developers writing new tests
   [David Golden, with some code from Eric Wilhelm]

 - Module::Build::Compat 'passthrough' style has been deprecated.  Using
   'passthrough' will issue warnings on Makefile.PL generation.  See
   Module::Build::Compat documentation for rationale.

Typo fix

Correctly check that functions flagged as documented do have documentation.

Correct the flags for 3 functions that don't actually have documentation.

Remove dead preprocessor code from toke.c

The symbol FTELL_FOR_PIPE_IS_BROKEN is no longer being used
and should have been removed with the commit 4c84d7f2, which
removed the -P option.

Fix crash in refactored lexer internals

Commit f0e67a1d29102aa9905aecf2b0f98449697d5af3 changed the control
flow so that PerlIO_tell(PL_rsfp) could be called when PL_rsfp was
NULL, which produces a crash at least on Windows with the MSVCRT
runtime.

This change moves the detection if PL_rsfp is NULL or not closer to
the location where is is actually tested, which gets rid of the
crashes.  I however have *not* verified if the changes in control
flow in f0e67a1d are otherwise correct or not.

add op class assertions to newXXXOP functions

Document SIGPIPE when printing to closed socket

Patches to Encode 2.38 to match current test layout

Updated Encode to CPAN release 2.38

Update CPANPLUS::Dist::Build to cpan version 0.42

Update IPC::Cmd to cpan version 0.54

  Changes for 0.54    Sun Nov 15 21:43:51 GMT 2009
  =================================================
  * Fixed issues on older perls requiring Time::HiRes

Inline PL_no_symref_sv into its users. Deprecate the visible global variable.

As the core no longer needs this fixed string outside of pp.c, it seems daft to
make it public just in case any module wants to use it. Modules that do should
provide their own inline copy in future.

Also restore the visible global PL_no_symref_sv back to the original format
specificiation (of 5.10.0 and earlier).

Inline PL_no_symref into pp_entersub. Deprecate the visible global variable.

As the core no longer needs this fixed string in more than one place, it seems
daft to go to the overhead (and cost) of making it public in case any module
wants to use it. Modules that do want to use it should provide their own inline
copy in future.

Also restore the visible global PL_no_symref back to the original format
specification (of 5.10.0 and earlier), as an extra %s has the potential to
cause SEGVs or worse if not spotted at compile time.

lexer API

Attached is a patch that adds a public API for the lowest layers of
lexing.  This is meant to provide a solid foundation for the parsing that
Devel::Declare and similar modules do, and it complements the pluggable
keyword mechanism.  The API consists of some existing variables combined
with some new functions, all marked as experimental (which making them
public certainly is).

Make the style of pad_add_name's flags consistent with pad_new's and pad_tidy's.

Change S_pad_check_dup()'s arguments from char*/STRLEN to SV *.

Within the function, use sv_eq() rather than strcmp().

Convert pad_check_dup() to static linkage, and call it from Perl_pad_add_name().

Provide a flag option to Perl_pad_add_name(), pad_add_NO_DUP_CHECK, to supress
the call.

Refactor common code paths from Perl_pad_add_name() into S_pad_add_name_sv().

The only user of the pad_add_FAKE flag was S_pad_findlex(), so move the relevant
code there from Perl_pad_add_name(), and have S_pad_findlex() call
S_pad_add_name_sv() directly. This eliminates the pad_add_FAKE flag completely.

Change perl -v version format

New format:

  This is perl 5, version 11, subversion 1 (v5.11.1) ...

The rationale for this change is that the Perl 5 interpreter will never
increment PERL_REVISION from 5 to 6, so we want people to start focusing
on the PERL_VERSION number as most significant and PERL_SUBVERSION as
equivalent to a "release number".  In other words, "perl 5" is a
language, this is the 11th version of it, and the second release of that
version (counting from zero).  Among other things, this makes the
output of -v and -V more consistent.

The old v-string style is included for familiarity and usage in code.
For builds from git, it will include the same extended format as it
did before, e.g. "(v5.11.1-176-gaf24cc9*)"

Performance optimisation in assert, suggested by Tim Bunce

Most compilers will store only a single copy of identical literal
strings. So changing that assert to check the pointer first would
significantly reduce the cost.

Teach B::Deparse about in-place reverse

And bump the $VERSION.

Updated File::Fetch to cpan version 0.22

  Changes for 0.22        Sat Nov 14 23:13:16 2009
  =================================================
  * Bumped to stable version

Include legacy.t in the maintainance list

POD fixes and typos

add code for Unicode semantics for non-utf8 latin1 chars

Update to Scalar-List-Utils-1.22 from CPAN

Revert core fixes for IO-Compress following IO-Compress update

With commit 1725f55ba78fb58489ea39e2bc0cc1faffd32275 IO-Compress now puts
its .pm files in lib rather than archlib for perls later than 5.11.1, so
the core can now do likewise given that blead will next be released as
5.11.2, i.e. revert the Configure part of 4cc80fc4cbbd82e20f7b14b68abb53d552076022
and revert f4a6a713802da1b781d7108503156fa3a0fe219e.

This change should not be merged into 5.10.x because IO-Compress will
continue to put its .pm files into archlib for the sake of anyone upgrading
a 5.10.x installation in-place.

[PATCH] IO-Compress 2.022

Message-ID: <4ACFB129.9070900@btinternet.com>

Support $! stringification of socket error codes on Windows.

The winsock error codes from WSAGetLastError() are stored by
Perl in errno, and there is some code in win32_strerror() that
would stringify them, but that code is never called when Perl
is built with the default WIN32IO_IS_STDIO setting.

This patch enables the win32_strerror() override unconditionally
and also fixes a potential memory corruption issue by using
the FORMAT_MESSAGE_IGNORE_INSERTS flag to ignore any parameter
substitution codes that may be embedded in the error message.

This now works as expected:

C:\git\perl>perl -Ilib -MPOSIX -E "$!=POSIX::EWOULDBLOCK; say $!"
A non-blocking socket operation could not be completed immediately.

Fix compiler warning:

p.c: In function `Perl_newATTRSUB':
op.c:5778: warning: cast from pointer to integer of different size

Fix compiler warnings:

pp_sys.c: In function `Perl_pp_tie':
pp_sys.c:788: warning: 'gv' might be used uninitialized in this function
pp_sys.c: In function `Perl_pp_dbmopen':
pp_sys.c:936: warning: 'gv' might be used uninitialized in this function
pp_sys.c: In function `Perl_pp_enterwrite':
pp_sys.c:1274: warning: 'cv' might be used uninitialized in this function
pp_sys.c: In function `Perl_pp_ghostent':
pp_sys.c:4711: warning: 'hent' might be used uninitialized in this function

Fix compiler warnings:

pp_ctl.c: In function `Perl_pp_return':
pp_ctl.c:2092: warning: 'retop' might be used uninitialized in this function
pp_ctl.c: In function `Perl_pp_last':
pp_ctl.c:2214: warning: 'nextop' might be used uninitialized in this function

Fix compiler warning:

scope.c:96:8: warning: extra tokens at end of #endif directive

Fix compiler warning:

pp.c: In function `Perl_pp_delete':
pp.c:4297: warning: 'sv' might be used uninitialized in this function

Updated IPC::Cmd to cpan release 0.52

  Changes for 0.52    Fri Nov 13 16:15:11 GMT 2009
  =================================================
  * Added documentation for run_forked()

Test for a bug in sort where the elements are freed in the sort block.

Refactor and expand unshift.t

[perl #70337] perldiag: localtime(...) too large

The message ‘localtime(...) too large’ is not documented in perldiag.
The attached patch adds it. I know it’s technically ‘%s(%.0f) too
large’, but it’s easier for users to find it under ‘localtime’ and
‘gmtime’. I also had to modify diagnostics.pm to support %.0f, and I
added a test, but I used a hack with STDERR that would make debugging
very difficult to anyone else adding tests.

flock() on Windows should set proper errno numbers.

It used to set errno to GetLastError(), which is from an
incompatible set of error codes.  That doesn't make any
sense, especially since the GetLastError() value is also
available at the Perl level via $^E.

It is important for autodie.pm that flock() will set
$! to WSAWOULDBLOCK when GetLastError() returns
ERROR_LOCK_VIOLATION because that is the value POSIX.pm
now returns for POSIX::EWOULDBLOCK.

flock() should return EWOULDBLOCK instead of EAGAIN.

POSIX requires fcntl() to return EAGAIN or EACCES, whereas BSD
requires flock() to return EWOULDBLOCK.  On most systems EAGAIN
and EWOULDBLOCK use the same number, but on some (e.g. Linux on
PA-RISC) they do not.

PL_scopestack_name needs to be copied in perl_clone()

Make win32_start_child responsible for cleaning all the scopes.

1 is a magic number to C's exit() and Perl_my_exit().

Its real name is EXIT_FAILURE and it comes out of the wash somewhat
differently on VMS than elsewhere.

Updated CPANPLUS to cpan version 0.89_09

  Changes for 0.89_09     Thu Nov 12 21:54:01 2009
  ================================================
  * Only look for missing prereqs in the output of the last
    set of tests that were run. This resolves RT #51408,
    reported by Andreas Koenig

Bring Pod::Simple up to 3.10

This is the same as the version just released to CPAN. Notable changes
are skipping failing tests on VMS and fixing nested definition lists in
the XHTML formatter.

PL_scopestack_name is only defined in DEBUGGING perl

As our $_; is forced into main::, it should warn as a redeclaration.

Explicitly check that our $_; is special, and forced to main::

Sorry, missed a "

HP-UX does not accept UTC0UTC, because there is no valid DST rule

Add line information to jumplevel debug information

Add information about where in the C code the jumplevel poping/setting up was done.

Gerard

From 7b95a19d6fbd3615a034cea79fa087b80e4a9555 Mon Sep 17 00:00:00 2001
From: Gerard Goossen <gerard@ggoossen.net>
Date: Thu, 12 Nov 2009 16:50:13 +0100
Subject: [PATCH] Add line information to jumplevel debug information provided when using -Dl

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

Add missing LEAVE to universal.c sv_does

Add missing LEAVE to POSIX.xs sigaction

Add ENTER_with_name and LEAVE_with_name to automaticly check for matching ENTER/LEAVE when debugging is enabled

Updated File::Fetch to cpan version 0.21_02

  Changes for 0.21_02     Thu Nov 12 12:55:57 2009
  =================================================
  * Additional checks for the iosock retriever

Grow zero length scalars

Update File::Fetch to cpan version 0.21_01

  Changes for 0.21_01     Wed Nov 11 23:38:27 2009
  =================================================
  * Added a simple IO::Socket/IO::Select based http retriever,
    based on code suggested by Paul 'Leonerd' Evans

Map winsock error codes to POSIX errno values

Some de-cruftification of README.vms.

readdir() reports file type on VMS, even if zero length.

refactoring of flip.t

Make diag.t skip the warning I just fixed

It's just for MAD anyway.

Update CPANPLUS to cpan version 0.89_08

  Changes for 0.89_08     Tue Nov 10 23:29:06 2009
  ================================================
  * Make the default config prefer Build.PL if perl version is
    greater than or equal to 5.10.1
  * Fix a problem with parse_module() where it would not
    resolve some edge-case distributions, addresses
    http://perlmonks.org/?node_id=805957

  Changes for 0.89_07     Thu Nov  5 14:05:11 2009
  ================================================
  * MYMETA.yml support added from Jos' branch

Clarify and complete documentation for in-place reverse

Fix misformed UVxf format in op.c

Optimize reversing an array in-place

Port t/op/reverse.t to test.pl

Add EXISTS and DELETE methods to Env.pm

Factor the "is this an in-place array operator construct" logic into a new is_inplace_av()

Add mingw64 support

Hi,

Using the attached patch to the blead source (as of a few hours ago), I can
build perl with the following OS/compiler/make combos.

On 32-bit XP:
MSVC++ 7.0 / dmake (uses win32/makefile.mk)
MSVC++ 7.0 / nmake (uses win32/Makefile)
Borland C++ 5.5.1 / dmake
mingw.org's gcc-4.3.0 / dmake
mingw.org's gcc-3.4.5 / dmake
mingw-w64.sf's 32-bit gcc-4.4.3 / dmake

(There's a bug with that last compiler on XP.
The perl it builds on XP hangs on XP, but runs ok if copied across to Vista.
I think this is unrelated to the patches - probably even unrelated to perl.
Without these patches perl will not even build using that last compiler.)

On 64-bit Vista:
32-bit MSVC++ 7.0 / nmake (uses win32/Makefile)
32-bit MSVC++ 7.0 / dmake (uses win32/makfile.mk)
32-bit Borland C++ 5.5.1 / dmake
mingw.org's 32-bit gcc-4.4.0 / dmake
mingw.org's 32-bit gcc-3.4.5 / dmake
mingw-w64.sf's 32-bit gcc-4.4.3 / dmake
mingw-w64.sf's 64-bit gcc-4.4.3 / dmake
mingw-w64.sf's 64-bit x86_64-w64-mingw32-gcc-4.4.3 / dmake
64-bit MicrosoftPlatform SDK for Windows Server 2003 R2 / dmake (uses
win32/makefile.mk)
64-bit MicrosoftPlatform SDK for Windows Server 2003 R2 / nmake (uses
win32/Makefile)

Not all of those builds pass all tests - but where the removal of the
patches still permits perl to build, the same tests still fail. That is,
*nothing* is lost by including these patches - but there are significant
gains.

Each of the above builds was done according to the normal win32
configuration parameters - ie multi-threaded, non debug. No unusual config
settings were applied. (I did build one debug perl on Vista using
mingw-w64.sf's 32-bit gcc-4.4.3 and it built fine.)

Please feel free to apply these patches (with or without modification) -
and, yes, you're more than welcome to blame me if they cause any breakages
;-)

Of course, some of those compilers (Borland, Microsoft, and the compilers
from mingw.org) already build perl *without* having to apply any patches.
It's just the other compilers that need the patches. The purpose of testing
with Borland, Microsoft, and the mingw.org compilers is just to check that
these patches don't break them.

As a final check, I've done a build on my aging linux (mandrake-9.1) box,
gcc-3.2.2. I built with '-des -Duselongdouble -Duse64bitint -Dusedevel'. No
problem with that, either.

If there's additional testing requirements please let me know, and I'll try
to oblige.

I believe the patch applied successfully for me - see below my sig for the
output.

Cheers,
Rob

Rob@desktop2 ~/GIT/blead
$ patch -p0 <blead_diff.diff
patching file dist/threads/threads.xs
patching file handy.h
patching file cpan/ExtUtils-MakeMaker/lib/ExtUtils/MM_Win32.pm
patching file op.c
Hunk #1 succeeded at 5774 (offset 47 lines).
patching file pp_pack.c
patching file util.c
Hunk #1 succeeded at 5366 (offset -28 lines).
patching file win32/makefile.mk
patching file win32/perlhost.h
patching file win32/win32.c
patching file win32/win32.h
patching file README.win32
patching file XSUB.h

Add length and flags arguments to Perl_pad_add_name().

Currently only pad_add_STATE and pad_add_FAKE are used. The length is cross-
checked against strlen() on the pointer, but the intent is to re-work the entire
pad API to be UTF-8 aware, from the current situation of char * pointers only.

Add length and flags arguments to Perl_pad_check_dup().

Currently only pad_add_OUR is used. The length is cross-checked against
strlen() on the pointer, but the intent is to re-work the entire pad API to
be UTF-8 aware, from the current situation of char * pointers only.

Add length and flags arguments to Perl_allocmy().

Currently no flags bits are used, and the length is cross-checked against
strlen() on the pointer, but the intent is to re-work the entire pad API to
be UTF-8 aware, from the current situation of char * pointers only.

Fix warnings from win32 gcc compilers

More cleanup of utfebcdic.h and utf8.h

Attached is a patch that removes from utfebcdic.h most definitions that
are common to it and utf8.h, and moves them to the common area of
utf8.h.  The duplicate ones that are retained are each an integral part
of a larger related set that do differ between the headers.

Some of the definitions had started to drift, so this brings them back
into line, with a lowered possibility of future drift.  In particular
the ones for the 'lazy' macros did not do quite as intended, especially
in the EBCDIC case.  The bugs were a small performance hit only, in that
the macro was not quite as lazy as expected, and so loaded utf8_heavy.pl
possibly unnecessarily.  In examining these, I noted that the utf8.h
definition of the start byte of a utf8 encoded string accepts invalid
start bytes 0xC0 and 0xC1.  These are invalid because they are for
overlong encodings of ASCII code points.  One is not supposed to allow
these, and there have been security attacks, according to Wikipedia,
against code that does.  But I don't know all the ramifications for Perl
of changing to exclude these, so I left it alone, but added a comment
(and an item on my personal todo list to check into it).

I made some comment clarifications, and removed some definitions marked
as obsolete in utf8.h that are in fact no longer used.

I added some synonyms for existing macros that more clearly reflect the
use that I intend to put them to in future patches.

From ba581aa4db767e5531ec0c0efdea5de4e9b09921 Mon Sep 17 00:00:00 2001
From: Karl Williamson <khw@khw-desktop.(none)>
Date: Mon, 9 Nov 2009 08:38:24 -0700
Subject: [PATCH] Clean up utf headers

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

perl.exp was not built in time on systems that required it (AIX, ...)
and it always needed that, but re-ordering of targets has exposed that

In Perl_pad_check_dup(), use sv rather than name for diagnostics.

It already knows its length, and it will be UTF-8 clean in the future.

MANIFEST was missing two files

Update IPC::Cmd to cpan version 0.51_01

  Changes for 0.51_01 Sun Nov  8 22:36:33 GMT 2009
  =================================================
  * Apply patch from Petya Kohts, RT #50398, which adds
    run_forked()

Tweak the GV downgrading of f7461760 to avoid free or nearly freed GVs.

It's possible during global destruction that the GV is freed before the
optree. Whilst the SvREFCNT_inc is happy to bump from 0 to 1 on a freed SV,
the corresponding SvREFCNT_dec from 1 to 0 will trigger an assertion
failure, because the entry to sv_clear checks that the scalar is not already
freed.  A check of for !SvIS_FREED(gv) turns out to be invalid, because
during global destruction the reference count can be forced down to zero
(with SVf_BREAK set).  In which case raising to 1 and then dropping to 0
triggers cleanup before it should happen.  I *think* that this might
actually be a general, systematic, weakness of the whole idea of SVf_BREAK,
in that code *is* allowed to raise and lower references during global
destruction, so any *valid* code that happens to do this during global
destruction might well trigger premature cleanup.

SvREFCNT_inc already checks if the SV is non-NULL

SvREFCNT_dec already checks if the SV is non-NULL (continued)

'use strict' and 'use warnings' in test generated by h2xs

Bareword sub lookups

Attached is a patch that changes how the tokeniser looks up subroutines,
when they're referenced by a bareword, for prototype and const-sub
purposes.  Formerly, it has looked up bareword subs directly in the
package, which is contrary to the way the generated op tree looks up
the sub, via an rv2cv op.  The patch makes the tokeniser generate the
rv2cv op earlier, and dig around in that.

The motivation for this is to allow modules to hook the rv2cv op
creation, to affect the name->subroutine lookup process.  Currently,
such hooking affects op execution as intended, but everything goes wrong
with a bareword ref where the tokeniser looks at some unrelated CV,
or a blank space, in the package.  With the patch in place, an rv2cv
hook correctly affects the tokeniser and therefore the prototype-based
aspects of parsing.

The patch also changes ck_subr (which applies the argument context and
checking parts of prototype behaviour) to handle subs referenced by an
RV const op inside the rv2cv, where formerly it would only handle a gv
op inside the rv2cv.  This is to support the most likely kind of
modified rv2cv op.

The attached patch is the resulting revised version of the bareword
sub patch.  It incorporates the original patch (allowing rv2cv op
hookers to control prototype processing), the GV-downgrading addition,
and a mention in perldelta.