[perl #59908] \x, \0, and \N{} not ok in double-quotish when followed by > \x100

Attached is a patch for this problem.

The root cause was that S_scan_const() was not recoding to utf8 under
some circumstances when it should be.

I also changed it so that in all places, the flag that indicates the
output is in utf8 is changed from false to true if and only if the
destination is recoded to utf8.  One place was skipping this, and then
setting it unconditionally later on.

In one place in the routine, the routine had code to do the recoding
itself.  In the other places, it called sv_utf8_upgrade().  I changed it
to call the subroutine in all cases.

I fixed a bug that would appear only on EBCDIC machines where constants
of the form \N{U+....} would have been interpreted as EBCDIC.

And in inspecting the code, I realized there were problems with growing
the scalar value to fit the input.  I cleaned those up.

I also added a number of comments to document things I found out, and
changed some existing ones to be more accurate.

Since no one responded to my request for where to put the test cases,
and I couldn't figure out a good place to put them, I added a new test
file, t/uni/lex_utf8.t.

make add-package git friendly and fix bugs (take 2)

(1) all work done in a new git branch by default
(2) "-n" flag ("no branch") added to get old rsync-friendly behavior
(3) looks in "scripts/" directory as well as "bin/" for executables
(4) patches utils/Makefile.SH instead of utils/Makefile

Note Math-Complex's test files in Porting/Maintainers.pl

Upgrade to Math-Complex-1.55

Upgrade to ExtUtils-Manifest-1.56

Upgrade to ExtUtils-Command-1.16

Upgrade to Module-Build-0.31012

We're now in sync with CPAN--no local changes remain in blead.

TODO: Various extra core changes are now required to handle the new bundle.pl script as per the existing config_data script.

Allow '\r' after "#line XXX" directives.

Fixes lib/feature.t and lib/warnings.t tests that have been failing on Win32 since commit 26b6dc3.

applying patches and upstream

Nicholas Clark writes:
>     $ perl Porting/Maintainers --opened
>     (No files are modified)

I think that message would be even more helpful if it went to stderr;
(trivial) patch attached.

--
Aaron Crane ** http://aaroncrane.co.uk/

From afa6ac1c2f6bde792be6ac065a87119e1dbdafee Mon Sep 17 00:00:00 2001
From: Aaron Crane <perl@aaroncrane.co.uk>
Date: Wed, 14 Jan 2009 09:46:33 +0000
Subject: [PATCH] Send informative output to stderr, not stdout

Actually commit the state infomation at the end of a test run.
Reduces my elapsed time by about 5% threaded or unthreaded on the second run.

Make make_ext.pl write out a shell script of its actions for make distclean etc
(In case the user runs make clean; make distclean; as clean removes miniperl)
Change the #! line to ./miniperl

If there is one argument, and it looks like a commit, list data from the files
that commit changed. For example, `perl Porting/Maintainers HEAD`.

Add the upstream status to the output of Porting/Maintainers for --opened.

chomp the output from git ls-files. Display a helpful message nothing is
modified, rather than failing back to the usage message.

ext/Hash/Util/Makefile.PL should not recurse to FieldHash's Makefile.PL
*nix, VMS and Win32 all know how to (and have to) call the latter directly.
As is, targets in ext/Hash/Util/FieldHash get called twice, which may result
in race conditions, and certainly messes up make clean; make distclean;

Silence time64.c build warning

Silence the following build warning:
   time64.c:169: warning: 'check_tm' defined but not used

Message-ID: <1ff86f510901081219q4f5f25a3od89c4e5ac03e8664@mail.gmail.com>

Silence Win32 compiler warnings.

Give the git file browser URL as the most up to date version of this file.

Restore Win32 build by creating git_version.h.

This solution is based on what is done for config.h (which isn't perfect because it leaves miniperl.exe out-of-sync with the final perl.exe build, but that doesn't really matter).

Also has a problem in that miniperl.exe is used in a couple of places before make_patchnum.pl has been run (to recreate git_version.h and create lib/Config_git.pl), causing the warning:
Warning: failed to load Config_git.pl, something strange about this perl...

The running of make_patchnum.pl also causes some warnings of its own if a ".git" directory is found but "git" isn't on the PATH:
'git' is not recognized as an internal or external command,
operable program or batch file.

These things will be hopefully ironed out later.

vms - unixspec refactor

Message-id: <496B5458.10203@gmail.com>

Refactor of unixspec() to not use a thread context for internal routines.

Also fix unixspec() to better handle unescaping extended file
specifications.

Capitalize "SysV" correctly

vms - vmsspec refactor

Message-id: <496AC3E0.2090207@gmail.com>

Refactor of vmsspec() to not use a thread context for internal routines.

Fix my refactoring typo in change 33001 that broke suidperl, only spotted 11
months later, after 5.8.9 was released.

show -E in error message when called with -E

Currently, perl shows -e if an error occurs even it is called with -E.
The attached patch changes this...

Current behaviour:
D:\Perl510\bin>perl.exe -E "say ->"
syntax error at -e line 1, at EOF
Execution of -e aborted due to compilation errors.

With patch:
D:\Perl510\bin>perl.exe -E "say ->"
syntax error at -E line 1, at EOF
Execution of -E aborted due to compilation errors.

Cheers,
Renee

Add $(EXE_EXT) where it was missing from $(RUN) ./miniperl

Correct the over-zealous addition of $(RUN) into test -f ./miniperl$(EXE_EXT)
(in change cef6ea9dde586d23f429802e75d22875450d6b68)

make_patchnum requires miniperl$(EXE_EXT) to run, so it needs to depend on it.
Also, make_patchnum had not been part of the prerequisites of the common
targets 'perl' or 'test', only 'all', so often it was not getting run. Add it
as a prerequisite of perl$(EXT_EXE), so that it is run on 'make perl' or
'make test'.

Ignore ext/DB_File/constants.xs.

Fix typo in pod/perlhack.pod

Merge commit 'nothingmuch/p4_git_utils' into blead

add git-make-p4-refs script to Porting

Test that overload::constant works in eval("")

more vms thread ctx fixes

Message-id: <496973AB.8070809@gmail.com>

If Perl_my_trnlnm is called with a null implicit context, it would
access violate.

create_mbx does not need a implicit context.

Add -Ilib to the invocations of make_ext.pl. I guess Steffen had a copy of perl
already installed whilst testing.

Remove make_patchnum.com from MANIFEST following
c24e7b67b597eaa15fbaca34ebb57a7cc242d937h

Merge branch 'blead' into miniperl-make-ext

Remove make_patchnum.com (now using make_patchnum.pl)

Merge branch 'blead' into miniperl-make-ext

File::Copy fixes for VMS follow-up

Message-id: <4968EBA8.8090207@gmail.com>

The eval block needs to capture local $SIG{__DIE__} to prevent modules
with signal trapping from failing when VMS::Feature is not present.

vms setup_cmddsc buffer fixes.

Message-id: <4968E50E.6050601@gmail.com>

Revision to thread context fixes from ebd4d70bfcb408fd33ee8841c43d30ca8408b19d

miniperl-ification of ext/utils/make_ext

Fix typo in pod/perldsc.pod

move ext/utils/make_ext to ext/utils/make_ext.pl

Typo fix in pod/perldiag.pod

'VMS support for Unix and extended file specifications' (PathTools RT #42153)

Merge changes from PathTools: 'Update to support VMS in Unix compatible mode and/or file names using extended character sets' (PathTools RT #42154)

Be consistent in writing deobfuscator

Fix typo

Capitalize "latin"

fake_localtime_r and fake_gmtime_r may need thread context.

They definitely need it on VMS.

simple_trnlnm needs an actual length as its last argument.

Plus the length of sys$posix_root was miscalculated.

Plus an argument reversal when translating the TMP logical.

Typo fix in pod/perl5110delta.pod

Fix typo in pod/perltodo.pod

-Be consistent with kb/kB.
-Mention Abigail in last section.

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Fixed some spelling errors

Prefer tabs over spaces in MANIFEST

Change the link to the sort pragma to be more clear.
This fixes #62136, reported by rrt@sc3d.org.

vms.c backslash efs and long name fixes

Message-id: <496552AF.7040702@gmail.com>

This fixes the support for the backslash in a file name as it shows up
in the ExtUtils tests.

Also the flag for rename to work on efs file specifications was
incorrectly the bit number instead of the mask value.

ext/File/Gob/t/basic.t, ext/POSIX/t/posix.t vms fixes

Message-id: <496108CE.1060704@gmail.com>

The tests ext/File/Glob/t/basic.t and ext/POSIX/t/posix.t need to know
if VMS is in the UNIX compatible mode.

lib/blib.t, lib/h2xs.t patches for VMS

Message-id: <49610A69.3020908@gmail.com>

The tests lib/blib.t and lib/h2xs.t need fixes to know when VMS is in
the UNIX report mode.

mkppport using catfile for catdir

Message-id: <496103B7.1000308@gmail.com>

t/op/chdir.t, t/op/defins.t on VMS

Message-id: <496106BB.9020102@gmail.com>

The test t/op/chdir.t needs to expect that returned dir could be in
either case or in VMS or UNIX formst.

The test t/op/defins.t needs to know of VMS is dropping dots on
filenames when VMS is in the UNIX REPORT mode.

t/x2p/s2p.t fix for VMS in UNIX mode

Message-id: <49612088.4010005@gmail.com>

When VMS is in UNIX mode, conversions from UNIX specifications to VMS
can result in a trailing '.' which needs to be removed if the intent is
to default the extension.

Fixed spelling of 'uncondtional', as reported by Ronald J Kimball
in 20090108160007.GA85010@penkwe.pair.com.

Make File::Copy detect Unix compatibility mode on VMS.

Message-id: <496111D4.8030007@gmail.com>

This is needed as part of Perl support for VMS in UNIX or using the
extended character set.

Patch amended to only check for the VMS::Feature module on VMS.

Use a slightly more paranoid regex

sort MANIFEST

CPAN.pm on CPAN is considered upstream

VMS feature logical name fixes

VMS thread context fixes

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Add David Golden (DAGOLDEN) to AUTHORS

Merge branch 'blead' of ssh://perl5.git.perl.org/gitroot/perl into blead

Updated the 'some statistics for the other subdirectories' to include
data for the 5.6.0 to 5.10.0 releases.

Avoid wrapping long lines when displaying as man page

Sync with Filter::Simple 0.84 which has a CPAN-relevant fix in the Makefile.PL only

Calculated patch sizes for the modern era.

Update data for 5.7.3 release

Remove duplicate entry

Added 21st century data to 'SELECTED RELEASE SIZES'

Require a space or a newline after a "#line XXX" directive

This fixes bug [perl #59170] Typo: bad regex for #line directive in perlsyn.

Add a --checkout / -c flag to git-find-p4-change

Remove the now obsolete switch_to_perforce_id.pl

Remove a couple of p4-specific utilities

Delete the largely obsolete Porting/patching.pod

(but move some good advice in there to the perlrepository man page)

Use git instead of p4 for the --opened option of Porting/Maintainers

Remove notes about -v from perltodo

Move .bat gitignores with their unix counterparts

Remove also redundant ignores for produced files in x2p

Merge t/.gitignore in main git ignore file

On VMS, run make_patchnum.pl, not make_patchnum.com

Add lib/CORE/ to .gitignore (needed on Windows)

C:\Projekte\bleadperl-git\win32>dmake && git status
[...]
nothing to commit (working directory clean)
C:\Projekte\bleadperl-git\win32>

Update AutoLoader to 5.68.

Fixes by John Malmberg for running tests when VMS is a UNIX compatible mode.

Emit less PERL_ARGS_ASSERT_* macros

"rm -f" better in "make clean" targets

It always succeeds and does not warn.

Upgrade to Time::HiRes 1.9719

Bump two module versions after Haiku port

CPANPLUS and Module::Build
(see df00ff3beeb297b9622f8acbed9c80d320c87580)

Adjustments to POSIX for the Haiku port

Message-Id: <20081029022544.413.1@knochen-vm.localdomain>

  I re-introduced the use of the WMUNGE() macro, which was
  (accidentally?) removed after 5.10.0. The macro is still a hack. As my
  added comment explains the use of the OS's W*() macros in this context
  is simply not correct and should probably better be fixed.

Update copyright year to 2009.

Correct vim modeline

- ts=4 is evil
- use same settings as in everywhere else in the core sources