disable non-unicode case insensitive trie matching

Also revert 8902bb05b18c9858efa90229ca1ee42b17277554 as it merely
masked one symptom of the deeper problems.

Also fixes RT #69973, which was a segfault which was exposed by
8902bb05, see the ticket for further details.

http://rt.perl.org/rt3//Public/Bug/Display.html?id=69973

At the code of this is the problem that in unicode matching a bunch
of code points have case folding rules beyond just A-Z/a-z. Since
the case folding rules are decided at runtime by the string, we cant
use the same TRIE tables for both unicode/non-unicode matching.

Until this is reconciled or some other solution is found case insensitive
matching only gets the TRIE optimisation when the pattern is uniocde.

From CaseFolding.txt:

00B5; C; 03BC; # MICRO SIGN
00C0; C; 00E0; # LATIN CAPITAL LETTER A WITH GRAVE
00C1; C; 00E1; # LATIN CAPITAL LETTER A WITH ACUTE
00C2; C; 00E2; # LATIN CAPITAL LETTER A WITH CIRCUMFLEX
00C3; C; 00E3; # LATIN CAPITAL LETTER A WITH TILDE
00C4; C; 00E4; # LATIN CAPITAL LETTER A WITH DIAERESIS
00C5; C; 00E5; # LATIN CAPITAL LETTER A WITH RING ABOVE
00C6; C; 00E6; # LATIN CAPITAL LETTER AE
00C7; C; 00E7; # LATIN CAPITAL LETTER C WITH CEDILLA
00C8; C; 00E8; # LATIN CAPITAL LETTER E WITH GRAVE
00C9; C; 00E9; # LATIN CAPITAL LETTER E WITH ACUTE
00CA; C; 00EA; # LATIN CAPITAL LETTER E WITH CIRCUMFLEX
00CB; C; 00EB; # LATIN CAPITAL LETTER E WITH DIAERESIS
00CC; C; 00EC; # LATIN CAPITAL LETTER I WITH GRAVE
00CD; C; 00ED; # LATIN CAPITAL LETTER I WITH ACUTE
00CE; C; 00EE; # LATIN CAPITAL LETTER I WITH CIRCUMFLEX
00CF; C; 00EF; # LATIN CAPITAL LETTER I WITH DIAERESIS
00D0; C; 00F0; # LATIN CAPITAL LETTER ETH
00D1; C; 00F1; # LATIN CAPITAL LETTER N WITH TILDE
00D2; C; 00F2; # LATIN CAPITAL LETTER O WITH GRAVE
00D3; C; 00F3; # LATIN CAPITAL LETTER O WITH ACUTE
00D4; C; 00F4; # LATIN CAPITAL LETTER O WITH CIRCUMFLEX
00D5; C; 00F5; # LATIN CAPITAL LETTER O WITH TILDE
00D6; C; 00F6; # LATIN CAPITAL LETTER O WITH DIAERESIS
00D8; C; 00F8; # LATIN CAPITAL LETTER O WITH STROKE
00D9; C; 00F9; # LATIN CAPITAL LETTER U WITH GRAVE
00DA; C; 00FA; # LATIN CAPITAL LETTER U WITH ACUTE
00DB; C; 00FB; # LATIN CAPITAL LETTER U WITH CIRCUMFLEX
00DC; C; 00FC; # LATIN CAPITAL LETTER U WITH DIAERESIS
00DD; C; 00FD; # LATIN CAPITAL LETTER Y WITH ACUTE
00DE; C; 00FE; # LATIN CAPITAL LETTER THORN
00DF; F; 0073 0073; # LATIN SMALL LETTER SHARP S

Rename to Porting/perldelta_template.pod so that t/porting/podcheck.t covers it.

Note that F<ext/> has become F<cpan/>, F<dist/> and F<ext/>

In S_pending_ident(), only call gv_fetchpvn_flags() if the warning is enabled.

ckWARN(WARN_AMBIGUOUS) is cheaper than Perl_gv_fetchpvn_flags().

Make defined %hash on a non-lexical (also) generate a deprecated warning.

Tk has been fixed, and no longer uses defined %stash:: to determine if a package
has been loaded.

Add perl5112delta, and change 5111delta from being "the" perldelta.

In Locale::Maketext, avoid using defined @array and defined %hash.

In I18N::LangTags::Detect, avoid using defined @array and defined %hash.

Avoid using defined @array in core tests.

Avoid using defined %hash in core code and tests.

Updated Module::Load::Conditional to cpan version 0.32

Cap the exit code of the bisecting script

Segfaults cause $? to be set to 139 on my machine, which stops the bisect
process.

"-x ./foo" isn't a shell command, but "[ -x ./foo ]" is

Convert the 2 Storable tests that use Test to use Test::More.

Convert the Pod::Perldoc tests from Test to Test::More.

Not that they test much, other than require of the various modules.

Convert the odd Locale::Maketext test out from Test to Test::More.

All the others were using Test::More already.

Convert File/CheckTree.t from Test to Test::More.

Convert tests in ext/ from Test to Test::More.

S_run_user_filter() can use the filter GV itself for the cache buffer.

This saves allocating an extra SV head and body.

S_utf16_textfilter() can use the filter GV itself for an SV buffer.

This saves allocating an extra SV head and body.

Updated CPANPLUS to cpan version 0.89_04

  Changes for 0.89_04     Fri Oct 23 11:12:57 2009
  ================================================
  * Added deprecated dual-life module support which
    requires newer versions of Module::CoreList and
    Module::Load::Conditional

Updated Module::Load::Conditional to cpan version 0.31_01

  Changes for 0.31_01 Fri Oct 23 09:47:12 BST 2009
  =================================================
  * Added DEPRECATED and support for determining if
    a core module is loaded from perl lib path and
    setting uptodate accordingly.

a2p match() faulty

While I was doing the $[ thing, I discovered a bug in a2p's handling of
the match() operator.  It uses a comma operator, which has unintended
behaviour in list context (e.g., in a print statement).  It also returns
empty string for a non-match, rather than the required 0.

CPAN release of Switch 2.16

ExtUtils-Install tests need abs_path @INC for utf8

a2p generates code using $[

I missed earlier that the a2p documentation mentions $[.  Patch attached.
The same doc section has a couple of other paragraphs that look like
they need updating, but I'm not sure what to do with them: one refers
to keys() not applying to arrays, and one is about $#.

-zefram

Signed-off-by: H.Merijn Brand <h.m.brand@xs4all.nl>

[perl #69838] a2p generates code using $[

[perl #69903] 5.10.1 perlretut section "A bit of magic: executing Perl code in a regular expression" documentation

The docs were now wrong, due to new optimisations to the regexp engine.

Let SvRX(OK) recognise a bare REGEXP.

This means that re::is_regexp(${qr/x/}) will now return true.

RT#69616: regexp SVs lose regexpness in assignment

It uses reg_temp_copy to copy the REGEXP onto the destination SV without
needing to copy the underlying pattern structure. This means changing
the prototype of reg_temp_copy, so it can copy onto a passed-in SV, but
it isn't API (and probably shouldn't be exported) so I don't think this
is a problem.

Remove the venerable fatal error "Runaway format"

This solves bug "[perl #69927] wrong runaway error for write",
which is a link to http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=77707

Remove file t/0 added by last commit

Make the test create it instead

Bare readdir in while loop now sets $_

POD link fix

In S_utf16_textfilter() replace sv_chop() with code, as we move 1 byte at most.

S_utf16_textfilter() needs to avoid splitting UTF-16 surrogate pairs.

Easier said than done.

Test requiring files with non-BMP characters (encoded as surrogate pairs).

Tests for UTF-16 characters > 256, including those containing the octet 10.

../lib isn't valid after a chdir "..";

Perl_utf16_to_utf8() should treat "\0" like any every other odd-length input.

The "be understanding" bodge to not panic, introduced in 1de9afcdf18cf98b, is
no longer needed now that c28d61051c446453 fixes the underlying problem.

Re-write S_utf16_textfilter() to correctly handle partial reads of UTF-16.

Treat any (and all) octects after the BOM (or all, if there was no BOM) as
initial read data for the filter, and call it to convert them to the first
line, reading more if necessary. This correctly handles the "problem" that
UTF-16LE read as a line, on the assumption that it's ASCII/ISO-8859-*/UTF-8/etc
will be truncated after the first octect of the "\n\0" pair that is "\n"
encoded as UTF-16LE. This fixes bug #69678.
Read from the upstream filter in block mode, rather than line mode.

Remove the "hack" that removes SVt_UTF8 in the UTF16 filter, by fixing t/TEST

Given that t/TEST already had code to add -I../lib when testing UTF-8 with
-utf8, do likewise for testing UTF-16 with -utf16.

Added 2.21 changes to the Module::CoreList Changes file

Updated Changes file for Module::CoreList

Bump base and fields versions to 2.15

Fix built-in prototype of each, keys, and values

Since those keywords can now compile to two different ops each,
the usual inspection of opflags is not sufficient for perl to
return a meaningful prototype. So we hardcode the correct return
value for 5.12 : \[@%]

Install Switch from CPAn into 'site', not 'perl'

Refactor S_utf16_textfilter() to use a second SV for the UTF-16 input.

Re-use the same SV for each call. Store it in IoTOP_GV(filter).

Perl_utf16_to_utf8() should return the correct length when being "understanding"

("be understanding" being a bodge added in 1de9afcdf18cf98b, which will soon go
when I fix the underlying cause of the bugs it works around.)

Remove the PERLIO * argument to S_filter_gets(), as it's always PL_rsfp

Conceptually it's also wrong, as if there are source filters, the passed-in
file handle is not passed up the stack of filters for the topmost filter to
use to read from. It was in the parameter list from the first creation of
filter_gets() in 16d20bd98cd29be76029ebf04027a7edd34d817b, when calls to
sv_gets() were replaced by it.

Fix off-by-one error in e92c6be8349ad1d36d6df1dcb526fd37421e9970.

This solves the curious crashes in op/fork.t that I'm seeing on *some*
Windows machines.  After locating the problem I'm surprised that not
more machines run into these crashes, especially the smoke testers
running on Windows 2000.

Fix (comment) typo pointed out by Robin Barker

Fix uninitialized warnings in Pod::Perldoc

S_utf16_textfilter() needs FILTER_DATA() to get the filter's state SV.

aa6dbd607b0a3d8a wrongly assumed that the filter's state SV was the SV passed
in as an argument to the filter read function.

Fix documentation of Module::CoreList::is_deprecated

S_utf16_textfilter() was failing honour error returns from FILTER_READ()

panic if S_utf16_textfilter() is called in block mode.

Make filter_read() in block mode create a well-formed SV with a trailing '\0'

Fix precedence error in Module::CoreList's test, which was causing it to fail.

Revised Module::CoreList::is_deprecated

The is_deprecated() function now expects to be called as a function,
not a method to be consistent with other Module::CoreList functions.

The %deprecated hash now is versioned by Perl version, so tests
and is_deprecated are revised accordingly.

Auto-generate deprecation list via corelist.pl

Module::CoreList, implemented is_deprecated() and added tests for it.

  Module::CoreList->is_deprecated( 'Switch' ); # assumes $]

  Module::CoreList->is_deprecated( 'Switch', 5.01000 );

release manager guide notes updates

pod nits from nicholas and zefram

set the release date for 5.11.1

Module::CoreList version bump for 5.11.1 release

Module::CoreList updated for 5.11.1

make regen; make regen_perly

Acknowledgments in perldelta

perldelta formatting

perl5111delta now includes all changes between 5.11.0 and 5.11.1 and has been lightly copyedited

perldelta cleanup

release manager guide notes updated

suidperl is no longer available. INSTALL should not say it is

Bump 5.11.0 -> 5.11.1 in all sorts of places it's (oh so unfortunately) hardcoded

We should not bump the perl version in the release schedule as part of releng

ExtUitls::Install had changes since 5.11.0 - bump its version

Bump OS2::DLL's version since it differs from what was shipped in 5.11.0

Bump OS2::Process's version since it differs from the version in 5.11.0

Bump overload.pm's version since it differs from the version in 5.11.0

Bump Carp.pm's version number since it differs from the version in 5.11.0

Bump mro's version number and copyright year, since it differs from 5.11.0

Bump B::Consise's version number since it's changed since 5.11.0

Revert accidental executability of several pod files

Updated perlport.pod with notes on VMS support from Craig Berry

Added perldelta notes for yves' regex semantics fixups and W2k and VMS "known issues"

Update Switch version in Maintainers.pl after CPAN upload

Bump version of Switch to 2.15 for CPAN release

Pull out filter setup code from S_swallow_bom() into S_add_utf16_textfilter()

MAD-only code in S_swallow_bom() duplicated the actions of sv_setpvn()

Remove it. All its writes were byte-for-byte identical with the memory they
overwrote. The bugs it attempts to fix are real, but caused by the design and
implementation of other parts of this routine and S_utf16_textfilter().

Merge branch 'corelist-deprecated' into blead

formally mark deprecations in Maintainers.pl

Revert part of d1eb317 which broke ./Configure -des -Dusedevel;make

Updating Win32 0.39 to have the same line-endings as CPAN

Maintainers.pl updates to better match reality

piconv.t from Encode isn't excluded. Fix Maintainers.pl

revert to 5.8.x semantics for \s \w and \d

revert ba9ac1759cb6e7a5e6883c85edd0b450061b5ccb

Changing the semantics of \w \s and \d breaks too much
and Jesse wants to do a rollout. This disables the new
semantics until we can get all the details worked out.

somewhat fix failing regex tests. but break lots of other stuff at the same time

Perl builds fine on Windows 7

The term 'winsock' is an implementation detail.