Integrate mainline

p4raw-id: //depot/perlio@7960

Use DO_UTF8().

p4raw-id: //depot/perl@7959

Re: [ID 20001130.011] expression parsing bug ?
Message-Id: <E142GRN-0003go-00@libra.cus.cam.ac.uk>

An extraneous argument.

p4raw-id: //depot/perl@7958

A missing hunk.

p4raw-id: //depot/perl@7957

Re: [ID 20001202.001] (Net::hostent)
Message-ID: <20001202142827.A12308@plum.flirble.org>

Test robustness.

p4raw-id: //depot/perl@7956

An inconvenient hang would happen if the stdio _ptr wasn't
found in <stdio.h> and <stdio_impl.h> didn't exist.  (grep
would be grepping stdin for all eternity for the _ptr.)

p4raw-id: //depot/perl@7954

Update Changes.

p4raw-id: //depot/perl@7953

Re: long shell lines
Message-ID: <Pine.SOL.4.10.10011301044590.26388-100000@maxwell.phys.lafayette.edu>

Split overly long shell command lines.

p4raw-id: //depot/perl@7952

Try to find stdchar also from <stdio_impl.h>.

p4raw-id: //depot/perl@7950

Re: [ID 20001130.011] expression parsing bug ?
Message-ID: <20001201162608.B1436@linguist.dartmouth.edu>

Reword the diagnostic message.

p4raw-id: //depot/perl@7949

Integrate mainline (for s/y/m as sub names stuff).

p4raw-id: //depot/perlio@7948

Integrate perlio:

[  7942]
Fix 'mmap' lib/filehand.t (ungetc) test fail.
Make 'unix' pass most tests
- do unread by temporary push of layer ("pending") holding unread chars
- fast_gets is now based on per-handle flag
- relax one of io/pipe.t tests to allow print to fail and close to
succeed so that it passes on unbuffered "unix" layer.
Remaining fail is sporadic and a genuine race condition between
parent/child in fork test.

p4raw-link: @7942 on //depot/perlio: 5e2ab84baab5f2372dc1ffda47d5b89faa2613cd

p4raw-id: //depot/perl@7947

Upgrade to CPAN 1.59_51, from Andreas König.

p4raw-id: //depot/perl@7946

Integrate mainline

p4raw-id: //depot/perlio@7945

Some help for 20001130.011.  Now one gets warnings like
"Ambiguous -f() resolved as a file test ..."

p4raw-id: //depot/perl@7944

Retract #7941.  Forbidding subs m/s/etc is too cruel because
that also breaks using them as methods.

p4raw-id: //depot/perl@7943

Fix 'mmap' lib/filehand.t (ungetc) test fail.
Make 'unix' pass most tests
 - do unread by temporary push of layer ("pending") holding unread chars
 - fast_gets is now based on per-handle flag
 - relax one of io/pipe.t tests to allow print to fail and close to
   succeed so that it passes on unbuffered "unix" layer.
Remaining fail is sporadic and a genuine race condition between
parent/child in fork test.

p4raw-id: //depot/perlio@7942

(Retracted by #7943.)

Reserve the short named string operator names.

p4raw-id: //depot/perl@7941

Get the three different space character classes right under utf8.

p4raw-id: //depot/perl@7940

Two more tests that make no sense in UTF-8 since the test
data is not in UTF-8.

p4raw-id: //depot/perl@7939

\x{} doesn't any more require 'use utf8' outside regexen so why
should it be required inside regexen?

p4raw-id: //depot/perl@7938

Fix for 20001130.008 and 20001130.010, the PL_regnpar wasn't
stored and restored, and thusly was trounced by the utf8 swash
routines.

p4raw-id: //depot/perl@7937

Fix for 20001128.006, be more careful in Perl_sv_utf8_downgrade().
Why the different platforms behave so differently (core dump vs
no core dump) on this bug is a but of a mystery, but if I had to
guess I would mumble something like 'alignment'.

p4raw-id: //depot/perl@7936

toke.c perlio.c -Wformat nits
Message-Id: <200011301427.OAA00030@tempest.npl.co.uk>

p4raw-id: //depot/perl@7935

In OS/390 'localhost' can be 'localhost.FOO.BAR'.

p4raw-id: //depot/perl@7934

[ID 20001129.007] Not OK: perl v5.7.0 +DEVEL7928 on VMS_AXP V7.1 (UNINSTALLED)
Message-Id: <Pine.OSF.4.10.10011291515570.328738-100000@aspara.forte.com>

In VMS the localhost may be LOCALHOST.

p4raw-id: //depot/perl@7933

Re: question about retlen in utf8.c:Perl_utf8_to_uv()
Message-ID: <Pine.OSF.4.10.10011291233120.328738-100000@aspara.forte.com>

plus regen perlapi.pod.

p4raw-id: //depot/perl@7932

get t/lib/filter-util.t to work on VMS
Message-Id: <001129171439.6099b@DUPHY4.Physics.Drexel.Edu>

p4raw-id: //depot/perl@7931

Update Changes.

p4raw-id: //depot/perl@7930

[ID 20001128.003] Not OK: perl v5.7.0 +DEVEL7891 on ppc-linux 2.2.17
Message-Id: <p04320400b649771b9797@[192.168.1.4]>

Patch to catch a core dump in the Configure va_copy test.

p4raw-id: //depot/perl@7928

Retract #7921, the patch shouldn't be needed.

p4raw-id: //depot/perl@7927

Make the Class::Struct import() wiser.

p4raw-id: //depot/perl@7926

All the core library users of Class::Struct seem to be
using "use Class::Struct 'struct';" instead of the bare
"use Class::Struct;", which isn't documented in Class::Struct.
This can't be right.

p4raw-id: //depot/perl@7925

A test works better if it has the right 1..$n output.

p4raw-id: //depot/perl@7924

Forgot to MANIFEST the new Net::hostent test.

p4raw-id: //depot/perl@7923

Integrate perlio:

[  7906]
Initial tidy of setmode() muddle (UNIX does not have, nor need it).

p4raw-link: @7906 on //depot/perlio: a4d3c1d3a59a079ee84191d2df8b5e232a8bee44

p4raw-id: //depot/perl@7922

(Retracted by #7927.)

Subject: [PATCH] Is infinity a number?
Message-ID: <20001129144820.A31339@pembro33.pmb.ox.ac.uk>

p4raw-id: //depot/perl@7921

net_hostent.t (was Re: [ID 20001128.002] what's the point of example code if it is buggy?)
Message-ID: <14884.44445.760322.278647@localhost.localdomain>

Add a test for Net::hostent.

p4raw-id: //depot/perl@7920

Make "use Class::Struct 'struct';" work again (broken by #7617);
add a test for Class::Struct.

p4raw-id: //depot/perl@7919

Re: Minor suggestion for Sys::Syslog  [PATCH]
Message-ID: <14884.44915.86028.422238@localhost.localdomain>

More checking in case someone has broken their services or
protocol databases.

p4raw-id: //depot/perl@7918

$^O  win32 -> MSWin32
Message-ID: <14884.44434.340627.126145@localhost.localdomain>

plus similar nits for vms, err, VMS, and UNICOS.

p4raw-id: //depot/perl@7917

Tokeniser debugging
Message-ID: <20001129141545.A30864@pembro33.pmb.ox.ac.uk>

p4raw-id: //depot/perl@7916

Re: [PATCH 5.7.0] OUT keyword for xsubpp
Date: Wed, 29 Nov 2000 02:13:14 -0500
Message-ID: <20001129021314.A2532@monk.mps.ohio-state.edu>

OUT keyword nits.

Subject: Re: [PATCH 5.7.0] OUT keyword for xsubpp
From: Ilya Zakharevich <ilya@math.ohio-state.edu>
Date: Wed, 29 Nov 2000 03:09:04 -0500
Message-ID: <20001129030904.A2754@monk.mps.ohio-state.edu>

OUT and IN_OUT documentation.

p4raw-id: //depot/perl@7915

Re: [ID 20001127.002] const subs hurt under debugger
Message-Id: <m140e1N-000FOoC@feynman.localnet>

plus a performance speedup noticed by Sarathy.

p4raw-id: //depot/perl@7914

Use "1 while unlink" so that VMS gets clean, too.

p4raw-id: //depot/perl@7913

OUT keyword for xsubpp
Message-ID: <20001128032709.A23401@monk.mps.ohio-state.edu>

p4raw-id: //depot/perl@7912

This should have been part of #7872: no need to scan UTF-8
until eternity.

p4raw-id: //depot/perl@7911

One more perltie.pod nit from Casey R. Tweten.

p4raw-id: //depot/perl@7910

Document the known sprintf test failures, exact standard
reference from Dominic Dunlop, NonStop-UX testing from Tom Bates.

p4raw-id: //depot/perl@7909

Add the Encoding table format documentation.

p4raw-id: //depot/perl@7908

Re: [PATCH] Updating perltie.pod for arrays
Date: Tue, 28 Nov 2000 12:11:41 -0500 (EST)
Message-ID: <Pine.OSF.4.21.0011281209050.25178-100000@home.kiski.net>

Subject: Re: [PATCH] Updating perltie.pod for arrays
From: "Casey R. Tweten" <crt@kiski.net>
Date: Tue, 28 Nov 2000 15:03:50 -0500 (EST)
Message-ID: <Pine.OSF.4.21.0011281458500.10331-100000@home.kiski.net>

p4raw-id: //depot/perl@7907

Initial tidy of setmode() muddle (UNIX does not have, nor need it).

p4raw-id: //depot/perlio@7906

Integrate mainline

p4raw-id: //depot/perlio@7905

[ID 20001128.002] what's the point of example code if it is buggy?
Message-Id: <E140ikr-00076N-00@fruitbat.babyhippo.co.uk>

p4raw-id: //depot/perl@7904

Updating perltie.pod for arrays
Message-ID: <Pine.OSF.4.21.0011271746360.11659-100000@home.kiski.net>

p4raw-id: //depot/perl@7903

Re: 5.6 bug: split /^/ implies /m modifier (from CLPM)
Message-Id: <200011271756.RAA22706@tempest.npl.co.uk>

p4raw-id: //depot/perl@7902

setmode() is a DOSish-only thing.

p4raw-id: //depot/perl@7901

perlcc.PL cleanups
Message-ID: <20001128124435.A5500@pembro33.pmb.ox.ac.uk>

p4raw-id: //depot/perl@7900

Update Changes.

p4raw-id: //depot/perl@7892

Re: perlfaq style changes
Message-ID: <KyLI6gzkgiRK092yn@efn.org>

plus a note from Ronald Kimball.

p4raw-id: //depot/perl@7891

Re: [ID 20001122.006] weird behaviour of $|
Message-ID: <20001126162733.J25040@ecnvantage.com>

p4raw-id: //depot/perl@7890

[ID 20001127.004] White space problem in perlamiga.pod
Message-Id: <200011271432.JAA09550@lwv26awu.cas.org>

p4raw-id: //depot/perl@7889

Restore also the locale test to no-sprintf-taint state.
Fixes the bug 20001127.003.

p4raw-id: //depot/perl@7888

__FUNCTION__ isn't portable and trying to emulate it leads
into practically spelling out the name of the function.
Takes care of the bug 20001127.001.

p4raw-id: //depot/perl@7886

VMS test cleanup
Message-Id: <001127082318.6381c@DUPHY4.Physics.Drexel.Edu>

p4raw-id: //depot/perl@7884

It seems that *both* the unused submatch loop cleanup
codes are needed.

p4raw-id: //depot/perl@7881

Clean .exists deeper.

p4raw-id: //depot/perl@7880

The code in regcppop() (see #7878) contains the correct lower
limit for the unused submatch 'cleanup' loop so that under
"use utf8" the following code wouldn't dump core:
"," =~ /([^,]*,)*/  With the the wrong lower limit (>=1)
the cleanup loop in regtry() stomped beyond allocated area
in the startp[] array.  Therefore, copied the correct lower
loop limit (*PL_reglastparen) to regtry().  Note: something
may still not be quite right: why was the _higher_ loop limit
(prog->nparens) different in the utf8 case?

After this patch "./perl -Ilib -Mutf8 t/op/regexp.t" works
without core dumps, there were about 17 of them before
the patch (with us since Perl 5.7.0).  Two failures, still:
496 and 505 (though these may not be severe).

Patch #7881 is also needed since both the cleanup loops
seem to be needed.

Also, the t/op/pat#44 seems to core dump under utf8.
Plus a couple of failures.  UGH-8.

p4raw-id: //depot/perl@7879

The unused submatch cleanup code in regtry() seems to be more crucial,
the code in regcppop() seems to be redundant for the test suite --
but it contains a germ of truth, and it needed for the build
process itself: see #7879 and #7881.

p4raw-id: //depot/perl@7878

Comment on comment.

p4raw-id: //depot/perl@7877

Adjust the docs to agree with #7875.

p4raw-id: //depot/perl@7876

Retract #7863.  It makes more sense not to taint formatted output,
not even by sprintf().

p4raw-id: //depot/perl@7875

Debug dump of ANYOFUTF8 was garbage (data from ANYOF).
Not really fixed (should really dump the UTF-8 charclass),
but stopped displaying the garbage.

Also add a note on the (missing) Unicode PSXSPC and BLANK.

p4raw-id: //depot/perl@7874

BOUND regex opcodes (\b, \B) could try to scan zero length UTF-8.

p4raw-id: //depot/perl@7873

No need to scan till infinity, 13 is enough.

p4raw-id: //depot/perl@7872

Test line numbers are different with utf8.

p4raw-id: //depot/perl@7871

Message nit.

p4raw-id: //depot/perl@7870

Make utf8_length() and utf8_distance() (the latter of which
is unused at the moment) to be less forgiving about bad UTF-8.

p4raw-id: //depot/perl@7869

Re: [ID 20001125.004] OK: perl v5.7.0 +DEVEL7825 on i686-linux 2.2.17 (UNINSTALLED)
Message-ID: <20001125204020.A25040@ecnvantage.com>

Debian allows installing /usr/bin/locale without installing
any locales, an error message will ensue.

p4raw-id: //depot/perl@7868

Re: [PATCH: perl@7825] SvTEMP-ness on rhs of aassign can wreak havoc
Message-ID: <20001126024234.G25040@ecnvantage.com>

Patch for the bug 20000212.002.

p4raw-id: //depot/perl@7867

PATCH: File::Temp fix on WindowsNT/VMS
Message-ID: <Pine.LNX.4.21.0011241833230.18423-100000@lapaki.jach.hawaii.edu>

File::Temp 0.11.

p4raw-id: //depot/perl@7866

Make the va_copy() test not to be so talkative.

p4raw-id: //depot/perl@7864

Fix locale inconsistencies unearthed by Hugo's work.
Now the floating point sprintf really does taint the result
string as perllocale promises (has promised for a long time)
if "use locale" is in the lexical scope.

p4raw-id: //depot/perl@7863

Re: pp_add -> pp_i_add efficiency hack?
Message-ID: <20001126000750.A22446@plum.flirble.org>

Infinit.

p4raw-id: //depot/perl@7862

Integrate perlio:

[  7860]
Correct relative path from new ext\Filter\Util\Call location
back to miniperl.

[  7857]
All tests pass on Win32/gcc/USE_PERLIO.
- when crlf layer is pushed make unix-level binary.
- remove :crlf injection in pp_backtick in pp_sys.c
- (Change dependacy of extension .dll's to perldll.def rather than perl.exe)

[  7853]
Re-arrange crlf vs binary for platforms that care.
crlf layer is now "the" buffer layer and can turn its behaviour on/off.
Lip-service to making stdio layer work on such platforms (untested).
Now fails 3 tests rather than one, checkin to see if I can debug
the issue under linux. (Do not merge.)

p4raw-link: @7860 on //depot/perlio: 0727cc217546946a8c8db12875c3cacb5833e494
p4raw-link: @7857 on //depot/perlio: a77df51f3c9319336e0ec43ad003b02a0111d2af
p4raw-link: @7853 on //depot/perlio: f5b9d040829bb5deb93173e35ee6c82ce0a01c37

p4raw-id: //depot/perl@7861

Correct relative path from new ext\Filter\Util\Call location
back to miniperl.

p4raw-id: //depot/perlio@7860

Integrate mainline.

p4raw-id: //depot/perlio@7859

C<foreach my $x ...> in pseudo-fork()ed process may diddle
parent's memory; fix it by keeping track of the actual pad
offset rather than a raw pointer (this change is probably also
relevant to non-ithreads case to avoid fallout from reallocs of
the pad array, but is currently only enabled for the ithreads
case in the interests of minimal disruption to existing "well
tested" code)

p4raw-id: //depot/perl@7858

All tests pass on Win32/gcc/USE_PERLIO.
 - when crlf layer is pushed make unix-level binary.
 - remove :crlf injection in pp_backtick in pp_sys.c
        - (Change dependacy of extension .dll's to perldll.def rather than perl.exe)

p4raw-id: //depot/perlio@7857

Undo the SOCKS workarounds, instead start using PerlIO
if SOCKS is selected.

Subject: perl@7847, [ID 20001030.005], close-patch, perlio - The big cleanup
Date: Fri, 24 Nov 2000 18:31:30 +0100
Message-ID: <20001124183130.E28337@Strawberry.COM>

Subject: Re: perl@7847, [ID 20001030.005], close-patch, perlio - Patch the patch ...
From: Jens Hamisch <jens@Strawberry.COM>
Date: Fri, 24 Nov 2000 19:11:51 +0100
Message-ID: <20001124191151.A28753@Strawberry.COM>

p4raw-id: //depot/perl@7855

Undo #7848.  Some of the code seems to use walkoptree(),
some walkoptree_slow().  An unfinished renaming?
Now the sub is walkoptree() (which is @EXPORT_OK),
the walkoptree_slow() is a typeglob alias to walkoptree.
This makes the tests to pass, at least.

p4raw-id: //depot/perl@7854

Re-arrange crlf vs binary for platforms that care.
crlf layer is now "the" buffer layer and can turn its behaviour on/off.
Lip-service to making stdio layer work on such platforms (untested).
Now fails 3 tests rather than one, checkin to see if I can debug
the issue under linux. (Do not merge.)

p4raw-id: //depot/perlio@7853

AUTHORS edits.

p4raw-id: //depot/perl@7852

Add Jan-Erik Karlsson.

p4raw-id: //depot/perl@7851

Configure should find stdchar on its own.

p4raw-id: //depot/perl@7850

PATCH over 7848: Filter test flawed
Message-ID: <m3k89tbtxe.fsf@ak-71.mind.de>

p4raw-id: //depot/perl@7849

[ID 20001124.001] B exports "walkoptree" but does not define it
Message-Id: <E13zLT8-0005FN-00@pembro4.pmb.ox.ac.uk>

p4raw-id: //depot/perl@7848

Integrate perlio:

[  7844]
Win32/perlio Now just fails one io/argv.t test - lack
of default :crlf on standard streams.

[  7843]
Win32 passes all but t/lib/peek.t with perlio and home-grown crlf.
peek fail is showing a real problem (multiple crlf layers
are getting pushed.)

[  7842]
Implement PerlIO_binmode()
Fix PerlIOCrlf_unread() (*--ptr rather than *ptr-- ...)
Test on UNIX with PERLIO="perlio crlf" to mimic Win32,
make binmode in t/lib/io_tell.t unconditional so that works.
Checkin just so Win32 machine can see these changes.

[  7836]
Implement crlf layer - not ready for merge.

p4raw-link: @7844 on //depot/perlio: de6cd452fde5aaf57e339f71b33b6a0852f0f96d
p4raw-link: @7843 on //depot/perlio: 63dbdb066b93ac25a070d3a7942d248c23ec6088
p4raw-link: @7842 on //depot/perlio: 60382766f71ec2a2d8e34a951c5c77b494bd86bb
p4raw-link: @7836 on //depot/perlio: 99efab1281ccea6f7df2a4d0affc5479291e2350

p4raw-id: //depot/perl@7847

Win32/perlio Now just fails one io/argv.t test - lack
of default :crlf on standard streams.

p4raw-id: //depot/perlio@7844

Win32 passes all but t/lib/peek.t with perlio and home-grown crlf.
peek fail is showing a real problem (multiple crlf layers
       are getting pushed.)

p4raw-id: //depot/perlio@7843