read/sysread/recv should now be utf8 aware.
Basic test for utf8 read.

p4raw-id: //depot/perlio@8059

Make write() (i.e. formats) utf8-aware by calling do_print() rather
than raw PerlIO_write() - does not seem to break any tests.

p4raw-id: //depot/perlio@8055

Make print, syswrite, send, readline, getc honour utf8-ness of PerlIO.
(sysread, recv and write i.e. formats still to do...)
Allow :utf8 or :bytes in PerlIO_apply_layers() so that
   open($fh,">:utf8","name")
etc. work. - "applying" those just sets/clears the UTF8 bit of the top layer,
so no extra overhead is involved.
Tweak t/comp/require.t to add a 'use bytes' to permit its dubious writing of BOM
to a non-utf8 stream.
Add initial io/utf8.t
Fix SvPVutf8() - sv_2pv() was not expecting to be called with something
that was already SvPOK() - (we just fossiked with SvUTF8 bit). Fix that
and also just use the SvPV macro in sv_2pvutf8() to avoid the issue/overhead.

p4raw-id: //depot/perlio@8054

Did not get that has_utf8/this_utf8 fix right last time, another spot
was only testing this_utf8.

p4raw-id: //depot/perlio@8053

Typo/thinko in S_scan_const() - seeing high bit sets has_utf8 not this_utf8
i.e. the output string has one, but don't mess with source assumption.

p4raw-id: //depot/perlio@8052

UTF8 output prework.
 - Store $\ and $, as SVs so they can have SvUTF8 flag
 - use do_print() rather than raw PerlIO_write() to print them.

p4raw-id: //depot/perlio@8049

Integrate mainline.

p4raw-id: //depot/perlio@8048

Re: [pvhp@forte.com: [ID 20001208.004] Not OK: perl v5.7.0 +DEVEL8042 on VMS_AXP V7.1 (UNINSTALLED)]

p4raw-id: //depot/perl@8047

A missed check-in.

p4raw-id: //depot/perl@8046

(null check-in)

p4raw-id: //depot/perl@8045

Add ISO 8859-16 encoding.  Not a standard yet but seems to be
at the final draft stage.

p4raw-id: //depot/perl@8044

Update Changes.

p4raw-id: //depot/perl@8043

Do not return the Unicode replacement character if UTF-8
decoding goes awry, it should be up to the caller to decide.

p4raw-id: //depot/perl@8042

[ID 20001207.009] Not OK: perl v5.7.0 +DEVEL8030 on os2-64int-ld 2.30
Message-Id: <200012080532.eB85Wh729109@garcia.efn.org>

p4raw-id: //depot/perl@8040

Re: ebcdic <-> ascii tables interjected in uv <-> utf8 considered harmful
Message-ID: <20001208133331.A11535@deep-dark-truthful-mirror.perlhacker.org>

(The pp_hot part needed a rewrite.)

p4raw-id: //depot/perl@8039

djSP
Message-ID: <20001206232400.A21381@firedrake.org>

Plus a note from Nick Ing-Simmons.

p4raw-id: //depot/perl@8038

Filetype is text.

p4raw-id: //depot/perl@8037

[ID 20001207.004] [PATCH 5.6.0 and 5.7.x] add NCR MP-RAS support
Date: Thu, 7 Dec 2000 12:36:45 -0500 (EST)
Message-Id: <Pine.SOL.4.10.10012071235400.13162-100000@maxwell.phys.lafayette.edu>

Subject: Re: [ID 20001207.004] [PATCH 5.6.0 and 5.7.x] add NCR MP-RAS support
From: Andy Dougherty <doughera@lafayette.edu>
Date: Thu, 7 Dec 2000 13:56:10 -0500 (EST)
Message-ID: <Pine.SOL.4.10.10012071354420.6665-100000@maxwell.phys.lafayette.edu>

p4raw-id: //depot/perl@8036

[ID 20001207.003] [PATCH] t/base/term.t causes abort if Config.pm not built
Message-Id: <Pine.SOL.4.10.10012071049400.7566-100000@maxwell.phys.lafayette.edu>

p4raw-id: //depot/perl@8035

DOC PATCH 5.6.0: -s return value incompletely documented
Message-ID: <20001207210420.22282.qmail@plover.com>

Plus -z doc.

p4raw-id: //depot/perl@8034

Use the UTF8 macros a bit.  They can't be used with abandon
everywhere because we do generate illegal UTF-8 in some situations.
This is of course naughty.

p4raw-id: //depot/perl@8033

Out of sync?

p4raw-id: //depot/perl@8032

Cnt spl.

p4raw-id: //depot/perl@8031

Add test for reverse().

p4raw-id: //depot/perl@8030

Integrate perlio:

[  8026]
Various oddities p4 diff -se showed up
Remove 'our' from warnings.pl

[  8025]
Change PerlIO_(get|set)pos to take SV *
Should fix, OS/2, VMS, (sfio??)

p4raw-link: @8026 on //depot/perlio: 0ca4541c317eb395329cac582e39db540241d553
p4raw-link: @8025 on //depot/perlio: 766a733e849204725c27391cf2992d649af4aba6

p4raw-id: //depot/perl@8029

Introduce macros for UTF8 decoding.

p4raw-id: //depot/perl@8028

Integrate mainline

p4raw-id: //depot/perlio@8027

Various oddities p4 diff -se showed up
Remove 'our' from warnings.pl

p4raw-id: //depot/perlio@8026

Change PerlIO_(get|set)pos to take SV *
Should fix, OS/2, VMS, (sfio??)

p4raw-id: //depot/perlio@8025

Document utf8_to_uv() better.

p4raw-id: //depot/perl@8024

Document utf8_length(), utf8_distance(), and utf8_hop().

p4raw-id: //depot/perl@8023

Integrate perlio:

[  8021]
Various attempts at MSVC debug - not sure what has
changed but works now.
Seems atexit() _may_ work for DLLs built with MSVC so don't
call cleanup that way.

[  8019]
Add useperlio to config.vc
Turn off binmode in config_H.PL
Regen all the config_H.xx
Attempt to get debugging build with MSVC.

[  8018]
Test various dup/external program options on all platforms.

[  8017]
Fix harness to be less picky

p4raw-link: @8021 on //depot/perlio: be696b0a6b61315b71a751e7291be8d8a9066650
p4raw-link: @8019 on //depot/perlio: 8c8a4ace7996843229b7a1f2a007f1cea5c7a38d
p4raw-link: @8018 on //depot/perlio: e4a4387cd67b57d9dfcb057f769a33143eec0663
p4raw-link: @8017 on //depot/perlio: 252585246f39d85ad7388d28c06dd6ed97b4d47d

p4raw-id: //depot/perl@8022

Various attempts at MSVC debug - not sure what has
changed but works now.
Seems atexit() _may_ work for DLLs built with MSVC so don't
call cleanup that way.

p4raw-id: //depot/perlio@8021

Integrate mainline

p4raw-id: //depot/perlio@8020

Add useperlio to config.vc
Turn off binmode in config_H.PL
Regen all the config_H.xx
Attempt to get debugging build with MSVC.

p4raw-id: //depot/perlio@8019

Test various dup/external program options on all platforms.

p4raw-id: //depot/perlio@8018

Fix harness to be less picky

p4raw-id: //depot/perlio@8017

Update Changes.

p4raw-id: //depot/perl@8016

Test \x{...} with ord().

p4raw-id: //depot/perl@8015

Test tweak because of #8013.

p4raw-id: //depot/perl@8014

$VERSION crusade, strict, tests, etc... all over lib/
Message-ID: <20001205212328.C6473@blackrider.aocn.com>

Carp::Heavy parts not very applicable because of recent changes.

p4raw-id: //depot/perl@8013

Re: New harness is failing things
Message-Id: <200012061300.NAA10567@mikado.tiuk.ti.com>

p4raw-id: //depot/perl@8012

installhtml changes
Message-ID: <20001206131553.A27317@firedrake.org>

p4raw-id: //depot/perl@8011

the dTHR hits
Message-ID: <20001206120603.A24581@firedrake.org>

More, errrm, less dTHRs.

p4raw-id: //depot/perl@8010

MakeMaker mailing list gone?
Message-ID: <20001205192959.B6473@blackrider.aocn.com>

The MakeMaker mailing list is dead, perlbug is the right
address to report bugs.

p4raw-id: //depot/perl@8009

Default MANIFEST.SKIP]
Message-ID: <20001205192121.A6473@blackrider.aocn.com>

Add a default MANIFEST skip that ignores things like
version control files, editor temporary files, and the Makefile.

p4raw-id: //depot/perl@8008

In Amiga more manual hackery of the scripts seems to be needed,
from Jan-Erik Karlsson.  Why Configure does not get this right
is unknown, may be shell-induced.

p4raw-id: //depot/perl@8007

Add TOPm1s to peek at the second topmost stack item.

p4raw-id: //depot/perl@8006

Avaunt, you foul UTF-8 tests.

p4raw-id: //depot/perl@8005

Continue utf8 dispersal.

p4raw-id: //depot/perl@8004

Integrate mainline.

p4raw-id: //depot/perlio@8003

Integrate perlio:

[  8001]
Win32 PERL_IMPLICIT_SYS passes all tests with USE_PERLIO
- calloc/free suffer from damage on TerminateThread()
- use PerlMemShared (as originally planned) now fixed
- avoid doing anything important on DLL "detach".

[  8000]
Fix gross PerlMemShared issue.

p4raw-link: @8001 on //depot/perlio: ce3e5b80724e7725765c5559e5f4b0058876fc19
p4raw-link: @8000 on //depot/perlio: 0a77e2d7f7c1b1af440a8cf545295905853ca727

p4raw-id: //depot/perl@8002

Win32 PERL_IMPLICIT_SYS passes all tests with USE_PERLIO
 - calloc/free suffer from damage on TerminateThread()
 - use PerlMemShared (as originally planned) now fixed
 - avoid doing anything important on DLL "detach".

p4raw-id: //depot/perlio@8001

Fix gross PerlMemShared issue.

p4raw-id: //depot/perlio@8000

Test for Unicode (UTF-8) hash keys.

p4raw-id: //depot/perl@7999

Remove an unnecessary 'use utf8' (unnecessary because \x{...}
is now always UTF-8), empty line cosmetics.

p4raw-id: //depot/perl@7998

Re: STRLEN - what?
Message-ID: <Pine.SOL.4.10.10012051152100.3586-100000@maxwell.phys.lafayette.edu>

Explain STRLEN.

p4raw-id: //depot/perl@7997

Split off the UTF-8 decoder tests, make them to check also
the error message.

p4raw-id: //depot/perl@7996

Start migrating bits of pragma/utf8 to elsewhere
(since the long term plan is to obsolete 'use utf8').

p4raw-id: //depot/perl@7995

Fix a manual edit typo from #7993, fix the message formatting
for Unicode, add few our declarations.

p4raw-id: //depot/perl@7994

Need help with warnings :-(
Date: Tue, 05 Dec 2000 01:35:54 -0500
Message-ID: <LAW2-F2380n7J95K7aI00001bb9@hotmail.com>

Subject: UPDATE: Carp/Heavy now passes all tests
From: "Ben Tilly" <ben_tilly@hotmail.com>
Date: Tue, 05 Dec 2000 07:59:41 -0500
Message-ID: <LAW2-F58V1qdiixjnzi00005523@hotmail.com>

The Brave New Carp.

p4raw-id: //depot/perl@7993

cygwin port
Message-Id: <200012051402.OAA60286@mailhost2.dircon.co.uk>

p4raw-id: //depot/perl@7992

Re: [PATCH] The largest hoax of all times?
Date: Tue, 5 Dec 2000 00:40:25 -0500
Message-ID: <20001205004025.A4050@monk.mps.ohio-state.edu>

Subject: Re: [PATCH] The largest hoax of all times?
From: Ilya Zakharevich <ilya@math.ohio-state.edu>
Date: Mon, 4 Dec 2000 23:55:53 -0500
Message-ID: <20001204235553.A1140@monk.mps.ohio-state.edu>

Subject: Re: [PATCH] The largest hoax of all times?
From: Ilya Zakharevich <ilya@math.ohio-state.edu>
Date: Tue, 5 Dec 2000 01:28:45 -0500
Message-ID: <20001205012844.A4227@monk.mps.ohio-state.edu>

Fix the unpredictable order of DESTROYs.

p4raw-id: //depot/perl@7991

shrink pp_hot fractionally
Message-ID: <20001205124431.E74518@plum.flirble.org>

Use report_evil_fh().

p4raw-id: //depot/perl@7990

[ID 20001203.001] Not OK: perl v5.7.0 +DEVEL7965 on os2-64int-ld 2.30 (UNINSTALLED)
Message-ID: <HmIL6gzkgepS092yn@efn.org>

Harness shouldn't ignore responses like "ok 3\r\r\n".

p4raw-id: //depot/perl@7989

Integrate the "skip" messages to explain().

p4raw-id: //depot/perl@7988

The one that got away in #7984.

Subject: Re: dTHR - what and why?
Message-ID: <20001205111552.A4647@firedrake.org>

p4raw-id: //depot/perl@7987

fix open(FOO, ">&MYSOCK") failure under Windows 9x (problem is
due to the notorious GetFileType() bug in Windows 9x, which fstat()
tickles)

p4raw-id: //depot/perl@7986

Integrate perlio:

[  7983]
PERL_IMPLICIT_SYS (almost) works - something odd with "signal"

p4raw-link: @7983 on //depot/perlio: 5f1a76d08cedee4f2888d077fe9593b03dd9bd13

p4raw-id: //depot/perl@7985

dTHR is a nop in 5.6.0 onwards.  Ergo, it can go.

p4raw-id: //depot/perl@7984

PERL_IMPLICIT_SYS (almost) works - something odd with "signal"

p4raw-id: //depot/perlio@7983

Yet Another Copying-Without-Paying-Attention-To-SvUTF8(sv) Bug
uncovered by #7980.

p4raw-id: //depot/perl@7982

Trivial dump.c feature
Message-ID: <20001204180838.A5541@pembro33.pmb.ox.ac.uk>

Show whether a constant is UTF-8.

p4raw-id: //depot/perl@7981

UTF-8 hash keys, patch from Inaba Hiroto.

p4raw-id: //depot/perl@7980

Update Changes.

p4raw-id: //depot/perl@7979

Retract #7977, still too volatile (the euphemism of the day
for unfinished and buggy :-)

p4raw-id: //depot/perl@7978

(Retracted by #7978, too shaky yet.)

Subject: Re: utf8 in hash keys, implementor missing
Message-ID: <20001202194935.A25673@pembro33.pmb.ox.ac.uk>

The first step at UTF-8 hash keys.

p4raw-id: //depot/perl@7977

[ID 20001203.001] Not OK: perl v5.7.0 +DEVEL7965 on os2-64int-ld 2.30 (UNINSTALLED)
Message-Id: <200012040306.eB436rE18922@garcia.efn.org>

p4raw-id: //depot/perl@7976

Re: [ID 20001129.009] Not OK: perl v5.7.0 +DEVEL7928 on os2-64int-ld 2.30 (UNINSTALLED)
Message-ID: <d4yJ6gzkgGsJ092yn@efn.org>

p4raw-id: //depot/perl@7975

++ 20% faster
Message-ID: <20001204121726.B52976@plum.flirble.org>

Make '$i = ""; $i++' to produce true IVs without a hint of NVs.

p4raw-id: //depot/perl@7974

Re: Not OK: perl v5.7.0 +DEVEL7825 on aix 4.2.1.0 (UNINSTALLED)
Message-Id: <20001204122118.E85D.H.M.BRAND@hccnet.nl>

AIX 4.2 (using latest patchlevels on 20001130) has a broken bind
library (getprotobyname and getprotobynumber are outversioned by
the same calls in libc, at least for xlc version 3.

p4raw-id: //depot/perl@7973

Integrate perlio:

[  7971]
Quieten some noise in Win32 builds:
- win32.h is included after <sys/socket.h>, so need to
set Win32SCK_IS_STDSCK earlier to avoid re-defined noise in XSUB.h
- GCC (& MSVC?) have execv(...,const char *const *) so need a cast from char **.

[  7970]
PERL_IMPLICIT_SYS compiles but does not work.

p4raw-link: @7971 on //depot/perlio: b4748376b6239962bd75b743e5a7b14788a2970c
p4raw-link: @7970 on //depot/perlio: adb71456d0ff53391c88789f315f1e66b14373d5

p4raw-id: //depot/perl@7972

Quieten some noise in Win32 builds:
 - win32.h is included after <sys/socket.h>, so need to
   set Win32SCK_IS_STDSCK earlier to avoid re-defined noise in XSUB.h
 - GCC (& MSVC?) have execv(...,const char *const *) so need a cast from char **.

p4raw-id: //depot/perlio@7971

PERL_IMPLICIT_SYS compiles but does not work.

p4raw-id: //depot/perlio@7970

On DEBUGGING make ANYOFUTF8 nodes store away also the SV
used to swash_init(), makes regprop() dumps more informative
(+utf8::IsAlpha, -utf8::IsDigit, for example).

p4raw-id: //depot/perl@7969

Implement ANYOFUTF8 regprop() dumping.

p4raw-id: //depot/perl@7968

Make uv_to_utf8() to zero-terminate its output buffer,
always use (at least) UTF8_MAXLEN + 1 U8s deep buffer.

p4raw-id: //depot/perl@7967

Integrate mainline (STDCHAR)

p4raw-id: //depot/perlio@7966

Raw zero bytes in text files confuse at least GNU patch 2.1.

p4raw-id: //depot/perl@7965

Integrate perlio:

[  7961]
Make iperlsys.h vector stdio not PerlIO.

p4raw-link: @7961 on //depot/perlio: eaf8b6989fc5883b4cde6853803087e4b807b2b7

p4raw-id: //depot/perl@7964

Untangle the <stdio.h> #include nest for the stdchar test,
from Andy Dougherty.

p4raw-id: //depot/perl@7962

Make iperlsys.h vector stdio not PerlIO.

p4raw-id: //depot/perlio@7961

Integrate mainline

p4raw-id: //depot/perlio@7960

Use DO_UTF8().

p4raw-id: //depot/perl@7959

Re: [ID 20001130.011] expression parsing bug ?
Message-Id: <E142GRN-0003go-00@libra.cus.cam.ac.uk>

An extraneous argument.

p4raw-id: //depot/perl@7958

A missing hunk.

p4raw-id: //depot/perl@7957

Re: [ID 20001202.001] (Net::hostent)
Message-ID: <20001202142827.A12308@plum.flirble.org>

Test robustness.

p4raw-id: //depot/perl@7956

An inconvenient hang would happen if the stdio _ptr wasn't
found in <stdio.h> and <stdio_impl.h> didn't exist.  (grep
would be grepping stdin for all eternity for the _ptr.)

p4raw-id: //depot/perl@7954

Update Changes.

p4raw-id: //depot/perl@7953

Re: long shell lines
Message-ID: <Pine.SOL.4.10.10011301044590.26388-100000@maxwell.phys.lafayette.edu>

Split overly long shell command lines.

p4raw-id: //depot/perl@7952