Turn on UTF8 cache assertions with -Ca

p4raw-id: //depot/perl@27875

Oops. Change 27826 had an error in the definition of BGET_PADOFFSET().

p4raw-id: //depot/perl@27874

Upgrade to CGI.pm-3.19.

p4raw-id: //depot/perl@27873

Note that PVIOs probably aren't worth shrinking. Note 3 possible
subflags for -C if the two Unicode TODOs are done.

p4raw-id: //depot/perl@27872

Re: [PATCH] update to pp_complement() via Coverity
Message-Id: <20060416184044.4ADB.BQW10602@nifty.com>
Date: Sun, 16 Apr 2006 18:45:37 +0900

Subject: Re: [PATCH] update to pp_complement() via Coverity
From: SADAHIRO Tomoyuki <bqw10602@nifty.com>
Message-Id: <20060417230614.20A5.BQW10602@nifty.com>
Date: Mon, 17 Apr 2006 23:06:21 +0900

p4raw-id: //depot/perl@27871

In Change 27764 I forgot to at PL_hints_mutex to the list of symbols to
exclude when not compiling with ithreads. It would be good to automate
the processing of this.

p4raw-id: //depot/perl@27870

(tentative) regcomp.c: try convincing Coverity that data ptr in study_chunk is non-NULL when needed
Message-Id: <20060416092648.812D36CF2D@aprikoosi.hut.fi>
Date: Sun, 16 Apr 2006 12:26:48 +0300 (EEST)

p4raw-id: //depot/perl@27869

Note in av_store() that S_regclass relies on being able to pass NULL.

p4raw-id: //depot/perl@27868

Add assertions to cover cases where the Coverity scanner thinks we
could are deferencing a NULL pointer, but we think it missed something
it should have been capable of figuring out.

p4raw-id: //depot/perl@27867

Add Dave's explainations of why certain pointers are always non-NULL,
and assert() that it is true.

p4raw-id: //depot/perl@27866

fix cygwin build
Message-ID: <20060417010520.GA2888@efn.org>

p4raw-id: //depot/perl@27865

Support for -DDEBUGGING and its alias -DEBUGGING

p4raw-id: //depot/perl@27863

Revert change 27818, as change 27853 fixes the real bug.

p4raw-id: //depot/perl@27862

Compress::Zlib
From: "Paul Marquess" <Paul.Marquess@ntlworld.com>
Message-ID: <019b01c66205$7dc7ea50$6601a8c0@myopwv.com>

p4raw-id: //depot/perl@27861

pp_ctl.c caching
Message-ID: <20060417044035.GA28818@petdance.com>
Date: Sun, 16 Apr 2006 23:40:35 -0500

p4raw-id: //depot/perl@27860

dooop.c: the strong asserts in Sv* macros could cause memory leakage -- move the macro calls earlier (Coverity CID 84)
Message-Id: <20060417071937.C13346CF2D@aprikoosi.hut.fi>
Date: Mon, 17 Apr 2006 10:19:37 +0300 (EEST)

p4raw-id: //depot/perl@27859

Revert 27856.

p4raw-id: //depot/perl@27857

The danger of piping an mbox to patch is that it contains more than
one message. So both:

Subject: [PATCH] doop.c: one more code path where memory could leak (Coverity)
Message-Id: <20060416081925.680336CF2D@aprikoosi.hut.fi>
Date: Sun, 16 Apr 2006 11:19:25 +0300 (EEST)

and

Subject: [PATCH] doop.c: one more code path where memory could leak (Coverity)
From: jhi@cc.hut.fi (Jarkko Hietaniemi)
Message-Id: <20060416081925.680336CF2D@aprikoosi.hut.fi>
Date: Sun, 16 Apr 2006 11:19:25 +0300 (EEST)

p4raw-id: //depot/perl@27856

generalize the 'continue on success' mechanism of deferred REs

p4raw-id: //depot/perl@27855

abstract regmatch slab access with SLAB_FIRST and SLAB_LAST macros

p4raw-id: //depot/perl@27854

stop PL_op and PL_curpad referring to different pads at start of doeval
(this could make find_uninit_var do Bad Things)

p4raw-id: //depot/perl@27853

Fix bug introduced with change 27841. (len + 1, not just len).

p4raw-id: //depot/perl@27852

Coverity is flagging a potential problem because it sees a check for
NULL and assumes that this means that the variable host could be
NULL. It can't, and the check added in change 13291 was a little bit
more than the minimal solution needed for the bug report
[ID 20011126.148]
Hence remove the NULL check.

p4raw-id: //depot/perl@27851

op.c patch, 2nd version
Message-ID: <20060415042924.GA1786@petdance.com>
Date: Fri, 14 Apr 2006 23:29:24 -0500

p4raw-id: //depot/perl@27850

A scalar reference returned from a coderef in @INC is treated as the
initial "content" of the file. When it is exhausted input is taken
from a real file handle, or a generator sub, if either exists.

p4raw-id: //depot/perl@27849

remove some cruft from makedef.pl
From: "Jan Dubois" <jand@ActiveState.com>
Message-ID: <022e01c66134$d7a8dec0$2217a8c0@candy>

p4raw-id: //depot/perl@27848

testcase for change #27832
From: "Jan Dubois" <jand@ActiveState.com>
Message-ID: <022a01c6612b$575cb7e0$2217a8c0@candy>

p4raw-id: //depot/perl@27847

Stray pod/perlapi.pod change found after a regen.

p4raw-id: //depot/perl@27846

dump.c patch redux
Message-ID: <20060416052936.GA19143@petdance.com>

p4raw-id: //depot/perl@27845

Perl_do_vop can profitably use Perl_sv_usepvn_flags, as it has
allocated space for an initialised a trailing NUL.

p4raw-id: //depot/perl@27843

In Perl_sv_usepvn_flags, assert() that the caller has RTFM.

p4raw-id: //depot/perl@27842

Provide a new flag for sv_usepvn_flags, SV_HAS_TRAILING_NUL, which
signals that the buffer passed in is already well-formed for use as
SvPVX (i.e. it is followed by a trailing NUL), and hence the realloc()
to add a NUL can be skipped.

p4raw-id: //depot/perl@27841

Merge sv_usepvn and sv_usepvn_mg into sv_usepvn_flags. "Promote" the
other two to mathoms.c

p4raw-id: //depot/perl@27840

In Perl_sv_usepvn(), force a move under DEBUGGING to shake out caller
bugs.

p4raw-id: //depot/perl@27839

Fix htmllink.t to cater for the case where perladmin isn't an empty
string.

p4raw-id: //depot/perl@27838

Coverity notes that we might be dereferencing fgv before a check that
it's not NULL. In fact, the code ordering meant that one "if (fgv)"
would always be true. So fix this.

p4raw-id: //depot/perl@27837

update to pp_complement() via Coverity
Message-ID: <20060416051423.GA17063@petdance.com>

p4raw-id: //depot/perl@27836

clean up hv_assert()
Message-ID: <20060416041827.GA3031@petdance.com>

p4raw-id: //depot/perl@27835

Removed unused var in a macro
Message-ID: <20060416043253.GA3438@petdance.com>

p4raw-id: //depot/perl@27834

Change anchor generation in Pod::Html for "=item item 2"
From: "Jan Dubois" <jand@ActiveState.com>
Message-ID: <017a01c65fff$dfd0f370$2217a8c0@candy>

p4raw-id: //depot/perl@27833

Pod::Html::depod() doesn't work correctly for multi-line strings
From: "Jan Dubois" <jand@ActiveState.com>
Message-ID: <017b01c65cee$a2f5fe00$6062a8c0@candy>

p4raw-id: //depot/perl@27832

Missing part of change 25186
From: "Jan Dubois" <jand@ActiveState.com>
Message-ID: <009401c65f62$74fded70$2217a8c0@candy>

p4raw-id: //depot/perl@27831

Missing part of change 25676
From: "Jan Dubois" <jand@ActiveState.com>
Message-ID: <009001c65f61$78866d60$2217a8c0@candy>

p4raw-id: //depot/perl@27830

Handle null io in leavewrite (not possible?) (Coverity)
Message-ID: <1661.38.96.138.153.1145124821.squirrel@mail.longitude.com>
Date: Sat, 15 Apr 2006 14:13:41 -0400 (EDT)

p4raw-id: //depot/perl@27829

Potential (?) memory leak in Storable.xs (Coverity)
Message-ID: <1561.38.96.138.153.1145123650.squirrel@mail.longitude.com>
Date: Sat, 15 Apr 2006 13:54:10 -0400 (EDT)

p4raw-id: //depot/perl@27828

Teach Perl_do_sv_dump how to cope with IOs that have bogus things in
GV slots. (Which source filters are prone to do to them).

p4raw-id: //depot/perl@27827

Coverity was getting upset about an assignment from a function
returning int to a U8 variable. Curiously it was only getting upset
about the first of many.
However, we are doing NO ERROR CHECKING on whether we read in the
requested number of bytes of bytecode. All except BGET_op_tr_array
will now croak on a short read.

p4raw-id: //depot/perl@27826

Coverity reports that Storable can potentially cause a NULL pointer
dereference while iterating a hash. This should never happen unless
the hash lies about how many keys it has, so croak if a fib is spotted.

p4raw-id: //depot/perl@27825

Coverity notes that resource are leaked in the unfinished and never
called function _utf8_to_bytes.

p4raw-id: //depot/perl@27824

Coverity correctly reports that gv might (just) be NULL. So don't
derefernece it if it is.

p4raw-id: //depot/perl@27823

Update the assertion to a croak "Out of range special SV number"
to give ByteLoader more meaningful failure diagnostics.

p4raw-id: //depot/perl@27822

I believe that it makes little sense for the simple user filters
provided by coderefs to be run in block mode. Hence always read from
the upstream filter in line mode, and always call the user's filter
with 1 line.

p4raw-id: //depot/perl@27821

Fix a bug - the introduction of the caching code means that we should
initialise the SV upstream after it.
assert that filter_sub is always non-null now.

p4raw-id: //depot/perl@27820

Augment the user filter caching code so that if the user filter returns
multiple lines, only one line at a time is returned.
Rename the variable len to status, as it is the status value.

p4raw-id: //depot/perl@27819

Deep in the bowels of creating new and exciting bugs, I managed to
segfault the uninitialised value reporting code. This protects against
the segfault.

p4raw-id: //depot/perl@27818

$foo .= $bar doesn't warn if $foo is undefined, so simplify code.

p4raw-id: //depot/perl@27817

If the downstream caller wants block mode, and we're in line mode,
then don't return more bytes than they asked for. Hold bytes over
until next time if necessary.

p4raw-id: //depot/perl@27816

Eliminate the filter_child_proc hack from pp_require.

p4raw-id: //depot/perl@27815

If you return void from a filter subroutine, the caller's status is
used. If not, your last statement is the return value, and if it keeps
being +ve you'll never hit EOF.
The probably should be a sanity check for this in toke.c, but I'm not
sure how.

p4raw-id: //depot/perl@27814

Tests for having multiple pipes open simultaneously.
(See comment added in change 3771 about this apparently being buggy)

p4raw-id: //depot/perl@27813

Add more tests for the builtin source filter implementation, and fix
two bugs - it would loop infinitely if data were already in the read
buffer, and it would process those data twice.

p4raw-id: //depot/perl@27812

Add a test for source filters returned from code references in @INC.

p4raw-id: //depot/perl@27811

Bump the expect file count in readdir.t. We keep writing more tests.

p4raw-id: //depot/perl@27810

perlio.c: layer data might be allocated and unused (Coverity)
Message-Id: <20060415082417.24F0A6D08C@ugli.hut.fi>

(with a correction)

p4raw-id: //depot/perl@27809

Fix bug in prime_env_iter where the terms of a comparison were reversed
so we thought we didn't have a logical name table when we did.  Reported as:
Subject: LWP::Simple crashes on VMSperl
From: "juna" <ggl.20.jj...@spamgourmet.com>
Newsgroups: comp.os.vms,comp.lang.perl.misc
Message-ID: <1143237161.931669.48370@t31g2000cwb.googlegroups.com>

p4raw-id: //depot/perl@27808

Honor READALL privilege in cando_by_name (from Scott
Lepage of HP OpenVMS Engineering)

p4raw-id: //depot/perl@27807

Don't die after SS$_NOPRIV in Perl_vmssetenv, courtesy
of Scott Lepage at HP.

p4raw-id: //depot/perl@27806

Change SAVECOPWARNINGS(c) to SAVECOMPILEWARNINGS() - it's only used to
save the warnings on PL_compiling, so constraining its use to what we
can test seems to make sense. Particularly as testing Perl_ss_dup is
tricky.

p4raw-id: //depot/perl@27805

In the description of require, clarify the file handle return and why
C<INC> must be qualified.

p4raw-id: //depot/perl@27804

 S_glob_2inpuv() did not check if lenp was NULL. Oops.

p4raw-id: //depot/perl@27803

Replace explict "/dev/null" with BIT_BUCKET, which varies by platform.

p4raw-id: //depot/perl@27802

doop.c: (Coverity) found a bug but not quite what Coverity thought it did (try valgrind on the new bop.t without the doop.c patch)
Message-Id: <20060413162046.5F9636D08C@ugli.hut.fi>

p4raw-id: //depot/perl@27801

Mark new_warnings_bitfield as XE, and add it to __DATA__ in makedef.pl
Remove a reference to the deleted function Perl_refcounted_he_dup.

p4raw-id: //depot/perl@27800

IO::Compress::*
Message-ID: <004f01c65f9a$3871eb30$2405140a@myopwv.com>

p4raw-id: //depot/perl@27799

perlio.c: (Coverity) eliminate temp ptr that confuses Coverity into thinking there is a resource leak
Message-Id: <20060414085644.94A076D08C@ugli.hut.fi>
Date: Fri, 14 Apr 2006 11:56:44 +0300 (EEST)

p4raw-id: //depot/perl@27798

Reverting change #27791 which may cause corruption addition corruption
within a regular expression.
p4raw-link: @27791 on //depot/perl: 4ae2f9814731932908f61ce4a79c6da6063584e7

p4raw-id: //depot/perl@27797

Fix implementation of threads->_handle on unixes.
See :
Subject: RE: [PATCH] 2nd patch to sync blead 'threads' with CPAN [REPOST]
From: "Jerry D. Hedden" <jerry@hedden.us>
Message-ID: <20060404092520.fb30e530d17747c2b054d625b8945d88.4a8a6b16c9.wbe@email.email.secureserver.net>

p4raw-id: //depot/perl@27796

(Hopefully) fix coredumps in ByteLoader, which were a side effect of
fixing a bug in B, and non-robust autogenerated code. When
autogenerating initialiser statements for an array, it's a bad plan to
have the size of that array hard coded.

p4raw-id: //depot/perl@27795

eliminate PL_regbol PL_regtill PL_regnarrate PL_reg_ganch PL_reg_sv
(only another 434 to go ...)

p4raw-id: //depot/perl@27794

disable 'split /(?{ split "" })/' test until recursive split is fixed

p4raw-id: //depot/perl@27793

Remove SAVEt_FREESHAREDPV, as nothing is using it, and it isn't catered
for in Perl_ss_dup, hence nothing is testing it and nothing will alert
us if it breaks.

p4raw-id: //depot/perl@27792

Add another NULL check thanks to Coverity.

p4raw-id: //depot/perl@27791

For duping SAVEHINTS it rather helps if you pay attention to what is
actually being pushed onto the save stack.

p4raw-id: //depot/perl@27790

regexec.c: (Coverity) add NULL check
Message-Id: <200604131252.k3DCqFUL497781@kosh.hut.fi>
Date: Thu, 13 Apr 2006 15:52:15 +0300 (EEST)

p4raw-id: //depot/perl@27789

regexec.c: (Coverity) move NULL check even earlier
Message-Id: <200604131239.k3DCdXhe124107@kosh.hut.fi>
Date: Thu, 13 Apr 2006 15:39:33 +0300 (EEST)

p4raw-id: //depot/perl@27788

Add a break; to the end of the SAVEt_COP_WARNINGS case, and don't try
to dereference cop_hints if it's NULL.

p4raw-id: //depot/perl@27787

Fix B and ByteLoader to cope with cop_warnings no longer being an SV.

p4raw-id: //depot/perl@27786

Add SAVEt_COP_WARNINGS to ss_dup.

p4raw-id: //depot/perl@27785

Re: [PATCH] add pTHX_ parameter to new_warnings_bitfield()
Message-ID: <443E1998.9090909@uk.radan.com>
Date: Thu, 13 Apr 2006 10:27:52 +0100

p4raw-id: //depot/perl@27784

eliminate PL_reg_re
(only another 439 to go ...)

p4raw-id: //depot/perl@27783

[perl #38906] Regex engine does not release MINMOD
From: "Animator via RT" <perlbug-followup@perl.org>
Message-ID: <rt-3.0.11-38906-132222.3.24032491323436@perl.org>

zero-length minimum matches that failed could leak into a following
maximal match

p4raw-id: //depot/perl@27782

D'oh! Don't try to do #ifdefs inside "functions" that are actually
macros.

p4raw-id: //depot/perl@27781

Add tests for all the other types that %^H serialisation is supposed
to support. In the process, found and corrected a bug.
Tests are good, m'kay.

p4raw-id: //depot/perl@27780

Change cop_warnings from an SV holding the warnings bitmask to a
directly (shared) malloc()ed buffer holding the warnings bitmask.
This avoids bugs/crashes when the interpreter that created an optree
is freed but the optree remains in use by other interpreters.

p4raw-id: //depot/perl@27779

Remove the final recursion path from S_regmatch:  (??{...})
Also put PUSH/POP_STATE infastructure in place
Also eliminate PL_reg_call_cc
       (only another 440 global vars to go ...)

p4raw-id: //depot/perl@27778

Test that we can do embedded 0 bytes in hints.

p4raw-id: //depot/perl@27777

Store cop_hints as a shared structure without using any SVs (on
ithreads).

p4raw-id: //depot/perl@27776

Remove Perl_refcounted_he_copy and Perl_refcounted_he_dup.

p4raw-id: //depot/perl@27775

Newxz() can use calloc() rather than malloc(), as the implementation
of calloc() may know that it has fresh pages from the OS, and so
doesn't need to zero them itself. Plus our object code should be
slightly smaller.

p4raw-id: //depot/perl@27774

As OPs are shared between threads, they should be using
PerlMemShared_*alloc functions, rather than per-thread *alloc()s.

p4raw-id: //depot/perl@27773