Added perl_size()

Squashed commit of all initial work on the 'name path' mechanism.

Spelling fix to docs from gregor herrmann [CPAN #78766]

Bump $VERSION to 0.78_50

This is 0.78 - update META.yml and META.json

Bump $VERSION to 0.78

This is 0.77_51 - update META.yml and META.json

Correct the code for structured exception handling on MSVC.

Bump $VERSION to 0.77_51

This is 0.77_50 - update META.yml, and add META.json

Skip tests in t/magic.t that use formline on 5.8.1 and 5.8.2

Those versions have a buggy formline that can trigger an assertion failure.

Refactor t/globs.t to avoid the side effects of a change to strict.pm

As of blead commit b50b20584a1bbc1a, Implement new 'use 5.xxx' plan,
use strict; will write to %^H. Move the eval that creates the subroutine
into a different scope, a new subroutine generate_glob(), so that its
outside pointer chain doesn't include gv_grew(). This avoids problems with
eval ops changing the side of the %^H copies at runtime.

Bump $VERSION to 0.77_50

This is 0.77 - update META.yml

Bump $VERSION to 0.77

This is 0.76_50 - update META.yml

Count the size of the "effective names" of a hash.

This code is somewhat cheeky, making direct structure accesses.

Count HvNAME(), the HV "aux" struct, and the mro_meta struct.

GvNAME() is shared from 5.10 onwards.

Use GvFILE_HEK(), if present, in preference to GvFILE()

Handle shared hash key scalars correctly.

Split out HEK size calculation into hek_size().

Add the shared HE overhead to the total size.

Add a comment to force emacs to use C mode.

Add a single (void **) cast to make the C code also valid as C++

Bump $VERSION to 0.76_50

This is 0.76 - update META.yml

Bump $VERSION to 0.76

This is 0.75_52 - update META.yml

Don't count PL_sv_placeholder in the size returned.

PL_sv_placeholder is a singleton, process wide, so shouldn't count as part of
the size.

sv_size() can return void once more.

All the code that relied on it returning the result of its call to check_new()
has been removed.

Reinstate 5.005_xx "support".

i.e. it compiles and passes tests.

Replace c*OPx macros with their expansions.

The expansions are 2 characters longer than the macros. The macros are not
present in 5.005.

Reinstate 5.6.x "support".

i.e. it compiles and passes tests.

Don't recurse into op_size() on op->pmnext.

It doesn't point to an OP owned by the current OP - it is used to form a linked
list that reset uses to find regexps to reset. Moreover, prior to 5.8.0 it can
end up pointing to freed memory, which results in much jollity.
[Bug 20010301.005, a.k.a. RT #5935, fixed in cb55de95c99e4650]

Reinstate weaken(), inadvertently removed by 8c394e1251fdfe38.

The test isn't testing as much as intended without it.

Magic vtables aren't freed when magic is freed, so don't count them.

They are static structures. Anything that assumes otherwise is buggy.

Correctly handle SvOOK scalars. 5.12 and later don't use SvIVX().

ppport.h defined NV if necessary, so no need to duplicate that.

Add -DPURIFY sizes to body_sizes[]

Use two macros to simplify the logic - MAYBE_OFFSET() where the normal version
subtracts a STRUCT_OFFSET(), and the purify version subtracts nothing, and
MAYBE_PURIFY() where there is not a simple relationship between the two sizes.

Use a table for SV body sizes. These incorporate the space saving post 5.8.x

For now, the sizes under -DPURIFY aren't correct.

In sv_size(), refactor the PV-derivatives to share as much code as possible.

As a side effect, PV"BM"s are now handled correctly on 5.10.0 and later.

In sv_size(), coalesce all calls to magic_size().

Bump $VERSION to 0.75_52

This is 0.75_51 - update META.yml

For other-than-gcc, generate calls to check_new(...)

Only use a static array of vtables on gcc. Some other compilers may be happy
with it, but VC certainly isn't. It's only trivial to determine gcc or not.

Bump $VERSION to 0.75_51

This is 0.75_50 - update META.yml

eval $ExtUtils::MakeMaker::VERSION to avoid warnings about _ not being numeric.

Frustratingly ExtUtils::MakeMaker->VERSION() returns the literal value of
$ExtUtils::MakeMaker::VERSION so it's just as "not numeric" as reading the
scalar directly.

Re-indent Makefile.PL consistently.

Simplify magic_size() by knowing that check_new() returns false for NULL.

Add the size of mg_len if mg_ptr is non-NULL.

With special cases for UTF-8 caching magic, which abuses mg_len, and for
mg_len == HEf_SVKEY

Follow mg_obj, which points to an SV.

Add tests for sizing magic.

The core's magic vtables are global constants, so aren't part of the size.

Parse perl.h to find the names of the vtables' names, and generate code to add
them all in new_state() as "seen".

Bump $VERSION to 0.75_50

This is 0.75 - update META.yml

Bump $VERSION to 0.75

This is 0.74_53 - update META.yml

Skip the aelemfast size comparison test for perls which predate the code change.

It was merged to maint-5.8 between 5.8.3 and 5.8.4, so 5.8.4 and later have it.
For 5.8.3 and earlier, the assumptions the test makes about sizes (based on op
structure) are bogus.

Skip GvFILE on ithreaded 5.8.8 and earlier, as it can point to freed memory.

Probably better to slightly under report sizes, than report something random or
SEGV.

Set the pointer alignment (in bits) via a C macro generated by the Makefile.PL

The previous approach of using sizeof(void *) is flat out wrong on a 64 bit
system. The right answer is 3. It gives 4. Which isn't a problem once the
pointer rotation code in check_new() isn't buggy, but isn't as efficient as
desired.

Fix typo error in bit-vector tracking mechanism, causing bogus "seen before"s.

On 64 bit platforms which allocate on 8 byte alignment (rather than 16), a low
pointer bit could get lost, resulting in new pointers being considered already
"seen". Joy, hilarity, failing tests and different results running under gdb.
"Found" by BinGOs' smoker, fixed on spectre.mongueurs.net. The help was
appreciated.

Bump $VERSION to 0.74_53

This is 0.74_52 - update META.yml

SvOK() && SvROK() is a tautology - SvROK() true has always implied SvOK() true.

So no need to check SvOK() first on 5.10 or earlier.

total_size() and size() can be XS ALIASes, now all the logic is in sv_size()

Move iteration over array values from total_size() to sv_size()

For now this requires some bodgery over when array values should be recursed
into. Arrays presented to total_size() should be properly recursed into.
However, historically the inner arrays of padlists were never traversed, which
means there is no code to deal with the special case rules for them. So to avoid
the perfect being the enemy of the good, defer writing that code, by skipping
the inner arrays of padlists for now.

Handle sizes for PVGVs in sv_size() only.

Previously the logic was duplicated in total_size().

Move iteration over hash values from total_size() to sv_size()

For now this requires some bodgery over when hash values should be recursed
into. Hashes presented to total_size() should be properly recursed into, else
the size of symbol tables isn't correctly reported. However, the back-link
from a CV to its stash shouldn't be traversed, as shouldn't GVs referenced from
OPs, else we run the risk of passing through %::, and adding the size of all
the symbol tables (and subroutines) to the size of a subroutine reference we
were directly passed. Whilst this might be useful in some cases, it isn't useful
as a default, and it isn't even vaguely consistent with the sizes total_size()
historically reported.

Fix potential SEGVs for PVBMs on 5.10.0 and later.

5.10.0 stores PVBMs as PVGVs. Hence not all PVGVs are typeglobs, and XS code
should check isGV_with_GP() is true before performing typeglob lookups.

The PVGV code currently ignores SvCUR()/SvLEN(), so for now the size of PVBMs
is under-reported on 5.10.0 and later.

The optree holds pointers to GVs under multiplicity. It's ithreads that differs.

Hence the tests that are conditional on the different behaviours should be
{unthreaded,multiplicity} vs {ithreads}, not
{unthreaded} vs {multiplicity,ithreads}

In op_size, add break statement missing for OPc_PVOP.

This has been missing since op_size was added in 0.60. Without it, PVOPs would
run on into the OPc_LOOP case, which would likely SEGV as it would consider
the char *op_pv as OP *op_first, and non-existent op_last, op_redoop, op_nextop
and op_lastop.

Fix potential SEGVs for OP_AELEMFAST on a lexical.

OP_AELEMFAST is wonderfully special, in that it can be used to replace both
OP_GV and OP_PADAV. The latter is only a baseop, whereas OP_AELEMFAST is a
flagged as a padop/svop. baseops are smaller, and (therefore) don't have memory
allocated where op_sv "should" be.

Add tests for subroutines and subroutine references.

Bump $VERSION to 0.74_52

This is 0.74_51 - update META.yml

Fix classic off-by-one error - the answer is strlen() + 1, not just strlen()

This has been in the code since year dot, and no-one has spotted that the
returned sizes have been under-reporting.

Move the check_new() test to the start of sv_size()

For now, this requires sv_size() to return new-or-not, but it prepares the way
to move all structure recursion into sv_size(). Currently it's in two places -
sv_size() and total_size().

This resolves two long-standing bugs in typeglobs - total_size() was double
counting entries in typeglobs, and sv_size() was double-counting the PVGV size
if GvEGV() looped back.

Add many tests for typeglobs.

These reveal several bugs.

Don't count PL_sv_{undef,no,yes} in the size returned

PL_sv_{undef,no,yes} are singletons, interpreter wide, so shouldn't count as
part of the size.

Bump $VERSION to 0.74_51

This is 0.74_50 - update META.yml

Ensure that size() doesn't add the referent's size for non SVt_RV references.

Previously it was adding the referent's size if the reference happened to be
other-than-SVt_RV (ie a blessed reference, or a reference assigned to a
previously used variable).

This requires stopping thing_size() from recursing into references when called
from size(). So add a boolean parameter controlling whether to recurse. As this
means changing every call to it, also rename it to sv_size(), and re-order the
parameters so that struct state is first.

Test that unallocated gaps within arrays have zero size.

This gets to be a bit more complex than it would first seem, as Test::More's
is_deeply() gets the length of arrays using $#array syntax, and that operation
allocates structures within the array prior to 5.12. We can't use
stringification, as we need to test undefs, so roll our own minimal test
subroutine.

Bump $VERSION to 0.74_50

This is 0.74 - update META.yml

LICENSE was added to ExtUtils::MakeMaker in 6.31, not 6.30

Bump $VERSION to 0.74

This is 0.73_51 - update META.yml

check_new() is now never called with NULL st, so simplify it slightly.

Add check_new_and_strlen(), which is check_new(...) && total_size += strlen(...)

This removes an oft-repeated pattern.

check_new(st, NULL) always returns 0, so no need to check NULL before calling it

Move the check_new() test to the start of regex_size(). All 1 caller uses it.

Move the check_new() test to the start of op_size(). All callers used it.

This reduces the amount of repetition in the source code. Whilst it likely will
cause one extra level of function calling at runtime (for a "seen before" OP,
as op_size() now needs to be entered), it will reduce object code size, which
will compensate. Not measured the difference, but expect it all to be dwarfed
anyway by cache misses on data reads. Maintainability wins.

Also as these are major changes, reindent all sections of op_size() which have
changed.

Refactor the C code to accumulate the size inside the tracking structure

The C *_size() functions now return void. Mark all as static.
The XS functions size() and total_size() now return UV, not IV.

Eliminate conditional 5.11/older conditional code that is actually unnecessary.

Need to use SvRV_const() for const correctness, which isn't in ppport.h, so
provide our own fallback definition when needed.

The logic used for pre-5.11 is (locally) correct for post 5.11 too.
However, the intent of the *design* of the module is that references never get
into this part of the code. Unfortunately, in turn, the implementation of the
design isn't right, and they do. However, the fix for this is actually to fix
the design, because it too isn't right.

Remove dead code: #if PERL_VERSION <= 8 then PERL_VERSION is definitely < 11.

Bump $VERSION to 0.73_51

Missed the second change between 0.73 and 0.73_50

This is significant, as the pair of changes should address all test smoke
failures. Fingers crossed.

This is 0.73_50 - update META.yml