Expand (and complicate) m2m test from e98e6478

There are no logical changes, the only real addition is the
extra opaque relcond in the middle

Change incomprehensible names of test relationships from e98e6478

No functional changes yet, just renames

Rewrite incredibly overcomplicated add_X m2m helper

Goal was no functional changes, but one never knows - original code was...
rather peculiar

Redo badly named constant folding arg introduced in 8d73fcd4

No functional changes

Streamline (logic-wise, not syntax-wise) handling of 'foreign_values'

No functional changes, just some extra sanity checks

Even though I personally added these in 4f8c9678 I no longer recall why

Switch a couple 'no-brainer' spots to _resolve_relationship_condition

More to come, all of this should result in no functional changes

Remove ability to hand an explicit condition to resolve_relationship_condition

Less moving parts this way, and the only use-cases within the test suite are
all straight from bizarro-land

Read under -w

Make sure array-relconds edge case is handled properly

Hopefully nobody in the wild is using this... hahaha who am I kidding. Anyway
being thorough before subsequent commits

Bring in line behavior of related_resultset() on both $rs and $result

The original problematic behavior on $result was introduced back in 64acc2bc
and never noticed since :(

Minor op reorder in ::ResultSet::related_resultset

This *should* be entirely transparent, but there may be dragons...
Read under -w

Remove no longer needed try{} block in related rel instantiation

This try{} is no longer necessary after 3b4c4d72, but was missed due to
its purpose not being readily apparent. The only known case where this
exception could be raised and be silenced is if an uninserted object had
some filter relations populated directly via {_inflated_column} *before*
related_resultset() has ever been called. This would result in a cascade
of failures during the relationship resolution, and bubble up here.

Starting with 3b4c4d72 the empty related resultset is instantiated ahead
of time, and everything works properly from there on.

In the unlikely case this does cause issues downstream, a way will be
found to address this ( worst case scenario by reintroducing the try{} )

Remove dead code from CDBICompat::ImaDBI

This is a forgotten piece from back in 902133a3, overtaken by a local copy of
Class::DBI::SQL::Transformer. Nothing called/exercised it since then

Simplify and rename _resolve_prefetch

No functional changes, just logic and arglist cleanup - a couple of them were
no longer used: $order was forgotten in d4d8e97b, and the alias-prefix went
unused somewhere around that time as well

Move prefetch selector injection a bit further down in rsattr resolution

No functional changes, just a c/p

Stop importing all the POSIX functions

The only one used is called fully-qualified anyway

Fix t/storage/quote_names.t failures, caused by lazily built sqlmaker

While the entire test is written badly (it ought to use the OptDeps system)
it would be too much churn to fix it properly for little benefit. Additionally
there is a very good chance that the shortener will become a core dep in the
near future, hence the entire point will soon be moot anyway --ribasushi

Add extra (passing) test for operations on sourceless results

This should have been committed with 84b1ec108, reevaluated while reading
through cb909f39c of GH#78

Replace all instances of ; in the rowparser loop with , ( ~15% speedup )

The functional diff best examined via `... --color-words -w lib ...`

This is another microoptimization, which is nevertheless measurable on 1000+
row resultsets. Investigation into this was prompted by a curious comment made
by bulk88[1] in response to Glenn Golden[2]:

  Every ";" is an op that executes that adjusts current line number

Given that we already generate all this code, and it is not intended to be
read by a human, swapping ; with , is only logical. A (very very crude) check
with the included benchmarker indeed shows a repeatable difference on 5.16.2

[1] http://www.nntp.perl.org/group/perl.perl5.porters/2015/05/msg228074.html
[2] http://www.nntp.perl.org/group/perl.perl5.porters/2015/05/msg228068.html

Rewrite collapsing parser while loop (mere op-level golf)

The encode-and-substitute in the generator is not necessary since a8f62ee08

Rewrite the collapsing rowparser pigeonholing logic

Instead of dynamically determining whether to use the data as a key directly,
always compose a list of copied 'row ids' and use that in all operations.

This is mainly done to stop dualvar-ing of numeric variables returned by the
engine, thus confusing JSON and similar serializers down the road

(travis) Add Schmorp's "stable perl" fork to the smoke rosters

A note on motivation: I personally fully support Marc Lehmann's assertion
that the current direction of the perl5 development effort leaves a lot to
be desired (put in the mildest terms possible). The amount of changes[1]
necessary to get a *very* widely used module working again, and the failure
of the original authors to abandon the problematic direction *on their own*
is nothing short of an embarrassment. I fully recognize the reason why Marc
elected to attempt to maintain a fork (a nontrivial long-term commitment),
instead of engaging in another round of politicking and downright begging.

The inclusion of "stability perl" in the DBIC full-test matrix is the very
least I can do to support this effort.
                                                            --ribasushi

[1] http://stableperl.schmorp.de/dist/stableperl-5.22.0-1.001.diff

(travis) Add explicit sudo:true to .travis.yml

The 'sudo' setting now defaults to false on establishing of new github=>travis
linkages, so the CI runs will fail for anyone who wants to smoke their own
fork.

Make sure tests pass without a compiler present (another step to RT#74706)

Make sure tests still pass in a fork-limited environment

Inspired by a temporarily stuck smoker
http://www.cpantesters.org/cpan/report/751da1f2-e3ff-11e4-a1d1-8536eb4f9f07

Read under -w

Make sure plain install with DBICTEST_VIA_REPLICATED=1 still works

This is an omission from fd2c6658, unnoticed all the way until previous commit

(travis) Multiple fixups to the CI lifted from blead:

 - Much lighter CI runs when smoking a PR
 - Revert backout of ODBC firebird testing aa0e82a2
 - Restore and enhance post-success to run a full CPAN install cycle
 - Cut down the amount of APT repos during updates
 - *FINALLY* remove Module::Build::Tiny front-loading
 - Double check M::B::T is not pulled in
 - Peg Module::Install - new versions deps on autodie, which is 5.8.4+
 - Enhance perl sterilization to somewhat work on < 5.12 as well
 - Correctly detect CI on github forks
 - Improve the "Did it really install?" check
 - Better shuffling of the prereq installation order
 - Fix silencer changes (f8200928) which were practically undone by 8b60b921

This is no longer necessary after 4068e05f

Fix missing handling of on_(dis)connect* failures

Time for a short story (see last paragraph for TL;DR): Some hours ago an
innocent question was asked in the #dbix-class channel, apparently
related to a mysterious failure to determine the RDBMS version. Before I
was able to properly investigate the problem, someone else piped up with
"Oh I've seen this before, and I worked around it". That was of course
without telling anyone else </headdesk>

After a little back and forth it became apparent that if the on_connect
settings could not be executed for whatever reason, the result may be an
implicitly failed connection attempt which is *entirely undetected* as
it leaves the original $dbh in place with some or all of the on_connect
instructions not having executed as expected.

To reiterate: if one manages to:
 * supply a malformed on_connect*
and then
 * call as the first order of business some codepath that can mask away
   the connection failure (say ->deploy under sqlite)
then the result is a $schema with a proper $dbh in the storage instance,
but *without* some (or all) of the on_connect instructions having been
executed. As a bonus the actual call to get e.g. the RDBMS metadata (like
version etc) will have failed completely silently as well. Arguably a
rather problematic bug.

The above and by extension an issue with silent on_disconnect* failures
are bith fixed by this commit. This was possible *only* because the
second person came into the channel and reported it, instead of silently
fixing things and moving on to whatever they were doing.

Moreover while preparing the (relatively modest) patch to fix this issue,
a small refactor revealed a pretty serious bug in the XS accessor provider
Class::XSAccessor: https://rt.cpan.org/Ticket/Display.html?id=103296
Yes, it took about 3 hours to diagnose this and hunt down an isolated
failcase, but the bug severety (and its elegance) are totally worth it.

Moral of the story: *PLEASE* report issues upstream. Even if you figured
out a quick workaround, the devs still need to know about the problem you
did encounter in the first place. Bugs that nobody knows about can *NOT*
be fixed, and our software commons can not improve. So *PLEASE* speak up.

Minor code reformat, to shorten the diff of next commit

Zero functional changes, read under -w

Fix corner case of stringify-only overloaded values

Just a trivial cleanup, uncovered during the de-Path::Class work

Rewrite dependency lister - now produces *much* easier to read output

Knowing where a module came from is quite valuable, but the segmentation done
in cebc0cc8 makes it rather hard finding a particular module. Instead add
an extra prefix with shorthand "dirs of interest" names, and putput the entire
list in ci-alphabetical order.

Additionally make sure we explicitly print out our versions under CI (a silly
omission from earlier), and explicitly omit loading dist_* optdeps

The rough list of changes:
  - Explicitly report expected but failed-to-load modules
  - Add knowledge of './t' => T, under same rules as LIB
  - Add support for (site|vendor)lib_stem (whatever that is)
  - Add support for (site|vendor)prefix
  - Add support for ./blib/(lib|arch)
  - Add support for an explicit CWD marker
  - When no sourcing is found - report the @INC index if possible
  - If a module came from {SVP}{AL}, list it even if no version is defined
  - Explain missing checksums
  - Display the contents of @INC, making it even easier to follow sourcing

While the diff is massive, the actual logic did not change in any significant
way.

Update Changes with stuff already shipped to CPAN as v0.082810 and v0.082820

Do not load PadWalker at all on plain installs

Avoids a SEGV on perls with unusual compilation options

Work around Firebird/InterBase/ODBC crash in tests

If DBD::Firebird and DBD::InterBase are used in the same process, the
last one loaded leaves an active statement handle around and later
segfaults at some point in the tests.  Also, if DBD::ODBC is used
before either of them, they leak the handle but don't segfault.

Thus, to avoid breaking installing DBIC if more than one of
DBICTEST_FIREBIRD(_INTERBASE|ODBC)?_DSN is set, skip Interbase if any
of the others are set, and make sure to run the ODBC test last.

However, keep the leak-triggering order for author, CI and smoker
runs, so we don't forget that it needs fixing.

Add an explicit DateTime::TimeZone::OlsonDB optdep

It happens to lazy-load a lot of extra modules, which both hides them from the
t/00describe_encironment lister *and* messes with preforking.

(optdeps) Explicitly force group names to lower-case (for now)

(optdeps) Rename an inconsistent 'icdt' marker to 'ic_dt' before we've shipped it

(optdeps) Skip-spec brainfart in offline mysql/pg test specs

The _-prefix played a role in an earlier deficient implementation, which
was later thrown away. Make the relevant tests require-lines saner

(optdeps) Fix incorrect optdep output introduced in 34d2deae / 31c31b8d

Too many thinkos for a simple feature like this. When given "foo" cpanm
actually tries to find '"foo"' on CPAN, and nothing works. The original
thinking was that the > in ~>= needs escaping when copy/pasted by a user, so
the ""-enclosing seemed like a valid approach. Of course this does not work
at all when the output is piped into cpanm directly:

 perl -Ilib -MDBIx::Class::Optional::Dependencies=-list_missing,deploy | cpanm

Moreover, all of the above is *utterly unnecessary*, as Foo~>=2 is entirely
equivalent to Foo~2, which requires no escaping (thus quoting) whatsoever.

Hopefully this is the end of the embarrassing flailing on this feature :(

Examples and documentation update and cleanup

This version updates the original POD with slightly more information
so that more DBIx::Class functionality is revealed.  The source code is
removed from POD, and instead the reader is directed to the examples
directory.

It also changes the example schema from silly auto-inferred column
names to proper *id-suffixed ones.

Inflators are not respected by find() (being a ResultSet method)

Adjust docs and add an extra IC::DT-specific FAQ section

Cross-reference alias with current_source_alias

(slightly modified 4e4b848d)

Clarify load_namespaces call -- more than one call can be made

Added add_columns documentation about controlling float precision

Linked "prefetch" in columns documentation

Example doesn't work without 'year' column

Fix uninitialized warnings on empty hashes passed to join/prefetch

(travis) Better handle ENV poisoning, get jobs under 4mb limit again

Run the entire test suite under replicated SQLite on DBICTEST_VIA_REPLICATED

There isn't real replication, the reader and writer in fact talk to the same
on-disk file. Still this is effective enough to put into CI.

Fix exception on complex update/delete under a replicated setup

THIS COMMIT IS A HACK!!! The actual fix is migration of the logic to the
SQLMaker subclass and deal with it there. However the entire class hierarchy
is currently in flux, so go with the least invasive change until the storage
rewrite settles.

Testing for this will show up in the next commit

Some stylistic test changes in preparation for next commits

There are zero functional changes - everything has to do with making sure
we are not blindly poking into storage objects which may be changed to
delegates AND to make sure we do not leave any open cursors, which would show
up as deadlocks on multiple connections to the same SQLite file

Read under -w

Fix test suite to work again with DBICTEST_SQLITE_USE_FILE

It was never included as part of POISON_ENV and subsequently lapsed. Sigh.

'undef =>' isn't what one would want

Relax sanity check in _resolve_relationship_condition

It doesn't buy much and breaks legitimate class redirection techniques
(some of them even documented in the cookbook)

Workaround for double-call of destructors (based on 3d56e026 and e1d9e578)

Silently fixing this up is nothing short of irresponsible, hence the
elaborate detection and alert mechanism

Instead of just marking all my DESTROYs with the function, also add it to a
base class, thus capturing *everything* there is to find. Yes it will be a
tad slower. And yes it will have a massive benefit to any DBIC user happening
to be caught in an unfriendly app-space

Remove erroneous undefer introduced in 8d73fcd4 (confuses old perls in END)

While it is important to check this during namespace cleansing checks, it
actually makes no difference whatsoever during leaktests - things will either
be closed over and thus seen, or they won't be

Get the leaktest to work with Test::More-(hopefully-not)-to-be

Fix brainfart from cb551b07 - 'if' is still a module, don't need it

Also rewrite the load pattern test to be saner

More desc_env fixes: Win32 lib matching, and better formatting of final diag

This is what the slash-situation is on a typical strawberry:

          'inc' => [
                     'C:/Strawberry/perl/site/lib/MSWin32-x64-multi-thread',
                     'C:/Strawberry/perl/site/lib',
                     'C:/Strawberry/perl/vendor/lib',
                     'C:/Strawberry/perl/lib',
                     '.'
                   ],
          'archlib' => 'C:\\STRAWB~1\\perl\\lib',
          'archlibexp' => 'C:\\STRAWB~1\\perl\\lib',
          'privlib' => 'C:\\STRAWB~1\\perl\\lib',
          'privlibexp' => 'C:\\STRAWB~1\\perl\\lib',
          'sitearch' => 'C:\\STRAWB~1\\perl\\site\\lib',
          'sitearchexp' => 'C:\\STRAWB~1\\perl\\site\\lib',
          'sitelib' => 'C:\\STRAWB~1\\perl\\site\\lib',
          'sitelibexp' => 'C:\\STRAWB~1\\perl\\site\\lib',
          'vendorarch' => 'C:\\STRAWB~1\\perl\\vendor\\lib',
          'vendorarchexp' => 'C:\\STRAWB~1\\perl\\vendor\\lib',
          'vendorlib' => 'C:\\STRAWB~1\\perl\\vendor\\lib',
          'vendorlibexp' => 'C:\\STRAWB~1\\perl\\vendor\\lib'

Instead of trying to wade through it with File::Spec, just turn short names
into longnames and every \ into / and hope it works.

Also make it so that the MD5 line will align correctly on an 80-col terminal
(on wider terminals it won't matter either way), and show *all* the hashes
at all times (omitting the information makes little sense).

In addition some clarification to the undef/empty ->VERSION return error
and the diag contents themselves (Mithaldu++)

Rewire OptDeps to not attempt any module loads under missing envvars

The thinking is that if some envvars are missing, it is of secondary concern
to provide the exact list of missing module reqs to the user, while the
downside can be rather severe in some cases (broken DBD::Oracle on windows is
particularly obnoxious). Thus the logic for req_missing_for switched to only
look for "definitely missing" modules via a simple @INC-walk whenever it is
already clear that the req group failed

Fix t/54taint.t failures on perl-in-hell-in-space

Given its a core bug, and the test is not critical, just skip the whole thing

Add comprehensive 'report-prereqs'-like tooling

Unlike what is currently available in various Dzil plugins, this is more of
a descendent of Test::DiagINC - it tries to load as much as possible and
subsequently reports on whatever can be found in the symtable.

There is no (and never will be any) attempt made to validate if all modules
listed in the various METAs are in fact available (this is what the rest of
the test suite is for).

Module versions are broken up into groups depending on their place in @INC,
without leaking the contents of @INC itself.

Extract LeakTracer symtable visitor into DBICTest::Util

Minor rewrapping and renaming of variables as we copy it

No functional changes at all, verified to produce same number of visits

(travis) Make a separate is_ci runmode, separated from is_smoker

(travis) shunt intermittent failures stopping postgres

Stop noise from a particular combination of DateTime and DateTime::TimeZone

While things went quiet for a while after 556c4fe6, it seems that another
refactor made things go awry again. I can't actually reproduce this on any
of my machines, including Travis. Besides this isn't anything to worry much
about anyway - just kill the test

At last a safer Moo (lots of kludges undone)

Remove warning introduced in 75a1d824d

(travis) Only consider the runmode a 'Smoker' when we CI ourselves

(travis) Update apt cache when doing a large set of installs

Started failing without it:
https://s3.amazonaws.com/archive.travis-ci.org/jobs/52536716/log.txt

Move a number of tests to xt, restructure extra lists

Instead of the rigid t / xt separation, add more nuance and move some heavy
tests around, in order to improve regular user test times, without
sacrificing cpantesters coverage

Additionally makes it more obvious which tests are decidedly not being run
on user-side installs

Minimal changes: read diff under -C -C -M

Factor out author count anouncement, making it seen on plain installs

This hasn't failed in over a year, enable for plain installs

Rewrite hot-ish _dbi_attrs_for_bind codepath in a leaner way

Document various caveats better

Fix updating multiple CLOB/BLOB columns on Oracle

The genric _dbi_attrs_for_bind caches the attribute hashrefs by data
type, so we can't modify them directly with column-specific data.

Instead, copy it and add the ora_field attribute to the copy.

(travis) Run a couple tests in single-threaded mode

Semi-dogfooding - the massive paralellism hides the pain of how long exactly
does it take for a common user to install DBIC

(FWIW *dependency* installer timeout had to be bumped from 9 to 15 *MINUTES*)

(travis) Temporarily kill Firebird ODBC testing

Sourceforge no longer facilitates downloads without a javascript enabled
browser (WAT?!), so the Odbc driver download fails. Disable the testing for
the time being, to be reinstated with the DB2 testing work

Switch CDBICompat and its tests to OptDeps

This work is a direct descendant of ilmari's c8dc7d33, even though it does
not contain almost any of the original code. While the original approach was
a big improvement, this commit is taking advantage of all improvements that
took place in OptDep handling in earlier commits. The result (at the expense
of a much much larger changeset) is a skip time of < 0.5s for the entire cdbi
set

ilmari++ # this revamp would not have taken place without your first nudge

Remove redundant skip checks in CDBICompat tests

f56e59cd added the extra module, but nothing in the tests actually loads it
under Film (there likely was a switch during dev, but it was never committed).
Just rip it out entirely.

Remove useless INIT blocks from CDBI tests - no changes

A use() is compile-time even when it is in an INIT block, hence removing the
INITs is safe. Do not do it for require() invocations, as it is not clear if
the tests rely on the specific order or not (more sleeping dogs left to lie)

Read under -w

Introduce ad hoc requirements and add skip_without method to optdeps

On rare occasions tests need a specific module version, but nothing else in
the dist needs this. Additionally only parts of a test may rely on this extra
requirement, making the "all or nothing" approach of -skip_all_without not
very attractive.

Hence introducing ability to supply arbitrary module specifications in lieu of
group names. Each specification is checked against a special group 'test_adhoc'
which ensures that optional deps are not "forgotten" within the suite (causing
a test to never run in practice).

Finally implement compound OptDep group augmentation

A group can specify not only what it requires (with includes), but can also
request a specific set of modules IFF another group is required within the
same call. This allows to do e.g. IC::DT+RDBMS dependencies in a sane manner.

Delete test_dt* groups from our optdeps (they were never documented, and a
cpangrep does not show any use) - instead we replace them with an elaborate
network of augments.

Rewrite internals of the optdep include mechanism (introduced in e163f484b)

No functional changes, "simply" moves the include-parsing logic and the env
checks to an earlier point, in order to get a complete list of all groups
mentioned (facilitating the augment functionality in the next commit)

Introduce (empty for now) intermediate optdep groups related to IC::DT

They will be filled in during the next commits, done separately to reduce
diff-noise

Relax the optdep naming criteria, introduce _-prefixed intermediate groups

Move the SQLite test dependency specification to optdeps

Even though this is a hard test_requires (for now), move things to a proper
specification within OptDeps like all other RDBMS (will make icdt specs
much easier).

The OptDep module is very lightweight anyway, and loading it on all installs
will be a good exercise before spinning it off.

Stabilize and further test complex optdep include scenarious

Clarify optdep API signatures to be explicitly single-argument

Remove DateTime requirement from tests that do not rely on it

The deterministic_value test checks how stringification behaves wrt inherited
values from a resultset. Rename test while we are at it.

The plus_select.t checks behavior of InflateColumn combined with get_columns.

In both cases the column in question (year) is declared as VarChar and is not
connected with IC::DT in any way

Read under -C -C -M -w

Move some ICDT dependent (sub)tests around (no functional changes)

Read diff/blame with -C -C -M -w

Fix overspecified msaccess test optdep (should not include icdt)

The test_rdbms_msaccess_* groups are only referenced in two tests. The basic
one does not exercise (doesn't even load) any of the ICDT handling components

The ICDT test already explicitly requires test_dt, so no changes are needed
within the actual tests

The erroneous requirement was introduced in 726c8f65 and never revised since

Remove obsolete startup check (introduced in 5e724964, superseded by a5a7bb73)

Add import-time-skip support to OptDeps, switch most tests over to that

This is the meat of this refactor, inspired by multiple parties complaining
(with good reason) about the sluggishness of our skip_all()s, and by groundwork
in both c8dc7d333 and 2c2bc4e5 (both never applied - the former is superseded
by a more direct approach and the latter being too intrusive with too little
benefit after the refactor)

Only tests with unambiguous skips were switched over - later commits will
address multi-rdbms loops in a different manner.

The loss of skip-time warnings "this test creates tables blah and blah" was
deliberate, and due to several reasons

*) They are displayed at the wrong time
*) They are not well sycnrhonized with what the actual test does
*) Some time this year all table names will switch to dbictest_-prefixing

All in all the thinking is that nothing of value is lost, and the changeset
is greatly simplified as a result.

The loading before strict/warning in tests is actually significant. It appears
that in "all deps fail" cases the speedup of not loading strictures is quite
significant (demonstrated below difference on WiP CDBICompat streamlining):

strictures first:
Files=43, Tests=0,  1 wallclock secs ( 0.14 usr  0.08 sys +  0.35 cusr  0.15 csys =  0.72 CPU)

optdeps first:
Files=43, Tests=0,  1 wallclock secs ( 0.13 usr  0.06 sys +  0.14 cusr  0.11 csys =  0.44 CPU)

Add import-time action stub to OptDeps, switch distbuild checks to it

More in the following commit

Introduce basic optdeps group inclusion mechanism, simplify many declarations

No logical changes: verified before and after the commit via:

perl -MData::Dumper::Concise -Ilib -MDBIx::Class::Optional::Dependencies -e '
  my $d = DBIx::Class::Optional::Dependencies->req_group_list;
  delete $d->{$_} for grep /rdbms_generic/, keys %$d;
  delete $_->{effective_modreqs_differ} for values %$d;
  print Dumper $d
' | sha1sum

Read under -w

Make OptDeps aware of envvars as first-class requirements (test_* groups only)

Deprecate req_errorlist_for, proxy to to modreq_errorlist_for

Leaving the old method in place indefinitely - may be used in the wild

Rewrite optdeps to accept a list of groups

Requires a one-time break of req_group_list()
Also tighten up the optdep spec and handle conflicting versions saner

As a side effect fix 34d2deae to be truly copy-paste-able (no , separator)

Changes to ::Opt::Deps and xt/optional_deps.t best viewed under -w