Fix incorrect handling of stringifiable objects in cond collapser

Thinko introduced in the recent 8d005ad9

Consolidate handling of "is this a literal" and "is this a value"

In the process fix inability of IC to deal with \[], and simplify
the overal codepath bind value passing codepath

Aside from the bugfixes there should be no functional changes

Work inspired by a report and preliminary patch from dim0xff++

Use the correct $PROGRAM_NAME for the initial dbicadmin POD gneration

spelling fix

Retire DBIC/SqlMakerTest.pm now that SQLA::Test provides the same function

Switch most remaining debug-hooks to $dbictest_schema->is_executed_querycount()

Retire DBIC::DebugObj, replace with $dbictest_schema->is_executed_sql_bind()

This cuts down on a lot of the silliness with debugcb/debugobj, and makes
for more precise tests as a whole. Went through great pains to not disturb
any existing tests, fingercross this is indeed the case

Read under -w for sanity

Excise live test left over after ac0c082542

No access to a live test system currently, and likely the test is incorrect
anyway (no mention of significant parenthesis)

Consolidate pg/mysql and standalone SQLite savepoint tests to run on all 3

A larger consolidation will take place later with T::WV, but all in due time

Fix multiple savepointing transactions on DBD::SQLite

Problem was missed during review of 86a51471ce (how the fuck did I let this
abomination through anyway), and not encountered due to insufficient testing.
The naive statement parser in DBD::SQLite when running against older libsqlite
mistakenly treats ROLLBACK TRANSACTION TO... as an actual TXN rollback, and
as a result desyncs the internal AutoCommit flag state [1]
Fix by simply using the shorter (still valid) syntax [2], and by removing the
sloppy workaround hiding the actual problem.

[1] https://github.com/DBD-SQLite/DBD-SQLite/blob/1.42/dbdimp.c#L824:L852
[2] http://www.sqlite.org/lang_savepoint.html

Fix erroneous todoification in sqlite test

Less warning noise from sqlite test

Move the DSN-lock machinery from 8d6b1478d into DBICTest::BaseSchema

This is just a c/p job, expecting zero functional changes

The t/admin/02ddl.t are cosmetic changes fixing a nested &cref leak never
before encountered on <= 5.8.7

Consolidate lib-wide frameskip, adjust the ::RunMode loading order

Reaching for IO::File here makes no sense

This test was essentially c/p-ed in 2cc3a7be3, consolidate

The overriding difference is the new-connection == new-storage == new-sqla
Add an explicit codepath to test that, but overall there is plenty of
other places that verify this behavior to death

Examine under -w -C -M to make sense out of the consolidation (minimal
changes were attempted)

Improve complex order+prefetch exception message

Updated discard_changes docs regarding { force_pool => 'master' }

The initial (now passing) test for RT#93244 (fixed in 8d005ad9)

Massively refactor and sanify condition collapsing

Wow... what a ride. This commit adds a faithful reimplementation of the
SQLA descend algorithm, but instead of SQL produces a reduced HASH that
nevertheless corresponds to the original query 1:1 (or so I *really* hope)

This is another one of these "I can try it with DQ but I don't even have
tests" stories, so once again opted to implement things the "dumb" way.

The benefits are quite substantial:
- Better deduplication of WHERE condition
- Consolidated functions - the vaguely similar logic in the current version
  of _collapse_cond replaces almost the entirety of:
    ::DBIHacks::_extract_fixed_condition_columns
    ::ResultSet::_collapse_cond
    ::ResultSet::_stack_cond
- Extra fixes for create/populate inheritance corner cases
- More predictable SQL condition generation order (which incidentally may
  prove problematic down the road with broken tests, but oh well, we'll
  burn when we get there)
- Ton of extra tests and corner cases

We even managed to fulfill a longstanding TODO, even though it is a *lucky*
side-effect and not a real fix. Making a note to address this later... sigh.

This work started from d8b7d9f58..337f3ee80, which while taking the right
direction had too many loose ends. ilmari++

Remove dead code missed by cleanup b72339859

Add test ensuring we do not lose binds on esoteric RSC+distinct

Test inspired by auditing cc2b92553 (a precursor of ad1d374e60)

Refactor _recurse_fields to return the bind values

Only ->select actually wants it in $self->{select_bind}, the others
either don't care or want them somewhere else.

Fix multi-value literal populate not working with simplified bind spec

This arcane use-case got missed when 1b5ddf23 was integrated

Fix bogus reference to related class (introduced way back in 97c96475)

Remove forgotten part of a48693f4 (incompletely reverted by e327f126)

$pedantry =~ s/columns/column/

Properly detect and test mysql v3 default JOIN behavior

While investigating how to rewrite the rather useless 39712b481, it became
clear that not only can the test be performed offline, but that there is
already a pseudo-test due to sqlite's version of 3.x.y being mistaken for
MySQL 3

Properly fix the test to check behavior on both versions 3 and 4, and in the
process fix a potential bug of a stale sqlmaker when a reconnect cycle takes
place against a *different* physical rdbms (which btw makes me realize another
problem with trying to do mixed-environment replication... sigh)

Clarify that sql_maker is just a getter at this point

Minimal optimization of the new+prefetch codepath (no func. changes)

Fix missing true return lost during e5a62c46f

This never resulted in a serious problem because it was papered over by a
bug in Class::C3::Componentised. Addressing it at the source requires a bit
extra coding, hence no new CC3C release yet.

Add explicit AS keyword to RowNum (Oracle) limit dialect

This should have no effect on the actual query, only done to bring in line
with the generalized DQ engine

Add extra fetch_first test for right-side-only order

Add progress meter to travis builds

Refactor the double-testing-install attempt under travis

Should be no functional changes, just shuffling to get everything
to run under run_or_err

Reduce Travis' stamina

http://blog.travis-ci.com/2013-11-27-fast-finishing-builds/

Commemorate the first DBIx::Class hackathon and beef up the contributor list :)

The event was a blast. A lot of very useful work was done and at least
one very thorny problem got resolved once and for all. For more info
check out the accounts of some of the participants at
http://dbix-class.org/hackathon01-20140412

Sincere thanks go to all who attended:

Aaron "arc' Crane
Andrew Mehta
Colin "bfwg" Newell
Dagfinn Ilmari Mannsåker
Duncan Garland
Ian "idn" Norton
James "theorbtwo" Mastros
Jose Luis "pplu" Martinez
Jess "castaway" Robinson
Mark "mdk" Keating
Murray "minty" Walker
Oriol "uree" Soriano
Peter "ribasushi" Rabbitson
Stephen Peters
Tom "TBSliver" Bloor

As well as to the event sponsors who made this all possible:

Eligo   http://eligo.co.uk/
Ctrl-o  http://ctrlo.com/
EPO     http://enlightenedperl.org/

See you all next time!

fixed example in the DBIx::Class::Storage::DBI::Replicated synopsis

The example in the synopsis does not work. It should be
{ balancer_type => '::Random' } instead of { balancer => '::Random' }

Fix pesky on_connect_* race condition abraxxa++ ilmari++

A race condition existed between storage accessor setters and the
determine_driver routines, triggering a connection before the set-cycle
is finished

Fixes Pod typo.

Removed useless line of code in many_to_many

typos

Shuffle prefetch torture test (no func. changes)

PATH may be unset entirely

Tested with
~$ bash -c 'perl=$(which perl); unset PATH;  $perl t/54taint.t'

Fix travis prereq extractor (not sure how this ever worked...)

Remove vestigial unused @INC munge found after a8de639b

Harden t/54taint.t against possible future changes in -T

Make sure the taint test does some DB-level ops

Really fix @INC munging of the taint test

Now runs even with a plain `perl t/54taint.t`

Apparently this is more stable historically... boggle

Duh, this will always be true

Shipping the CI stuff to CPAN makes no sense

Release v0.08270

RT#87124 fixed, workaround no longer necessary

Add Firebird over ODBC TravisCI testing

Give Firebird (and Interbase) a common sqlt_type

Even though the parser/producer pair do not yet exist in SQLT, we also use this
value as the basis for the lockfile on parallel tests, hence it is important

Fix datetimes in ODBC/Firebird (merge identical code left after a870aa85e)

Rudimentary DBI/DBD MDV

Clarify parallel_installdeps design comment

The trace formatter seems to register intermittent leaks - skip on 5.18 for now

Fix undefined order sensitive test (no idea how it went undetected)

Ints bound as DBI::SQL_BIGINT on SQLite < 1.37 do not work in functions

For all the meticulous testing of 04ab4eb1, 1363f0f5 and f3b1224b I
failed to notice that functions no longer work when they encounter
numbers bound as bigint (may as well have not bound them at all).
Happened due to shortsighted testing methodology as described in the
commit msg of f3b1224b, a rudimentary MDV will be introduced in a later
commit to ensure this doesn't happen anymore.

Fix this by explicitly requirung DBD::SQLite 1.37 for bigint operations.

Examine patch under -w

Release v0.08260

We still intermittently grab a "leaked" SQLT quoter, skip explicitly

Will figure this out after 0.08260

Factor out the symtable walker, no functional changes but much reshuffling

One extra cleanup pass before asserting weakregistry is empty

Make 54taint.t actually test the DBIx::Class in lib (originally 689e22d1)

Skip annoyingly failing test on broken base.pm

Was broken in 5.19.7, fixed in 5.19.8

Yet another attempt to solve the mystery-win32-failure cpantesters report

While fa19e5d6 was a nice idea, its test was flawed. As seen in the fresh fail
http://www.cpantesters.org/cpan/report/137dfaf3-7bbc-1014-aec2-3d202b825c07
the writability test passed with flying colors, but the lock didn't open right
after that. The only explanation at this point is that the FS underlying this
particular dir can not create filenames starting with a dot <facepalm />
Alternatively it may have to do with the umask(0) call, but this seems even
more insane.

Thus (as unlikely as it seems) the culprit seems to be the name. Hopefully
changing it will be the end of this and we will smoke happily ever after...

Rewrite writiability test to be clearer and with less warnings

Skip thread tests under Devel::Cover

Counter the strictures bullshit with localised bullshit

Augment the logic from aca094b4d, add deprecation to settle the distinct drama

Details in attached IRC log

magnet#dbic-cabal_20131108.log
====
[19:01:38] <mst> using aggregates and distinct seems like it should be an error
[19:02:12] <mst> since it makes no sense to ask for "GROUP BY everything we select" and then select aggregates AFAICS
[19:03:20] <mst> so, yes, what we did before was ... wtf
[19:04:44] <ribasushi> mst: the point is *sometimes* a select in a group-by may make sense is my gut feeling, I basically wanted to "send the nonsense" along, and have the rdbms be the judge
[19:05:52] <mst> well ... what we did before was definitely completely wrong
[19:06:09] <mst> what we're doing now ... I don't want to release it without thinking it through some more, but it's certainly less wrong
[19:07:40] <mst> but I mean ... I dunno, I think group_over_selection makes sense for subquery wrapping
[19:08:04] <mst> but in the case of 'distinct => 1' I think "can't do that with an aggregate in select, pass a real group by you fucking pansy" would be pretty good too
[19:08:14] <mst> since I'm really not convinced it ever can make sense
[19:08:27] <ribasushi> mst: and I am not convinced it never makes sense
[19:08:36] <ribasushi> mst: so bubbling it up doesn't seem like a loss
[19:09:09] <mst> hmmm
[19:09:44] <ribasushi> mst: also I do not want to *entirely* discourage mysql/sqlite-centric grouppage - if a person wants to do that, they should be able to
[19:09:56] <ribasushi> hence why the explicit \'' rule
[19:10:03] <ribasushi> (that is back from 2009-ish actually)
[19:10:05] <mst> actually, looking at this
[19:10:23] <mst> the sql looks like what the user asked for
[19:10:38] <ribasushi> how so?
[19:10:59] <ribasushi> distinct is "final selection grouper" not "first selection"
[19:11:00] <mst> well, they created a resultset of
[19:11:04] <ribasushi> i.e. it is inherently lazy
[19:11:29] <ribasushi> right, it does not take effect on the current selection, didn't from before I took over
[19:11:53] <mst> SELECT year, COUNT(me.cdid) AS cnt ....
[19:11:57] <mst> and then grabbed the 'cnt' column
[19:13:06] <mst> ribasushi: ResultSet originally (0.05000) did '$attrs->{group_by} ||= $attrs->{select} if delete $attrs->{distinct};' in new()
[19:13:15] <mst> so, yes, it takes effect on the current selection
[19:13:36] <mst> so sql is correct according to the original behaviour as implemented
[19:13:36] <ribasushi> mst: but it did this in *_resolve_attrs*
[19:13:55] <ribasushi> which is after the selection is modified by RSETColumn
[19:14:15] <ribasushi> or to put it diff. - RSetColumn does not do a subquery, just like a ->search doesn't
[19:14:30] <mst> it didn't originally, it did it immediately you supplied the distinct attribute to a search
[19:14:40] <mst> anything else is a bug; fix that and we don't need this crap
[19:14:52] <ribasushi> well - when I came around it was lazified via the late resolver
[19:15:08] <ribasushi> and I had bugs reported when that behavior changed later on when I was doin prefetches
[19:15:17] <ribasushi> so this is crap in production for years
[19:15:41] <ribasushi> mst: https://github.com/dbsrgits/dbix-class/blob/master/t/search/distinct.t behaviors on non-aggregates
[19:15:55] <ribasushi> it accreted stuff obviously, the ages of tests are different
[19:17:01] <ribasushi> mst: basically this boils to "is distinct => 1 lazy or eager" and I am afraid this ship sailed around 0.07
[19:17:17] <ribasushi> "fixing" it will serve nothing but bring breakage
[19:17:48] <mst> yeah, it looks like it got broken when _resolved_attrs was factored out of new()
[19:17:53] <ribasushi> nod
[19:18:28] <ribasushi> so - if we assume "distinct is lazy" - you see why I would go the way I did with the latest fix
[19:19:22] <mst> ribasushi: distinct is lazy works fine, you just have to disallow aggregates in the select list in that case
[19:19:30] <mst> and make them do an explicit group_by for that
[19:20:31] <ribasushi> mst: aggregates via the {} syntax have been supported correctly forever - that is distinct knows to ignore them
[19:20:45] <ribasushi> mst: this test is more or less "aggregate in literal" (due to being an alias)
[19:20:47] <mst> even as far as 08000 it was straight up
[19:20:51] <ribasushi> so I can't disallow it
[19:20:56] <ribasushi> because it is... a literal
[19:20:59] <mst> $attrs->{group_by} ||= $attrs->{select} if delete $attrs->{distinct};
[19:21:11] <mst> so if we started allowing them via the {} syntax that wasn't me
[19:21:17] <ribasushi> mst: I came around 0.08010 ;)
[19:22:01] <mst> ribasushi: $attrs->{group_by} ||= $attrs->{select} if delete $attrs->{distinct};
[19:22:07] <mst> ribasushi: in 08011 which is the first release you did
[19:22:34] <ribasushi> mst: it is very possibkle that I broke it when I wasn't knowing wtf is on
[19:22:46] <mst> I think you made lazy distinct work "better"
[19:22:51] <mst> when it shouldn't've been lazy
[19:22:59] <ribasushi> mst: in any case - it's old shit, so even if I am responsible it still boils to "people depend on that"
[19:23:13] <ribasushi> mst: nod, may very well be my rookie mistake ;)
[19:23:15] <mst> sure. at this point it's "I fucked it up, then you made it worse, we'll have to deprecate it"
[19:23:19] <mst> most likely
[19:23:34] <mst> and the only question is damage control so we don't break current usages while isolating the code
[19:24:48] <ribasushi> deprecating it - I wouldn't go that far, I use distinct a lot myself because it does the group construction for me without me thinking
[19:25:01] <ribasushi> juggling selection/ordering is hard enough ;)

Check that the just-built-distdir is configure-able in usermode

Shuffle author-side M::I stuff out of the way

Zero functional changes

Logically separate statements mangled in 3054407e9

Explicitly declare static config

SQLite is not a build_requires dep anymore (trap-the-sigsegv days are gone)

Remove silly double-entry from test_requires

Adjust todo escape, use travis-provided 5.8 for one of the poisontests

Clarify is_exception(undef) behavior missed in 841efcb3

Have tests recover gracefully when File::Spec->tmpdir gives us lemons

Once and for all solves http://www.cpantesters.org/cpan/report/36d4436d-7888-1014-a278-e5322b825c07

Move hrefaddr to DBIC::_Util, give most functions a prototype

This way we can safely do e.g. ( hrefaddr $foo, $unrelated_bar )

Improve error reporting when we encounter broken exception objects

Undo parts of 935ea660e (which inadevrtently broke 153a6b38), while
keeping the entire shebang running after issuing a stern warning.

Work around older DBI (possibly other cases) of faulty tie()

View diff under -w, similar failcase: http://www.perlmonks.org/?node_id=568377

GAH! DBD::SQLite's sqlite_db_filename() is relatively new, undo 9e75be92

On the bright side, re-trapping $db_file now *SEEMS TO WORK*. What the hell?
Ripping out the dogE-crap of 9e75be92, and trying to forget all of this ever
happened...

Report correct mismatching inode in the deletion guard on fixed perls

For reference:
http://www.nntp.perl.org/group/perl.perl5.porters/2011/02/msg169414.html

Scalar::Util 1.38 seems to be fixed, revert 647da28e

Do not run the expensive test under PPerl/SppedyCGI

Need some exceptions removed in 556c4fe6 when some optdeps are missing

Massive incompatible change of ::BlockRunner internals

It was never documented as usable externally (though folks do use it, sigh)
This last set of changes settles the design for proper documentation and
opening up

Fix long standing issue with resultset growth on repeated execution (GHPR#29)

The "save the SQLA argstack" dirty solution introduced in 975b573a actually
resulted in an infinitely growing nested data structure, containing the
history of *every* reinvocation of the resultset. Scale back the problematic
part, though this is still an interim workaround. A DQ-based stack should
make this much cleaner.

Stop using precomputed SQLite testdb name, fix test-end bug in replicated.t

This was an... odd one. Originally the problem manifested as a classic
var-sub-sub closure problem, leading to $db_file being captured and tripping
a more involved testcase that is coming in a subsequent commit. However while
getting rid of the reference itself was easy, this led to the outer coderef
itself being "leaked out".

The reproducing oneliner is:

~$ perl -MScalar::Util=weaken -Mstrict -Mwarnings -e '
 sub foo {
   my $rv = sub { "wtf" }; return $rv;
 }

 my $should_be_gone;

 {
   $should_be_gone = foo();
   weaken ($should_be_gone);
 }

 warn $should_be_gone;  # why is this still defined@!%#$!$#
'

Various tools indicated that it is somehow attached to the PAD of the static
foo() sub, but I could not figure out *why* exactly this is happening, nor
how to properly list it: PadWalker's closed_over() shows nothing for foo()

Thus invoking doge on the whole shebang, and moving on. SUCH WTF, WOW!

Incientally changing things to use the current SQLite filename revealed
a bug in t/storage/replicated.t, which was never noticed as it only
resulted in annoying warnings under Win32 global destroy (test
teardown).

Add extra operations to the heavy duty leaktrace scope

Fire all so-far-collected resultsets multiple times

Do not track plain scalar refs on 5.17+ for the time being

Smoke 5.16.2 (ensure we are not affected by Encode leak) and bump latest 5.18

Stop circref TODO based on RT#82942 from failing after changes in 96577657

Now that we have the tools leak-track much more stuff when XS is there

Switch to a global symtable "classdata" visitor

This not only allows us to track anything global, not only CAG stuff
but also removes a bunch of workarounda from t/52leaks.t \o/

Even saner diagnostics (view under diff -w)

Now that we no longer store signs of "ref X was here but GCed" there is no
point in "No leaks of X" pass()es either