terse

EXPERIMENTAL Release v0.08241

Clarify prefetch documentation a bit, remove the nonsensical 0.09 warning

Sanity-check columns added as primary key

Optimize the HRI-direct collapser even more

Since we know that we will never output null-branches in the case of
HRI, we can wrap the related assemblers in a definedness condition to
never fire on a null branch, and skip entirely the calculation of
non-NULL %cur_row_ids.

Fatalize warnings within the compiled row parsers

Encountering an undef value anywhere in this code is a sign of some glaring
omission. Perhaps a nullable column is annotated as is_nullable => 0 or
something similar. When this is the case we need the collapsing to stop
right there, as it is no longer safe to proceed.

Modify the null-branch pruning introduced in ce556881, restore compat

In the case of "direct to HRI" we want to throw stuff away as before. In
other cases however we no longer take an educated guess when to prune.
Instead we mark each null-branch by simply blessing its containing
arrayref. This allows us to keep the arguments to inflate_result 100%
backwards compatible, while at the same time allowing "enlightened"
inflate_result implementations to skip over the dead branches with
minimal effort.

Both ::Row::inflate_result and ::HRI::inflate_result were adjusted to
react correctly to these marks. As a result the HRI folder gained
another 5% speedup (unless sidestepped by the direct-to-HRI code, which
is naturally much much more efficient).

The current name of the "null class" is stored in the global
$DBIx::Class::ResultSource::RowParser::Util::null_branch_class. Given
that the entire codebase begs for standalone CPAN extraction this should
do for the time being.

While implementing the test changes it became clear that
Test::More::is_deeply does not cut it (it ignores the blessed-ness of
structures by design: https://github.com/schwern/test-more/issues/347).
As a result a dep on Test::Deep was added, and several of the tests
looking at inflate_result RVs were converted.

Add optdep on CPAN::Uploader to get an effortless `make upload`

Even more distbuilding checks

Frew's environment (and *only* his environment) keeps producing weirdly
broken dists. Add an extra check for this until we figure out how exactly
his environment is broken.

Extra check tested on cygwin and strawberry for good measure.

New Test::Strict no longer detects Moose::Role (RT#83433) - workaround

Readjust the parallel no-test dependency install order

Better utilize the massive amount of CPUs we have available

It appears that travis drastically increased the amount of available CPUs

Well, this is awesome - we just happen to be equipped to take advantage
of this ;)

Remove the branch-name limitations - now a smoke takes fraction of the time
it used to, no point to limit what we smoke anymore.

At the same time reduce the amount of threads building the perls - older
binaries do not build very well on -j32. This is a temporary thing - the
perl-building will soon be exported away anyway.

Fix minor docs issues in ResultSet changes

EXPERIMENTAL Release 0.08240

Adjust the distbuilding to tag 240~249 releases as TRIAL, aiming for
0.08250 as "DBIC with sane prefetch".

Massive thanks to mna for enduring hours of pondering on the design and
implementation - this code would not exist without your help.

Rudimentary documentation

Reintroduce conditional null-branch pruning and add direct-to-HRI option

What we do here is heavy parameterization of the rowparser coderef generator.

The first change introduces pruning of "null" left joined branches. In the
case of the collapsing codepath things are easy - we already precalculated
definitive non-nullable column sets describing each node separately. All we
need to do is check that the *first* node-specific id is not-NULL, and we
are in business. In the case of non-collapsing parsers things get ugly - we
do not have a collapse map (it can't be calculated most of the time) and
we do not yet have lightweight "left-join-ness" analysis. So instead we treat
any branch with *all* of its values (current node + leaves) being NULL as
a "left joined" branch. This should eventually be fixed, because it prevents
reliable selection of branches with all-nullable columns.

To make matters even more complicated - we can not prune by default, because
this was not the case for older code (and the format of data fed to
inflate_result has been public API for a long time). Since DBIx::Class::Row
no longer does prunning internaly in its inflate_result we need to compromise
(it was in fact necessary to remove that naive pruning code to allow empty
intermediate objects). The pruning is engaged automatically on any
result class that inherits from DBIx::Class::Row, with the hope that any
overrides of inflate_result do superficial modifications to the data before
passing it on. If the class is entirely new (i.e. *not* part of the ::Row
inheritance chain) - we do not prune and return everything the way we did up
until 0.08206 or so.

There is currently no way to influence the pruning behavior from the user API
which is *probably* a problem, but I am punting it.

The second change introduces the hri_style flag, which alters the resulting
structure to be a direct HRI product (everything is mixed in one hashref,
relationships clobber identically named coluns). Thus we do not invoke the HRI
inflate_result() at all anymore (it is left in for the casual overrider), but
return things in a single pass. There aren't much more performance gains to
be had here, next step would be leaner ResultSet initialization.

The switch and decision-caching in ResultSet.pm that powers the above got
rather hairy, but I couldn't figure out a saner way to properly dispatch to
the necessary rowparser builder. The rest of the changes turned out
surprisingly clean and unobtrusive.

Optimization - order only on lazy prefetch

If the user wants all() without an order_by she doesn't care anyway

And another collapser issue

One can not infer definedness from the presence of a parent *unless* we have
a 'belongs_to'-like relationship to that parent

Yet another collapser oversight

One can't reuse collapsers across a left join

Simplify collapse map contents, shuffle things around, rename most vars

There are almost no functional changes, just better organize what goes where

Move the infmap verification/exception way earlier

The thing deliberately is not a method on the source, because I am not
entirely sure where it belongs *YET*. Just knew it does not belong
in the (hopefully) extractable parser-gens.

Convert in_storage() to a simple accessor (potentially XSifyable)

Remove ResultSourceHandle check in inflate_result

A isa() check is expensive, and it seems like the work in 4376a1574 made
it entirely superfluous

Switch the cursor iterator to pull data via bind_columns

While this does not help us irectly in any way (we still copy by value like
there is no tomorrow) - it will help with the software_limit fast-forwards

Massively optimize ->cursor->next while fixing some bugs along the way

Cursor access was previously wrapped in a dbh_do() block with the intent to
restart the connection and the cursor upon a handle error. However this
arrangement overlooks our inability to restart the cursor from the same
spot (or for that matter guarantee the same dataset). Instead we remove
the dbh_do wrap entirely, and just let the exception propagate to whatever
esle might be ready to catch it (and potentially properly retry the select).

As a side effect (because anonsubs are sloooooooow) the end result
yields astonishing speed gains - one of the test cases mentioned in [1]
went (on my test rig) from 9.61058 to 0.64960 due to this commit alone.

A particular detail - the cursor private methods _dbh_next/_dbh_all are no
more as they are unused indirection now. All storage drivers (well their
respective cursors) have been adjusted, but not yet tested due to lack of
a proper environment.

[1] http://lists.scsys.co.uk/pipermail/dbix-class/2012-July/010595.html

Restore ability to handle underdefined root (t/prefetch/incomplete.t)

In addition make things work when multiple has_many-inheriting branches
are present on the root. This squeezes in the last thing I could think
of into the row_parser maker, and allows to *properly* collapse stuff
like this:

$rs = $schema->resultset ('CD')->search ({}, {
  join => [ 'tracks', { single_track => { cd => { artist => { cds => 'tracks' } } } }  ],
  collapse => 1,
  columns => [
    { 'single_track.trackid'                    => 'single_track.trackid' },  # definitive link to root from 1:1:1:1:M:M chain
    { 'year'                                    => 'me.year' },               # non-unique
    { 'tracks.cd'                               => 'tracks.cd' },             # \ together both uniqueness for second multirel
    { 'tracks.title'                            => 'tracks.title' },          # / and definitive link back to root
    { 'single_track.cd.artist.cds.cdid'         => 'cds.cdid' },              # to give uniquiness to ...tracks.title below
    { 'single_track.cd.artist.cds.year'         => 'cds.year' },              # non-unique
    { 'single_track.cd.artist.artistid'         => 'artist.artistid' },       # uniqufies entire parental chain
    { 'single_track.cd.artist.cds.genreid'      => 'cds.genreid' },           # nullable
    { 'single_track.cd.artist.cds.tracks.title' => 'tracks_2.title' },        # unique when combined with ...cds.cdid above
  ],
  order_by => \ 'RANDOM()'
});

Which DBIC sees like this ( produced by `prove -l t/prefetch/manual.t -v` ):

 sngl_tr.trackid #        me.year #       tracks.cd #    tracks.title #        cds.cdid #        cds.year # artist.artistid #     cds.genreid #  tracks_2.title
---------------------------------------------------------------------------------------------------------------------------------------------------------------
               6 #           1978 #               3 #              e2 #               1 #            1981 #               1 #               1 #              m3
            NULL #           1977 #            NULL #            NULL #            NULL #            NULL #            NULL #            NULL #            NULL
               6 #           1978 #               3 #              e3 #               5 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e1 #               1 #            1981 #               1 #               1 #              m1
               6 #           1978 #               3 #              e2 #               3 #            1978 #               1 #               1 #              e1
            NULL #           1981 #               1 #              m1 #            NULL #            NULL #            NULL #            NULL #            NULL
               6 #           1978 #               3 #              e2 #               1 #            1981 #               1 #               1 #              m1
               6 #           1978 #               3 #              e3 #               3 #            1978 #               1 #               1 #              e3
               6 #           1978 #               3 #              e3 #               2 #            1976 #               1 #            NULL #              o2
               6 #           1978 #               3 #              e2 #               6 #            1977 #               1 #            NULL #            NULL
            NULL #           1981 #               1 #              m3 #            NULL #            NULL #            NULL #            NULL #            NULL
               6 #           1978 #               3 #              e3 #               1 #            1981 #               1 #               1 #              m1
               6 #           1978 #               3 #              e1 #               2 #            1976 #               1 #            NULL #              o2
               6 #           1978 #               3 #              e3 #               1 #            1981 #               1 #               1 #              m3
               6 #           1978 #               3 #              e2 #               3 #            1978 #               1 #               1 #              e2
               6 #           1978 #               3 #              e2 #               4 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e1 #               6 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e2 #               5 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e1 #               3 #            1978 #               1 #               1 #              e2
               6 #           1978 #               3 #              e1 #               3 #            1978 #               1 #               1 #              e1
            NULL #           1976 #               2 #              o1 #            NULL #            NULL #            NULL #            NULL #            NULL
            NULL #           1976 #               2 #              o2 #            NULL #            NULL #            NULL #            NULL #            NULL
               6 #           1978 #               3 #              e1 #               1 #            1981 #               1 #               1 #              m2
               6 #           1978 #               3 #              e1 #               5 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e2 #               2 #            1976 #               1 #            NULL #              o1
               6 #           1978 #               3 #              e2 #               1 #            1981 #               1 #               1 #              m2
               6 #           1978 #               3 #              e1 #               1 #            1981 #               1 #               1 #              m4
               6 #           1978 #               3 #              e3 #               1 #            1981 #               1 #               1 #              m2
               6 #           1978 #               3 #              e2 #               2 #            1976 #               1 #            NULL #              o2
               6 #           1978 #               3 #              e3 #               3 #            1978 #               1 #               1 #              e1
               6 #           1978 #               3 #              e3 #               1 #            1981 #               1 #               1 #              m4
               6 #           1978 #               3 #              e1 #               3 #            1978 #               1 #               1 #              e3
            NULL #           1977 #            NULL #            NULL #            NULL #            NULL #            NULL #            NULL #            NULL
               6 #           1978 #               3 #              e1 #               1 #            1981 #               1 #               1 #              m3
               6 #           1978 #               3 #              e3 #               2 #            1976 #               1 #            NULL #              o1
               6 #           1978 #               3 #              e1 #               2 #            1976 #               1 #            NULL #              o1
               6 #           1978 #               3 #              e2 #               1 #            1981 #               1 #               1 #              m4
               6 #           1978 #               3 #              e3 #               3 #            1978 #               1 #               1 #              e2
            NULL #           1977 #            NULL #            NULL #            NULL #            NULL #            NULL #            NULL #            NULL
            NULL #           1981 #               1 #              m2 #            NULL #            NULL #            NULL #            NULL #            NULL
               6 #           1978 #               3 #              e3 #               6 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e2 #               3 #            1978 #               1 #               1 #              e3
               6 #           1978 #               3 #              e3 #               4 #            1977 #               1 #            NULL #            NULL
               6 #           1978 #               3 #              e1 #               4 #            1977 #               1 #            NULL #            NULL
            NULL #           1981 #               1 #              m4 #            NULL #            NULL #            NULL #            NULL #            NULL

Test for restricted prefetch (now passing again after previous commit)

Fix _resolve_collapse to always consider the entire chain of parent ids

Instead of relying on a "local column based" resolution for a particular
node, always add all the "collapsers" of the left-side "parents".

In the process cleanup the return of _resolve_collapse, and make it more
generic (after all we are hoping to CPAN the collapser generator some
day).

The change above  solves the following problem: think of an artist with
3 CDs A, B & C:

$cd_rs->search(
  [
    { 'me.title' => 'A', 'cds.title' => { '!=' => 'B' } },
    { 'me.title' => { '!=', => 'A' }, 'cds.title' => 'B' },
  ],
  { prefetch => { artist => 'cds' } },
);

Since an artist is fully defined by its PK (which we already fetch),
an all() run will keep accumulating all 3 CDs under the same already
known hash, representing said artist, because we do not create two
distinct pigeon-hole-hashes for "artist of A" and "artist of non-A".

ETOOMANYARGS - change _resolve_collapse to take a couple hashes

No functional changes

Write correct odd (not even) relchain depth on primary joins

Added test for join and empty prefetch exception

(Now passing after previous commit)

Unset collapse in even more cases

Fixups for 5.17.6+ hash randomization

Hit an MC hash-order bug - simplify create, and solve it another time
(test saved and augmented in another branch)

Reverting a48693f42e - the test is a fat duplicate of t/prefetch/false_colvalues.t

Fix the silly mistake responsible for the drama around c9733800

A perlcritic policy to catch this stuff in the future is under consideration

Merge branch 'master' into topic/constructor_rewrite

Moar kwalitee - we do have pod(coverage) tests

Add strict/warnings test, adjust all offenders (wow, that was a lot)

Should shut kwalitee up: http://cpants.cpanauthors.org/dist/DBIx-Class

Stop shipping world writeable files in our tarball

The chain of failures would go as follows: when we prepare the tarball
we briefly copy all generated POD to our root dir so that the
manifest/distdir_copy process can pick it up. Then before the distdir is
ready we run a cleanup using ExtUtils::Install::uninstall. However
everything in the ditdir is hardlinked to our root dir, including the
files we "uninstall". EU::I::uninstall has a weird dance deep in its
source[1] where it explicitly does chmod(0666) on the file it is about
to delete (why?!). Thus we end up with world-writables in our distdir,
since the hardlinked inode still retains the result of that last chmod.

Switch to a manual cleanup, and leave EU::I alone.

[1] https://metacpan.org/source/YVES/ExtUtils-Install-1.54/lib/ExtUtils/Install.pm#L274

Fix duplicated columns for count()

When a same aggregate function was used more than once in a 'having'
clause, count() added that function more than once to 'select'.

release v0.08206

Try Schwern's latest Test::Builder offering on a stock perl and a threaded blead

Reorganize travis stuff a little - no functional changes

Try to config Fibrebird twice - it does seem to help >.<

Read changeset under -w

Temporary workaround for Path::Class not being installable (RT#83143)

Changelogging for 728f32b5 and e705f529

Revert parts of 6864429a which utterly broke dbh_do() retries

Was never noticed because of undertesting, now should behave correctly

Clarify travis timings

New travis build infrastructure is 'set -e' sensitive

Prevent spurious unclean git repo state on ddl regeneration

Extra sanity check of a fresh DBI handle

Make `perl Makefile.PL` runs more user friendly - better diagnostics

Stop `perl Makefile.PL` from recursing into distdirs if present

More .mailmap fixes

General cleanup of error messages - quote identifiers/names where sensible

No functional changes

Remove TODO labels from blocks not using todo_skip() - no test changes

Revert 344f761c - this was a stupid idea

Way too many failures, maked CPANTesters output unusable.
Extracted and submitted as DBI RT#82942 instead

::Storage::BlockRunner now has minimum POD, tell CPAN to noindex

It is not ready for prime time yet

Only allow known globals in SQL::Translator leak allowance

release v0.08205

Ensure xt/whitespace.t executes standalone

This way it will not pick up anything temporary a test may have left
around, and won't complain about the whitespace contents.

Clarifying that the "around" method modifier can come from Moose

Also adding a trailing semicolon to the "around" example. This way, it
better agrees with the information in Manual::FAQ.

Do not tax travis with full pull request smoking

Some cleanups around loading/use of DBIx::Class::Exception (no func. changes)

Revert workarounds for $@ broken during 5.13.x - mainly 1f870d5a

Luckily reason prevailed and $@ was left alone during DESTROY time,
the complexity (mnost of it compiled away) is no longer needed

More historic info can be found here: http://git.shadowcat.co.uk/gitweb/gitweb.cgi?p=dbsrgits/DBIx-Class-Historic.git;a=blob_plain;f=useful_guard_objects.html;h=4678884

Further reshuffle logic in _rs_update_delete - no functional changes

review with -w, lots of reindentation

Fix self-referential resultset update/delete on MySQL (aggravated by 31073ac7)

MySQL is unable to figure out it needs a temp-table when it is trying
to update a table with a condition it derived from that table. So what
we do here is give it a helpful nudge by rewriting any "offending"
subquery to a double subquery post-sql-generation.

Performance seems to be about the same for moderately large sets. If it
becomes a problem later we can always revisit and add the ability to
induce "row-by-row" update/deletion instead.

The implementation sucks, but is rather concise and most importantly
contained to the MySQL codepath only - it does not affect the rest of
the code flow in any way.

Fix proper handling of composite resultset heads (e.g. as_subselect_rs)

Solves http://lists.scsys.co.uk/pipermail/dbix-class/2012-July/010650.html

Move the *preliminary* multicol IN support to the sqlmaker

It really does not belong in ResultSet.pm, but we do not have an API
either. Take a first stab at a sketch, DQ will need to wrangle it to
completion.

Flip quoting in all of t/71mysql.t (no test changes)

Simplify dbh_do invocation, and only alias @_ when needed

Scope::Upper somehow confuses pseudofork on older perls - investigation pending

View the patch with -w, lots of reindentation

Reign in (a little bit) the sprawling CRLF insanity on Win32

In the process join the notabs/eol tests into one file, and tighten
the WS checks even more

Ensure the testddl is regenerated at Makefile and distdir times

This will stop things constantly getting out of sync

Regenerate SQLite testschema ddl with explicit quoting and generate FKs

We *do not* yet turn on FK checking in sqlite - many tests will need tweaking

SQLT got a lot better lately - bump min version

Remove a large number of workarounds in the process

Remove SQLA namespace pollution fixer - this is no longer the case since 1.73

deployment_statements() is not storage-dependent - only sqlt_type() is

This fixes maint/gen_schema erroring out after 75d3bdb243

Reduce amount of calls to $rsrc->columns_info where possible

_resolve_bindattrs already expects colinfo - just pass it in where we forgot

Fix some pessimizations spotted here and there (no functional changes)

Mainly remove a number of unused @_ unpackings, and remove the hideous
_resolved_attrs_copy pessimizer

Remove apparent pessimization introduced in 6a588797

There is no conceivable reason why the attrs need to be recalculated on cursor
reset. All tests seem to pass as well. Removing it as the calculation is quite
expensive - if problems arise bisection will hopefully lead us here

Optimize populate(), especially bind handling in complex populate cases

Instead of recalculating the data slice positions on every loop, we
do it only once during the "proto bind" generation. This is because
even though all bind values can and will change (even ones supplied
via \[ ... ]), their number will always remain constant.

Simplify/cleanup parsing of search() arguments

Ensure _dbi_attrs_for_bind/bind_attribute_by_data_type are called after connecting

This way a user does not have to worry about the particular DBI/DBD being
loaded before accessing its constants

Remove support for source_bind_attributes() as promised in 0e773352a

Original deprecation was put in place almost 2 years ago

Deprecate emulate_limit() - can not be sanely supported by DQ

Reorganize travis test script, I *think* no functional changes

List::Util got fixed and is again installable on 5.8

Move Travis Data::Dumper installation earlier, before its dependents

Install Carp.pm separately on Travis

Otherwise when the timing is right it trips up installation of the parallel job

Reorganize MSSQL/DBD::Sybase TODOs on MAS+txn tests

Fix TODO tests to only mark exactly the failing tests as TODO
and run the passing tests as real tests.

No reason to run this test at all until MC is rewritten

Promote leaky rscond todo to a smoke-fail - try to establish a pattern

Fix broken DBICTest::RunMode::is_smoker() (riba got pwned by precedence)

Attempt to build a dist on travis if all tests pass

Fixup possible crlf in generated files

Tighten notab/eol checks even more