Restore ability to handle underdefined root (t/prefetch/incomplete.t)
[dbsrgits/DBIx-Class.git] / lib / DBIx / Class / ResultSource / RowParser.pm
index d71ca30..141037b 100644 (file)
@@ -5,7 +5,7 @@ use strict;
 use warnings;
 
 use Try::Tiny;
-use List::Util 'first';
+use List::Util qw(first max);
 use B 'perlstring';
 
 use namespace::clean;
@@ -63,33 +63,36 @@ sub _resolve_prefetch {
   }
 }
 
-# Takes a selection list and generates a collapse-map representing
+# Takes an arrayref selection list and generates a collapse-map representing
 # row-object fold-points. Every relationship is assigned a set of unique,
 # non-nullable columns (which may *not even be* from the same resultset)
 # and the collapser will use this information to correctly distinguish
-# data of individual to-be-row-objects.
+# data of individual to-be-row-objects. See t/resultset/rowparser_internals.t
+# for extensive RV examples
 sub _resolve_collapse {
-  my ($self, $as, $as_fq_idx, $rel_chain, $parent_info, $node_idx_ref) = @_;
+  my ($self, $args, $common_args) = @_;
 
   # for comprehensible error messages put ourselves at the head of the relationship chain
-  $rel_chain ||= [ $self->source_name ];
+  $args->{_rel_chain} ||= [ $self->source_name ];
 
-  # record top-level fully-qualified column index
-  $as_fq_idx ||= { %$as };
+  # record top-level fully-qualified column index, start nodecount
+  $common_args ||= {
+    _as_fq_idx => { %{$args->{as}} },
+    _node_idx => 1, # this is *deliberately* not 0-based
+  };
 
   my ($my_cols, $rel_cols);
-  for (keys %$as) {
+  for (keys %{$args->{as}}) {
     if ($_ =~ /^ ([^\.]+) \. (.+) /x) {
       $rel_cols->{$1}{$2} = 1;
     }
     else {
-      $my_cols->{$_} = {};  # important for ||= below
+      $my_cols->{$_} = {};  # important for ||='s below
     }
   }
 
   my $relinfo;
-  # run through relationships, collect metadata, inject non-left fk-bridges from
-  # *INNER-JOINED* children (if any)
+  # run through relationships, collect metadata
   for my $rel (keys %$rel_cols) {
     my $rel_src = __get_related_source($self, $rel, $rel_cols->{$rel});
 
@@ -99,6 +102,7 @@ sub _resolve_collapse {
     $relinfo->{$rel}{is_inner} = ( $inf->{attrs}{join_type} || '' ) !~ /^left/i;
     $relinfo->{$rel}{rsrc} = $rel_src;
 
+    # FIME - need to use _resolve_cond here instead
     my $cond = $inf->{cond};
 
     if (
@@ -106,40 +110,40 @@ sub _resolve_collapse {
         and
       keys %$cond
         and
-      ! first { $_ !~ /^foreign\./ } (keys %$cond)
+      ! defined first { $_ !~ /^foreign\./ } (keys %$cond)
         and
-      ! first { $_ !~ /^self\./ } (values %$cond)
+      ! defined first { $_ !~ /^self\./ } (values %$cond)
     ) {
       for my $f (keys %$cond) {
         my $s = $cond->{$f};
         $_ =~ s/^ (?: foreign | self ) \.//x for ($f, $s);
         $relinfo->{$rel}{fk_map}{$s} = $f;
-
-        # need to know source from *our* pov, hence $rel.
-        $my_cols->{$s} ||= { via_fk => "$rel.$f" } if (
-          defined $rel_cols->{$rel}{$f} # in fact selected
-            and
-          $relinfo->{$rel}{is_inner}
-        );
       }
     }
   }
 
+  # inject non-left fk-bridges from *INNER-JOINED* children (if any)
+  for my $rel (grep { $relinfo->{$_}{is_inner} } keys %$relinfo) {
+    my $ri = $relinfo->{$rel};
+    for (keys %{$ri->{fk_map}} ) {
+      # need to know source from *our* pov, hence $rel.col
+      $my_cols->{$_} ||= { via_fk => "$rel.$ri->{fk_map}{$_}" }
+        if defined $rel_cols->{$rel}{$ri->{fk_map}{$_}} # in fact selected
+    }
+  }
+
   # if the parent is already defined, assume all of its related FKs are selected
   # (even if they in fact are NOT in the select list). Keep a record of what we
   # assumed, and if any such phantom-column becomes part of our own collapser,
   # throw everything assumed-from-parent away and replace with the collapser of
   # the parent (whatever it may be)
   my $assumed_from_parent;
-  unless ($parent_info->{underdefined}) {
-    $assumed_from_parent->{columns} = { map
-      # only add to the list if we do not already select said columns
-      { ! exists $my_cols->{$_} ? ( $_ => 1 ) : () }
-      values %{$parent_info->{rel_condition} || {}}
-    };
-
-    $my_cols->{$_} = { via_collapse => $parent_info->{collapse_on} }
-      for keys %{$assumed_from_parent->{columns}};
+  unless ($args->{_parent_info}{underdefined}) {
+    for my $col ( values %{$args->{_parent_info}{rel_condition} || {}} ) {
+      next if exists $my_cols->{$col};
+      $my_cols->{$col} = { via_collapse => $args->{_parent_info}{collapse_on_idcols} };
+      $assumed_from_parent->{columns}{$col}++;
+    }
   }
 
   # get colinfo for everything
@@ -150,8 +154,18 @@ sub _resolve_collapse {
 
   my $collapse_map;
 
-  # try to resolve based on our columns (plus already inserted FK bridges)
+  # first try to reuse the parent's collapser (i.e. reuse collapser over 1:1)
+  # (makes for a leaner coderef later)
+  unless ($collapse_map->{-idcols_current_node}) {
+    $collapse_map->{-idcols_current_node} = $args->{_parent_info}{collapse_on_idcols}
+      if $args->{_parent_info}{collapser_reusable};
+  }
+
+
+  # Still dont know how to collapse - try to resolve based on our columns (plus already inserted FK bridges)
   if (
+    ! $collapse_map->{-idcols_current_node}
+      and
     $my_cols
       and
     my $idset = $self->_identifying_column_set ({map { $_ => $my_cols->{$_}{colinfo} } keys %$my_cols})
@@ -160,38 +174,38 @@ sub _resolve_collapse {
     # and fix stuff up if this is the case
     my @reduced_set = grep { ! $assumed_from_parent->{columns}{$_} } @$idset;
 
-    $collapse_map->{-node_id} = __unique_numlist(
-      (@reduced_set != @$idset) ? @{$parent_info->{collapse_on}} : (),
+    $collapse_map->{-idcols_current_node} = [ __unique_numlist(
+      @{ $args->{_parent_info}{collapse_on_idcols}||[] },
+
       (map
         {
           my $fqc = join ('.',
-            @{$rel_chain}[1 .. $#$rel_chain],
+            @{$args->{_rel_chain}}[1 .. $#{$args->{_rel_chain}}],
             ( $my_cols->{$_}{via_fk} || $_ ),
           );
 
-          $as_fq_idx->{$fqc};
+          $common_args->{_as_fq_idx}->{$fqc};
         }
         @reduced_set
       ),
-    );
+    )];
   }
 
   # Stil don't know how to collapse - keep descending down 1:1 chains - if
   # a related non-LEFT 1:1 is resolvable - its condition will collapse us
   # too
-  unless ($collapse_map->{-node_id}) {
+  unless ($collapse_map->{-idcols_current_node}) {
     my @candidates;
 
     for my $rel (keys %$relinfo) {
       next unless ($relinfo->{$rel}{is_single} && $relinfo->{$rel}{is_inner});
 
-      if ( my $rel_collapse = $relinfo->{$rel}{rsrc}->_resolve_collapse (
-        $rel_cols->{$rel},
-        $as_fq_idx,
-        [ @$rel_chain, $rel ],
-        { underdefined => 1 }
-      )) {
-        push @candidates, $rel_collapse->{-node_id};
+      if ( my $rel_collapse = $relinfo->{$rel}{rsrc}->_resolve_collapse ({
+        as => $rel_cols->{$rel},
+        _rel_chain => [ @{$args->{_rel_chain}}, $rel ],
+        _parent_info => { underdefined => 1 },
+      }, $common_args)) {
+        push @candidates, $rel_collapse->{-idcols_current_node};
       }
     }
 
@@ -199,30 +213,99 @@ sub _resolve_collapse {
     # FIXME - maybe need to implement a data type order as well (i.e. prefer several ints
     # to a single varchar)
     if (@candidates) {
-      ($collapse_map->{-node_id}) = sort { scalar @$a <=> scalar @$b } (@candidates);
+      ($collapse_map->{-idcols_current_node}) = sort { scalar @$a <=> scalar @$b } (@candidates);
     }
   }
 
-  # Still dont know how to collapse - see if the parent passed us anything
-  # (i.e. reuse collapser over 1:1)
-  unless ($collapse_map->{-node_id}) {
-    $collapse_map->{-node_id} = $parent_info->{collapse_on}
-      if $parent_info->{collapser_reusable};
+  # Stil don't know how to collapse, and we are the root node. Last ditch
+  # effort in case we are *NOT* premultiplied.
+  # Run through *each multi* all the way down, left or not, and all
+  # *left* singles (a single may become a multi underneath) . When everything
+  # gets back see if all the rels link to us definitively. If this is the
+  # case we are good - either one of them will define us, or if all are NULLs
+  # we know we are "unique" due to the "non-premultiplied" check
+  if (
+    ! $collapse_map->{-idcols_current_node}
+      and
+    ! $args->{premultiplied}
+      and
+    $common_args->{_node_idx} == 1
+  ) {
+    my (@collapse_sets, $uncollapsible_chain);
+
+    for my $rel (keys %$relinfo) {
+
+      # we already looked at these higher up
+      next if ($relinfo->{$rel}{is_single} && $relinfo->{$rel}{is_inner});
+
+      if (my $clps = $relinfo->{$rel}{rsrc}->_resolve_collapse ({
+        as => $rel_cols->{$rel},
+        _rel_chain => [ @{$args->{_rel_chain}}, $rel ],
+        _parent_info => { underdefined => 1 },
+      }, $common_args) ) {
+
+        # for singles use the idcols wholesale (either there or not)
+        if ($relinfo->{$rel}{is_single}) {
+          push @collapse_sets, $clps->{-idcols_current_node};
+        }
+        elsif (! $relinfo->{$rel}{fk_map}) {
+          $uncollapsible_chain = 1;
+          last;
+        }
+        else {
+          my $defined_cols_parent_side;
+
+          for my $fq_col ( grep { /^$rel\.[^\.]+$/ } keys %{$args->{as}} ) {
+            my ($col) = $fq_col =~ /([^\.]+)$/;
+
+            $defined_cols_parent_side->{$_} = $args->{as}{$fq_col} for grep
+              { $relinfo->{$rel}{fk_map}{$_} eq $col }
+              keys %{$relinfo->{$rel}{fk_map}}
+            ;
+          }
+
+          if (my $set = $self->_identifying_column_set([ keys %$defined_cols_parent_side ]) ) {
+            push @collapse_sets, [ sort map { $defined_cols_parent_side->{$_} } @$set ];
+          }
+          else {
+            $uncollapsible_chain = 1;
+            last;
+          }
+        }
+      }
+      else {
+        $uncollapsible_chain = 1;
+        last;
+      }
+    }
+
+    unless ($uncollapsible_chain) {
+      # if we got here - we are good to go, but the construction is tricky
+      # since our children will want to include our collapse criteria - we
+      # don't give them anything (safe, since they are all collapsible on their own)
+      # in addition we record the individual collapse posibilities
+      # of all left children node collapsers, and merge them in the rowparser
+      # coderef later
+      $collapse_map->{-idcols_current_node} = [];
+      $collapse_map->{-root_node_idcol_variants} = [ sort {
+        (scalar @$a) <=> (scalar @$b) or max(@$a) <=> max(@$b)
+      } @collapse_sets ];
+    }
   }
 
   # stop descending into children if we were called by a parent for first-pass
   # and don't despair if nothing was found (there may be other parallel branches
   # to dive into)
-  if ($parent_info->{underdefined}) {
-    return $collapse_map->{-node_id} ? $collapse_map : undef
+  if ($args->{_parent_info}{underdefined}) {
+    return $collapse_map->{-idcols_current_node} ? $collapse_map : undef
   }
   # nothing down the chain resolved - can't calculate a collapse-map
-  elsif (! $collapse_map->{-node_id}) {
+  elsif (! $collapse_map->{-idcols_current_node}) {
     $self->throw_exception ( sprintf
       "Unable to calculate a definitive collapse column set for %s%s: fetch more unique non-nullable columns",
       $self->source_name,
-      @$rel_chain > 1
-        ? sprintf (' (last member of the %s chain)', join ' -> ', @$rel_chain )
+      @{$args->{_rel_chain}} > 1
+        ? sprintf (' (last member of the %s chain)', join ' -> ', @{$args->{_rel_chain}} )
         : ''
       ,
     );
@@ -231,21 +314,19 @@ sub _resolve_collapse {
   # If we got that far - we are collapsable - GREAT! Now go down all children
   # a second time, and fill in the rest
 
-  $collapse_map->{-is_optional} = 1 if $parent_info->{is_optional};
-  $collapse_map->{-node_index} = ${ $node_idx_ref ||= \do { my $x = 1 } }++;  # this is *deliberately* not 0-based
-
-  my (@id_sets, $multis_in_chain);
-  for my $rel (sort keys %$relinfo) {
+  $collapse_map->{-is_optional} = 1 if $args->{_parent_info}{is_optional};
+  $collapse_map->{-node_index} = $common_args->{_node_idx}++;
 
-    $collapse_map->{$rel} = $relinfo->{$rel}{rsrc}->_resolve_collapse (
-      { map { $_ => 1 } ( keys %{$rel_cols->{$rel}} ) },
 
-      $as_fq_idx,
-
-      [ @$rel_chain, $rel],
+  my @id_sets;
+  for my $rel (sort keys %$relinfo) {
 
-      {
-        collapse_on => [ @{$collapse_map->{-node_id}} ],
+    $collapse_map->{$rel} = $relinfo->{$rel}{rsrc}->_resolve_collapse ({
+      as => { map { $_ => 1 } ( keys %{$rel_cols->{$rel}} ) },
+      _rel_chain => [ @{$args->{_rel_chain}}, $rel],
+      _parent_info => {
+        # shallow copy
+        collapse_on_idcols => [ @{$collapse_map->{-idcols_current_node}} ],
 
         rel_condition => $relinfo->{$rel}{fk_map},
 
@@ -253,71 +334,52 @@ sub _resolve_collapse {
 
         # if this is a 1:1 our own collapser can be used as a collapse-map
         # (regardless of left or not)
-        collapser_reusable => $relinfo->{$rel}{is_single},
+        collapser_reusable => @{$collapse_map->{-idcols_current_node}} && $relinfo->{$rel}{is_single},
       },
-
-      $node_idx_ref,
-    );
+    }, $common_args );
 
     $collapse_map->{$rel}{-is_single} = 1 if $relinfo->{$rel}{is_single};
     $collapse_map->{$rel}{-is_optional} ||= 1 unless $relinfo->{$rel}{is_inner};
-    push @id_sets, @{ $collapse_map->{$rel}{-branch_id} };
+    push @id_sets, ( map { @$_ } (
+      $collapse_map->{$rel}{-idcols_current_node},
+      $collapse_map->{$rel}{-idcols_extra_from_children} || (),
+    ));
   }
 
-  $collapse_map->{-branch_id} = __unique_numlist( @id_sets, @{$collapse_map->{-node_id}} );
+  if (@id_sets) {
+    my $cur_nodeid_hash = { map { $_ => 1 } @{$collapse_map->{-idcols_current_node}} };
+    $collapse_map->{-idcols_extra_from_children} = [ grep
+      { ! $cur_nodeid_hash->{$_} }
+      __unique_numlist( @id_sets )
+    ];
+  }
 
   return $collapse_map;
 }
 
 # Takes an arrayref of {as} dbic column aliases and the collapse and select
-# attributes from the same $rs (the slector requirement is a temporary
-# workaround), and returns a coderef capable of:
-# my $me_pref_clps = $coderef->([$rs->cursor->next])
-# Where the $me_pref_clps arrayref is the future argument to
-# ::ResultSet::_collapse_result.
-#
-# $me_pref_clps->[0] is always returned (even if as an empty hash with no
-# rowdata), however branches of related data in $me_pref_clps->[1] may be
-# pruned short of what was originally requested based on {as}, depending
-# on:
-#
-# * If collapse is requested, a definitive collapse map is calculated for
-#   every relationship "fold-point", consisting of a set of values (which
-#   may not even be contained in the future 'me' of said relationship
-#   (for example a cd.artist_id defines the related inner-joined artist)).
-#   Thus a definedness check is carried on all collapse-condition values
-#   and if at least one is undef it is assumed that we are dealing with a
-#   NULLed right-side of a left-join, so we don't return a related data
-#   container at all, which implies no related objects
-#
-# * If we are not collapsing, there is no constraint on having a selector
-#   uniquely identifying all possible objects, and the user might have very
-#   well requested a column that just *happens* to be all NULLs. What we do
-#   in this case is fallback to the old behavior (which is a potential FIXME)
-#   by always returning a data container, but only filling it with columns
-#   IFF at least one of them is defined. This way we do not get an object
-#   with a bunch of has_column_loaded to undef, but at the same time do not
-#   further relationships based off this "null" object (e.g. in case the user
-#   deliberately skipped link-table values). I am pretty sure there are some
-#   tests that codify this behavior, need to find the exact testname.
+# attributes from the same $rs (the selector requirement is a temporary
+# workaround... I hope), and returns a coderef capable of:
+# my $me_pref_clps = $coderef->([$rs->cursor->next/all])
+# Where the $me_pref_clps arrayref is the future argument to inflate_result()
 #
 # For an example of this coderef in action (and to see its guts) look at
-# t/prefetch/_internals.t
+# t/resultset/rowparser_internals.t
 #
-# This is a huge performance win, as we call the same code for
-# every row returned from the db, thus avoiding repeated method
-# lookups when traversing relationships
+# This is a huge performance win, as we call the same code for every row
+# returned from the db, thus avoiding repeated method lookups when traversing
+# relationships
 #
 # Also since the coderef is completely stateless (the returned structure is
 # always fresh on every new invocation) this is a very good opportunity for
 # memoization if further speed improvements are needed
 #
-# The way we construct this coderef is somewhat fugly, although I am not
-# sure if the string eval is *that* bad of an idea. The alternative is to
-# have a *very* large number of anon coderefs calling each other in a twisty
-# maze, whereas the current result is a nice, smooth, single-pass function.
+# The way we construct this coderef is somewhat fugly, although the result is
+# really worth it. The final coderef does not perform any kind of recursion -
+# the entire nested structure constructor is rolled out into a single scope.
+#
 # In any case - the output of this thing is meticulously micro-tested, so
-# any sort of rewrite should be relatively easy
+# any sort of adjustment/rewrite should be relatively easy (fsvo relatively)
 #
 sub _mk_row_parser {
   my ($self, $args) = @_;
@@ -327,37 +389,88 @@ sub _mk_row_parser {
     ( 0 .. $#{$args->{inflate_map}} )
   };
 
-  my ($parser_src);
-  if ($args->{collapse}) {
+  my $parser_src;
+
+  # the non-collapsing assembler is easy
+  # FIXME SUBOPTIMAL there could be a yet faster way to do things here, but
+  # need to try an actual implementation and benchmark it:
+  #
+  # <timbunce_> First setup the nested data structure you want for each row
+  #   Then call bind_col() to alias the row fields into the right place in
+  #   the data structure, then to fetch the data do:
+  # push @rows, dclone($row_data_struct) while ($sth->fetchrow);
+  #
+  if (!$args->{collapse}) {
+    $parser_src = sprintf('$_ = %s for @{$_[0]}', __visit_infmap_simple(
+      $inflate_index,
+      { rsrc => $self }, # need the $rsrc to sanity-check inflation map once
+    ));
+
+    # change the quoted placeholders to unquoted alias-references
+    $parser_src =~ s/ \' \xFF__VALPOS__(\d+)__\xFF \' /"\$_->[$1]"/gex;
+  }
 
-    my $collapse_map = $self->_resolve_collapse (
+  # the collapsing parser is more complicated - it needs to keep a lot of state
+  #
+  else {
+    my $collapse_map = $self->_resolve_collapse ({
+      premultiplied => $args->{premultiplied},
       # FIXME
       # only consider real columns (not functions) during collapse resolution
       # this check shouldn't really be here, as fucktards are not supposed to
       # alias random crap to existing column names anyway, but still - just in
       # case
       # FIXME !!!! - this does not yet deal with unbalanced selectors correctly
-      # (it is now trivial as the attrs specify where things go out of sync)
-      { map
+      # (it is now trivial as the attrs specify where things go out of sync
+      # needs MOAR tests)
+      as => { map
         { ref $args->{selection}[$inflate_index->{$_}] ? () : ( $_ => $inflate_index->{$_} ) }
         keys %$inflate_index
       }
+    });
+
+    my @all_idcols = sort { $a <=> $b } map { @$_ } (
+      $collapse_map->{-idcols_current_node},
+      $collapse_map->{-idcols_extra_from_children} || (),
     );
 
-    my $top_branch_idx_list = join (', ', @{$collapse_map->{-branch_id}});
+    my ($top_node_id_path, $top_node_id_cacher, @path_variants);
+    if (scalar @{$collapse_map->{-idcols_current_node}}) {
+      $top_node_id_path = join ('', map
+        { "{'\xFF__IDVALPOS__${_}__\xFF'}" }
+        @{$collapse_map->{-idcols_current_node}}
+      );
+    }
+    elsif( my @variants = @{$collapse_map->{-root_node_idcol_variants}} ) {
+      my @path_parts;
 
-    my $top_node_id_path = join ('', map
-      { "{'\xFF__IDVALPOS__${_}__\xFF'}" }
-      @{$collapse_map->{-node_id}}
-    );
+      for (@variants) {
+
+        push @path_variants, sprintf "(join qq(\xFF), '', %s, '')",
+          ( join ', ', map { "'\xFF__VALPOS__${_}__\xFF'" } @$_ )
+        ;
+
+        push @path_parts, sprintf "( %s && %s)",
+          ( join ' && ', map { "( defined '\xFF__VALPOS__${_}__\xFF' )" } @$_ ),
+          $path_variants[-1];
+        ;
+      }
+
+      $top_node_id_cacher = sprintf '$cur_row_ids[%d] = (%s);',
+        $all_idcols[-1] + 1,
+        "\n" . join( "\n  or\n", @path_parts, qq{"\0\$rows_pos\0"} );
+      $top_node_id_path = sprintf '{$cur_row_ids[%d]}', $all_idcols[-1] + 1;
+    }
+    else {
+      $self->throw_exception('Unexpected collapse map contents');
+    }
 
     my $rel_assemblers = __visit_infmap_collapse (
-      $inflate_index, $collapse_map
+      $inflate_index, { %$collapse_map, -custom_node_id => $top_node_id_path },
     );
 
-    $parser_src = sprintf (<<'EOS', $top_branch_idx_list, $top_node_id_path, $rel_assemblers);
-### BEGIN STRING EVAL
-
+    $parser_src = sprintf (<<'EOS', join(', ', @all_idcols), $top_node_id_path, $top_node_id_cacher||'', $rel_assemblers);
+### BEGIN LITERAL STRING EVAL
   my ($rows_pos, $result_pos, $cur_row, @cur_row_ids, @collapse_idx, $is_new_res) = (0,0);
 
   # this loop is a bit arcane - the rationale is that the passed in
@@ -372,41 +485,40 @@ sub _mk_row_parser {
     ($_[1] and $_[1]->())
   ) {
 
-    $cur_row_ids[$_] = defined $cur_row->[$_] ? $cur_row->[$_] : "\xFF\xFFN\xFFU\xFFL\xFFL\xFF\xFF"
-      for (%1$s); # the top branch_id includes all id values
+    # due to left joins some of the ids may be NULL/undef, and
+    # won't play well when used as hash lookups
+    # we also need to differentiate NULLs on per-row/per-col basis
+    #(otherwise folding of optional 1:1s will be greatly confused
+    $cur_row_ids[$_] = defined $cur_row->[$_] ? $cur_row->[$_] : "\0NULL\xFF$rows_pos\xFF$_\0"
+      for (%1$s);
+
+    # maybe(!) cache the top node id calculation
+    %3$s
 
     $is_new_res = ! $collapse_idx[1]%2$s and (
       $_[1] and $result_pos and (unshift @{$_[2]}, $cur_row) and last
     );
 
-    %3$s
+    %4$s
 
     $_[0][$result_pos++] = $collapse_idx[1]%2$s
       if $is_new_res;
   }
 
   splice @{$_[0]}, $result_pos; # truncate the passed in array for cases of collapsing ->all()
-### END STRING EVAL
+### END LITERAL STRING EVAL
 EOS
 
+    # !!! note - different var than the one above
     # change the quoted placeholders to unquoted alias-references
     $parser_src =~ s/ \' \xFF__VALPOS__(\d+)__\xFF \' /"\$cur_row->[$1]"/gex;
     $parser_src =~ s/ \' \xFF__IDVALPOS__(\d+)__\xFF \' /"\$cur_row_ids[$1]"/gex;
   }
 
-  else {
-    $parser_src = sprintf('$_ = %s for @{$_[0]}', __visit_infmap_simple(
-      $inflate_index, { rsrc => $self }), # need the $rsrc to determine left-ness
-    );
-
-    # change the quoted placeholders to unquoted alias-references
-    # !!! note - different var than the one above
-    $parser_src =~ s/ \' \xFF__VALPOS__(\d+)__\xFF \' /"\$_->[$1]"/gex;
-  }
-
   $parser_src;
 }
 
+# the simple non-collapsing nested structure recursor
 sub __visit_infmap_simple {
   my ($val_idx, $args) = @_;
 
@@ -423,18 +535,18 @@ sub __visit_infmap_simple {
   my @relperl;
   for my $rel (sort keys %$rel_cols) {
 
-    my $rel_rsrc = __get_related_source($args->{rsrc}, $rel, $rel_cols->{$rel});
-
+    # DISABLEPRUNE
     #my $optional = $args->{is_optional};
     #$optional ||= ($args->{rsrc}->relationship_info($rel)->{attrs}{join_type} || '') =~ /^left/i;
 
     push @relperl, join ' => ', perlstring($rel), __visit_infmap_simple($rel_cols->{$rel}, {
-      non_top => 1,
+      rsrc => __get_related_source($args->{rsrc}, $rel, $rel_cols->{$rel}),
+      # DISABLEPRUNE
+      #non_top => 1,
       #is_optional => $optional,
-      rsrc => $rel_rsrc,
     });
 
-    # FIXME SUBOPTIMAL - disabled to satisfy t/resultset/inflate_result_api.t
+    # FIXME SUBOPTIMAL DISABLEPRUNE - disabled to satisfy t/resultset/inflate_result_api.t
     #if ($optional and my @branch_null_checks = map
     #  { "(! defined '\xFF__VALPOS__${_}__\xFF')" }
     #  sort { $a <=> $b } values %{$rel_cols->{$rel}}
@@ -458,6 +570,7 @@ sub __visit_infmap_simple {
   );
 }
 
+# the collapsing nested structure recursor
 sub __visit_infmap_collapse {
 
   my ($val_idx, $collapse_map, $parent_info) = @_;
@@ -473,9 +586,9 @@ sub __visit_infmap_collapse {
     }
   }
 
-  my $sequenced_node_id = join ('', map
+  my $sequenced_node_id = $collapse_map->{-custom_node_id} || join ('', map
     { "{'\xFF__IDVALPOS__${_}__\xFF'}" }
-    @{$collapse_map->{-node_id}}
+    @{$collapse_map->{-idcols_current_node}}
   );
 
   my $me_struct = keys %$my_cols
@@ -512,27 +625,29 @@ sub __visit_infmap_collapse {
     );
   }
 
+  # DISABLEPRUNE
   #my $known_defined = { %{ $parent_info->{known_defined} || {} } };
-  #$known_defined->{$_}++ for @{$collapse_map->{-node_id}};
-
+  #$known_defined->{$_}++ for @{$collapse_map->{-idcols_current_node}};
   for my $rel (sort keys %$rel_cols) {
 
-    push @src, sprintf( '%s[1]{%s} ||= [];', $node_idx_ref, perlstring($rel) )
-      unless $collapse_map->{$rel}{-is_single};
+#    push @src, sprintf(
+#      '%s[1]{%s} ||= [];', $node_idx_ref, perlstring($rel)
+#    ) unless $collapse_map->{$rel}{-is_single};
 
     push @src,  __visit_infmap_collapse($rel_cols->{$rel}, $collapse_map->{$rel}, {
       node_idx => $collapse_map->{-node_index},
       sequenced_node_id => $sequenced_node_id,
       relname => $rel,
+      # DISABLEPRUNE
       #known_defined => $known_defined,
     });
 
-    # FIXME SUBOPTIMAL - disabled to satisfy t/resultset/inflate_result_api.t
+    # FIXME SUBOPTIMAL DISABLEPRUNE - disabled to satisfy t/resultset/inflate_result_api.t
     #if ($collapse_map->{$rel}{-is_optional} and my @null_checks = map
     #  { "(! defined '\xFF__IDVALPOS__${_}__\xFF')" }
     #  sort { $a <=> $b } grep
     #    { ! $known_defined->{$_} }
-    #    @{$collapse_map->{$rel}{-node_id}}
+    #    @{$collapse_map->{$rel}{-idcols_current_node}}
     #) {
     #  $src[-1] = sprintf( '(%s) or %s',
     #    join (' || ', @null_checks ),
@@ -546,7 +661,7 @@ sub __visit_infmap_collapse {
 
 # adding a dep on MoreUtils *just* for this is retarded
 sub __unique_numlist {
-  [ sort { $a <=> $b } keys %{ {map { $_ => 1 } @_ }} ]
+  sort { $a <=> $b } keys %{ {map { $_ => 1 } @_ }}
 }
 
 # This error must be thrown from two distinct codepaths, joining them is
@@ -575,7 +690,7 @@ sub __visit_dump {
   ($dumper_obj ||= do {
     require Data::Dumper;
     Data::Dumper->new([])
-      ->Useperl (1)
+      ->Useperl (0)
       ->Purity (1)
       ->Pad ('')
       ->Useqq (0)