join support
[scpubgit/Q-Branch.git] / lib / SQL / Abstract.pm
index 2661082..b06f0fa 100644 (file)
@@ -39,6 +39,9 @@ our $AUTOLOAD;
 my @BUILTIN_SPECIAL_OPS = (
   {regex => qr/^ (?: not \s )? between $/ix, handler => sub { die "NOPE" }},
   {regex => qr/^ is (?: \s+ not )?     $/ix, handler => sub { die "NOPE" }},
+  {regex => qr/^ (?: not \s )? in      $/ix, handler => sub { die "NOPE" }},
+  {regex => qr/^ ident                 $/ix, handler => sub { die "NOPE" }},
+  {regex => qr/^ value                 $/ix, handler => sub { die "NOPE" }},
 );
 
 #======================================================================
@@ -155,8 +158,8 @@ sub new {
   $opt{equality_op}   = qr/^( \Q$opt{cmp}\E | \= )$/ix;
   $opt{inequality_op} = qr/^( != | <> )$/ix;
 
-  $opt{like_op}       = qr/^ (is\s+)? r?like $/xi;
-  $opt{not_like_op}   = qr/^ (is\s+)? not \s+ r?like $/xi;
+  $opt{like_op}       = qr/^ (is_)?r?like $/xi;
+  $opt{not_like_op}   = qr/^ (is_)?not_r?like $/xi;
 
   # SQL booleans
   $opt{sqltrue}  ||= '1=1';
@@ -165,14 +168,9 @@ sub new {
   # special operators
   $opt{special_ops} ||= [];
 
-  # regexes are applied in order, thus push after user-defines
-  push @{$opt{special_ops}}, @BUILTIN_SPECIAL_OPS;
-
   if ($class->isa('DBIx::Class::SQLMaker')) {
-    push @{$opt{special_ops}}, our $DBIC_Compat_Op ||= {
-      regex => qr/^(?:ident|value|(?:not\s)?in)$/i, handler => sub { die "NOPE" }
-    };
-    $opt{is_dbic_sqlmaker} = 1;
+    $opt{warn_once_on_nest} = 1;
+    $opt{disable_old_special_ops} = 1;
   }
 
   # unary operators
@@ -195,52 +193,50 @@ sub new {
   $opt{expand_unary} = {};
 
   $opt{expand} = {
-    -not => '_expand_not',
-    -bool => '_expand_bool',
-    -and => '_expand_op_andor',
-    -or => '_expand_op_andor',
-    -nest => '_expand_nest',
-    -bind => sub { shift; +{ @_ } },
+    not => '_expand_not',
+    bool => '_expand_bool',
+    and => '_expand_op_andor',
+    or => '_expand_op_andor',
+    nest => '_expand_nest',
+    bind => '_expand_bind',
+    in => '_expand_in',
+    not_in => '_expand_in',
+    row => '_expand_row',
+    between => '_expand_between',
+    not_between => '_expand_between',
+    op => '_expand_op',
+    (map +($_ => '_expand_op_is'), ('is', 'is_not')),
+    ident => '_expand_ident',
+    value => '_expand_value',
+    func => '_expand_func',
   };
 
   $opt{expand_op} = {
     'between' => '_expand_between',
-    'not between' => '_expand_between',
+    'not_between' => '_expand_between',
     'in' => '_expand_in',
-    'not in' => '_expand_in',
+    'not_in' => '_expand_in',
     'nest' => '_expand_nest',
     (map +($_ => '_expand_op_andor'), ('and', 'or')),
-    (map +($_ => '_expand_op_is'), ('is', 'is not')),
+    (map +($_ => '_expand_op_is'), ('is', 'is_not')),
+    'ident' => '_expand_ident',
+    'value' => '_expand_value',
   };
 
-  # placeholder for _expand_unop system
-  {
-    my %unops = (-ident => '_expand_ident', -value => '_expand_value');
-    foreach my $name (keys %unops) {
-      $opt{expand}{$name} = $unops{$name};
-      my ($op) = $name =~ /^-(.*)$/;
-      $opt{expand_op}{$op} = sub {
-        my ($self, $op, $arg, $k) = @_;
-        return $self->_expand_expr_hashpair_cmp(
-          $k, { "-${op}" => $arg }
-        );
-      };
-    }
-  }
-
   $opt{render} = {
-    (map +("-$_", "_render_$_"), qw(op func bind ident literal list)),
+    (map +($_, "_render_$_"), qw(op func bind ident literal row)),
     %{$opt{render}||{}}
   };
 
   $opt{render_op} = {
-    (map +($_ => '_render_op_between'), 'between', 'not between'),
-    (map +($_ => '_render_op_in'), 'in', 'not in'),
+    (map +($_ => '_render_op_between'), 'between', 'not_between'),
+    (map +($_ => '_render_op_in'), 'in', 'not_in'),
     (map +($_ => '_render_unop_postfix'),
-      'is null', 'is not null', 'asc', 'desc',
+      'is_null', 'is_not_null', 'asc', 'desc',
     ),
-    (not => '_render_op_not'),
+    (not => '_render_unop_paren'),
     (map +($_ => '_render_op_andor'), qw(and or)),
+    ',' => '_render_op_multop',
   };
 
   return bless \%opt, $class;
@@ -269,17 +265,50 @@ sub insert {
   my $data    = shift || return;
   my $options = shift;
 
-  my $method       = $self->_METHOD_FOR_refkind("_insert", $data);
-  my ($sql, @bind) = $self->$method($data);
-  $sql = join " ", $self->_sqlcase('insert into'), $table, $sql;
+  my $fields;
+
+  my ($f_aqt, $v_aqt) = $self->_expand_insert_values($data);
+
+  my @parts = ([ $self->_sqlcase('insert into').' '.$table ]);
+  push @parts, [ $self->render_aqt($f_aqt) ] if $f_aqt;
+  push @parts, [ $self->render_aqt($v_aqt) ];
+  $parts[-1][0] =~ s/^/VALUES /;
 
   if ($options->{returning}) {
-    my ($s, @b) = $self->_insert_returning($options);
-    $sql .= $s;
-    push @bind, @b;
+    push @parts, [ $self->_insert_returning($options) ];
   }
 
-  return wantarray ? ($sql, @bind) : $sql;
+  return $self->_join_parts(' ', @parts);
+}
+
+sub _expand_insert_values {
+  my ($self, $data) = @_;
+  if (is_literal_value($data)) {
+    (undef, $self->expand_expr($data));
+  } else {
+    my ($fields, $values) = (
+      ref($data) eq 'HASH' ?
+        ([ sort keys %$data ], [ @{$data}{sort keys %$data} ])
+        : ([], $data)
+    );
+
+    # no names (arrayref) means can't generate bindtype
+    !($fields) && $self->{bindtype} eq 'columns'
+      && belch "can't do 'columns' bindtype when called with arrayref";
+
+    +(
+      (@$fields
+        ? $self->expand_expr({ -row => $fields }, -ident)
+        : undef
+      ),
+      +{ -row => [
+        map {
+         local our $Cur_Col_Meta = $fields->[$_];
+         $self->_expand_insert_value($values->[$_])
+         } 0..$#$values
+      ] },
+    );
+  }
 }
 
 # So that subclasses can override INSERT ... RETURNING separately from
@@ -292,87 +321,21 @@ sub _returning {
   my $f = $options->{returning};
 
   my ($sql, @bind) = $self->render_aqt(
-    $self->_expand_maybe_list_expr($f, undef, -ident)
+    $self->_expand_maybe_list_expr($f, -ident)
   );
   return wantarray
     ? $self->_sqlcase(' returning ') . $sql
     : ($self->_sqlcase(' returning ').$sql, @bind);
 }
 
-sub _insert_HASHREF { # explicit list of fields and then values
-  my ($self, $data) = @_;
-
-  my @fields = sort keys %$data;
-
-  my ($sql, @bind) = $self->_insert_values($data);
-
-  # assemble SQL
-  $_ = $self->_quote($_) foreach @fields;
-  $sql = "( ".join(", ", @fields).") ".$sql;
-
-  return ($sql, @bind);
-}
-
-sub _insert_ARRAYREF { # just generate values(?,?) part (no list of fields)
-  my ($self, $data) = @_;
-
-  # no names (arrayref) so can't generate bindtype
-  $self->{bindtype} ne 'columns'
-    or belch "can't do 'columns' bindtype when called with arrayref";
-
-  my (@values, @all_bind);
-  foreach my $value (@$data) {
-    my ($values, @bind) = $self->_insert_value(undef, $value);
-    push @values, $values;
-    push @all_bind, @bind;
-  }
-  my $sql = $self->_sqlcase('values')." ( ".join(", ", @values)." )";
-  return ($sql, @all_bind);
-}
-
-sub _insert_ARRAYREFREF { # literal SQL with bind
-  my ($self, $data) = @_;
-
-  my ($sql, @bind) = @${$data};
-  $self->_assert_bindval_matches_bindtype(@bind);
-
-  return ($sql, @bind);
-}
-
-
-sub _insert_SCALARREF { # literal SQL without bind
-  my ($self, $data) = @_;
-
-  return ($$data);
-}
-
-sub _insert_values {
-  my ($self, $data) = @_;
-
-  my (@values, @all_bind);
-  foreach my $column (sort keys %$data) {
-    my ($values, @bind) = $self->_insert_value($column, $data->{$column});
-    push @values, $values;
-    push @all_bind, @bind;
-  }
-  my $sql = $self->_sqlcase('values')." ( ".join(", ", @values)." )";
-  return ($sql, @all_bind);
-}
-
-sub _insert_value {
-  my ($self, $column, $v) = @_;
-
-  return $self->render_aqt(
-    $self->_expand_insert_value($column, $v)
-  );
-}
-
 sub _expand_insert_value {
-  my ($self, $column, $v) = @_;
+  my ($self, $v) = @_;
+
+  my $k = our $Cur_Col_Meta;
 
   if (ref($v) eq 'ARRAY') {
     if ($self->{array_datatypes}) {
-      return +{ -bind => [ $column, $v ] };
+      return +{ -bind => [ $k, $v ] };
     }
     my ($sql, @bind) = @$v;
     $self->_assert_bindval_matches_bindtype(@bind);
@@ -381,13 +344,12 @@ sub _expand_insert_value {
   if (ref($v) eq 'HASH') {
     if (grep !/^-/, keys %$v) {
       belch "HASH ref as bind value in insert is not supported";
-      return +{ -bind => [ $column, $v ] };
+      return +{ -bind => [ $k, $v ] };
     }
   }
   if (!defined($v)) {
-    return +{ -bind => [ $column, undef ] };
+    return +{ -bind => [ $k, undef ] };
   }
-  local our $Cur_Col_Meta = $column;
   return $self->expand_expr($v);
 }
 
@@ -494,7 +456,7 @@ sub _select_fields {
   my ($self, $fields) = @_;
   return $fields unless ref($fields);
   return $self->render_aqt(
-    $self->_expand_maybe_list_expr($fields, undef, '-ident')
+    $self->_expand_maybe_list_expr($fields, '-ident')
   );
 }
 
@@ -567,6 +529,7 @@ sub render_aqt {
   my ($self, $aqt) = @_;
   my ($k, $v, @rest) = %$aqt;
   die "No" if @rest;
+  die "Not a node type: $k" unless $k =~ s/^-//;
   if (my $meth = $self->{render}{$k}) {
     return $self->$meth($v);
   }
@@ -574,8 +537,17 @@ sub render_aqt {
 }
 
 sub render_expr {
-  my ($self, $expr) = @_;
-  $self->render_aqt($self->expand_expr($expr));
+  my ($self, $expr, $default_scalar_to) = @_;
+  my ($sql, @bind) = $self->render_aqt(
+    $self->expand_expr($expr, $default_scalar_to)
+  );
+  return (wantarray ? ($sql, @bind) : $sql);
+}
+
+sub _normalize_op {
+  my ($self, $raw) = @_;
+  s/^-(?=.)//, s/\s+/_/g for my $op = lc $raw;
+  $op;
 }
 
 sub _expand_expr {
@@ -585,32 +557,28 @@ sub _expand_expr {
   if (ref($expr) eq 'HASH') {
     return undef unless my $kc = keys %$expr;
     if ($kc > 1) {
-      return $self->_expand_op_andor(-and => $expr);
+      return $self->_expand_op_andor(and => $expr);
     }
     my ($key, $value) = %$expr;
     if ($key =~ /^-/ and $key =~ s/ [_\s]? \d+ $//x ) {
       belch 'Use of [and|or|nest]_N modifiers is deprecated and will be removed in SQLA v2.0. '
           . "You probably wanted ...-and => [ $key => COND1, $key => COND2 ... ]";
     }
-    if (my $exp = $self->{expand}{$key}) {
-      return $self->$exp($key, $value);
-    }
-    return $self->_expand_expr_hashpair($key, $value);
+    return $self->_expand_hashpair($key, $value);
   }
   if (ref($expr) eq 'ARRAY') {
-    my $logic = '-'.lc($self->{logic});
-    return $self->_expand_op_andor($logic, $expr);
+    return $self->_expand_op_andor(lc($self->{logic}), $expr);
   }
   if (my $literal = is_literal_value($expr)) {
     return +{ -literal => $literal };
   }
   if (!ref($expr) or Scalar::Util::blessed($expr)) {
-    return $self->_expand_expr_scalar($expr);
+    return $self->_expand_scalar($expr);
   }
   die "notreached";
 }
 
-sub _expand_expr_hashpair {
+sub _expand_hashpair {
   my ($self, $k, $v) = @_;
   unless (defined($k) and length($k)) {
     if (defined($k) and my $literal = is_literal_value($v)) {
@@ -620,12 +588,17 @@ sub _expand_expr_hashpair {
     puke "Supplying an empty left hand side argument is not supported";
   }
   if ($k =~ /^-/) {
-    return $self->_expand_expr_hashpair_op($k, $v);
+    return $self->_expand_hashpair_op($k, $v);
+  } elsif ($k =~ /^[^\w]/i) {
+    my ($lhs, @rhs) = @$v;
+    return $self->_expand_op(
+      -op, [ $k, $self->expand_expr($lhs, -ident), @rhs ]
+    );
   }
-  return $self->_expand_expr_hashpair_ident($k, $v);
+  return $self->_expand_hashpair_ident($k, $v);
 }
 
-sub _expand_expr_hashpair_ident {
+sub _expand_hashpair_ident {
   my ($self, $k, $v) = @_;
 
   local our $Cur_Col_Meta = $k;
@@ -633,25 +606,25 @@ sub _expand_expr_hashpair_ident {
   # hash with multiple or no elements is andor
 
   if (ref($v) eq 'HASH' and keys %$v != 1) {
-    return $self->_expand_op_andor(-and => $v, $k);
+    return $self->_expand_op_andor(and => $v, $k);
   }
 
   # undef needs to be re-sent with cmp to achieve IS/IS NOT NULL
 
   if (is_undef_value($v)) {
-    return $self->_expand_expr_hashpair_cmp($k => undef);
+    return $self->_expand_hashpair_cmp($k => undef);
   }
 
   # scalars and objects get expanded as whatever requested or values
 
   if (!ref($v) or Scalar::Util::blessed($v)) {
-    return $self->_expand_expr_hashpair_scalar($k, $v);
+    return $self->_expand_hashpair_scalar($k, $v);
   }
 
   # single key hashref is a hashtriple
 
   if (ref($v) eq 'HASH') {
-    return $self->_expand_expr_hashtriple($k, %$v);
+    return $self->_expand_hashtriple($k, %$v);
   }
 
   # arrayref needs re-engineering over the elements
@@ -661,8 +634,8 @@ sub _expand_expr_hashpair_ident {
     $self->_debug("ARRAY($k) means distribute over elements");
     my $logic = lc(
       $v->[0] =~ /^-(and|or)$/i
-        ? shift(@{$v = [ @$v ]})
-        : '-'.lc($self->{logic} || 'OR')
+        ? (shift(@{$v = [ @$v ]}), $1)
+        : lc($self->{logic} || 'OR')
     );
     return $self->_expand_op_andor(
       $logic => $v, $k
@@ -685,44 +658,55 @@ sub _expand_expr_hashpair_ident {
   die "notreached";
 }
 
-sub _expand_expr_scalar {
+sub _expand_scalar {
   my ($self, $expr) = @_;
 
   return $self->_expand_expr({ (our $Default_Scalar_To) => $expr });
 }
 
-sub _expand_expr_hashpair_scalar {
+sub _expand_hashpair_scalar {
   my ($self, $k, $v) = @_;
 
-  return $self->_expand_expr_hashpair_cmp(
-    $k, $self->_expand_expr_scalar($v),
+  return $self->_expand_hashpair_cmp(
+    $k, $self->_expand_scalar($v),
   );
 }
 
-sub _expand_expr_hashpair_op {
+sub _expand_hashpair_op {
   my ($self, $k, $v) = @_;
 
-  my $op = $k;
-  $op =~ s/^-// if length($op) > 1;
-  $self->_assert_pass_injection_guard($op);
+  $self->_assert_pass_injection_guard($k =~ /\A-(.*)\Z/s);
+
+  my $op = $self->_normalize_op($k);
+
+  if (my $exp = $self->{expand}{$op}) {
+    return $self->$exp($op, $v);
+  }
 
   # Ops prefixed with -not_ get converted
 
-  if (my ($rest) = $op =~/^not[_ ](.*)$/) {
+  if (my ($rest) = $op =~/^not_(.*)$/) {
     return +{ -op => [
       'not',
       $self->_expand_expr({ "-${rest}", $v })
-  ] };
+    ] };
   }
 
-
   { # Old SQLA compat
 
+    my $op = join(' ', split '_', $op);
+
     # the old special op system requires illegality for top-level use
 
     if (
       (our $Expand_Depth) == 1
-      and List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}
+      and (
+        List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}
+        or (
+          $self->{disable_old_special_ops}
+          and List::Util::first { $op =~ $_->{regex} } @BUILTIN_SPECIAL_OPS
+        )
+      )
     ) {
       puke "Illegal use of top-level '-$op'"
     }
@@ -737,7 +721,7 @@ sub _expand_expr_hashpair_op {
   # an explicit node type is currently assumed to be expanded (this is almost
   # certainly wrong and there should be expansion anyway)
 
-  if ($self->{render}{$k}) {
+  if ($self->{render}{$op}) {
     return { $k => $v };
   }
 
@@ -754,7 +738,11 @@ sub _expand_expr_hashpair_op {
         return +{ -op => [ $func, $self->_expand_expr($v) ] };
       }
     }
-    return +{ -func => [ $func, $self->_expand_expr($v) ] };
+    return +{ -func => [
+      $func,
+      map $self->_expand_expr($_),
+        ref($v) eq 'ARRAY' ? @$v : $v
+    ] };
   }
 
   # scalars and literals get simply expanded
@@ -766,19 +754,20 @@ sub _expand_expr_hashpair_op {
   die "notreached";
 }
 
-sub _expand_expr_hashpair_cmp {
+sub _expand_hashpair_cmp {
   my ($self, $k, $v) = @_;
-  $self->_expand_expr_hashtriple($k, $self->{cmp}, $v);
+  $self->_expand_hashtriple($k, $self->{cmp}, $v);
 }
 
-sub _expand_expr_hashtriple {
+sub _expand_hashtriple {
   my ($self, $k, $vk, $vv) = @_;
 
   my $ik = $self->_expand_ident(-ident => $k);
 
-  my $op = join ' ', split '_', (map lc, $vk =~ /^-?(.*)$/)[0];
+  my $op = $self->_normalize_op($vk);
   $self->_assert_pass_injection_guard($op);
-  if ($op =~ s/ [_\s]? \d+ $//x ) {
+
+  if ($op =~ s/ _? \d+ $//x ) {
     return $self->_expand_expr($k, { $vk, $vv });
   }
   if (my $x = $self->{expand_op}{$op}) {
@@ -786,6 +775,9 @@ sub _expand_expr_hashtriple {
     return $self->$x($op, $vv, $k);
   }
   { # Old SQLA compat
+
+    my $op = join(' ', split '_', $op);
+
     if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}) {
       return { -op => [ $op, $ik, $vv ] };
     }
@@ -800,14 +792,14 @@ sub _expand_expr_hashtriple {
   if (ref($vv) eq 'ARRAY') {
     my @raw = @$vv;
     my $logic = (defined($raw[0]) and $raw[0] =~ /^-(and|or)$/i)
-      ? shift @raw : '-or';
+      ? (shift(@raw), $1) : 'or';
     my @values = map +{ $vk => $_ }, @raw;
     if (
       $op =~ $self->{inequality_op}
       or $op =~ $self->{not_like_op}
     ) {
-      if (lc($logic) eq '-or' and @values > 1) {
-        belch "A multi-element arrayref as an argument to the inequality op '${\uc($op)}' "
+      if (lc($logic) eq 'or' and @values > 1) {
+        belch "A multi-element arrayref as an argument to the inequality op '${\uc(join ' ', split '_', $op)}' "
             . 'is technically equivalent to an always-true 1=1 (you probably wanted '
             . "to say ...{ \$inequality_op => [ -and => \@values ] }... instead)"
         ;
@@ -828,7 +820,7 @@ sub _expand_expr_hashtriple {
       "unexpected operator '%s' with undef operand",
     ) ? 'is' : 'is not');
 
-    return $self->_expand_expr_hashpair($k => { $is, undef });
+    return $self->_expand_hashpair($k => { $is, undef });
   }
   local our $Cur_Col_Meta = $k;
   return +{ -op => [
@@ -839,7 +831,10 @@ sub _expand_expr_hashtriple {
 }
 
 sub _dwim_op_to_is {
-  my ($self, $op, $empty, $fail) = @_;
+  my ($self, $raw, $empty, $fail) = @_;
+
+  my $op = $self->_normalize_op($raw);
+
   if ($op =~ /^not$/i) {
     return 0;
   }
@@ -847,23 +842,32 @@ sub _dwim_op_to_is {
     return 1;
   }
   if ($op =~ $self->{like_op}) {
-    belch(sprintf $empty, uc($op));
+    belch(sprintf $empty, uc(join ' ', split '_', $op));
     return 1;
   }
   if ($op =~ $self->{inequality_op}) {
     return 0;
   }
   if ($op =~ $self->{not_like_op}) {
-    belch(sprintf $empty, uc($op));
+    belch(sprintf $empty, uc(join ' ', split '_', $op));
     return 0;
   }
   puke(sprintf $fail, $op);
 }
 
+sub _expand_func {
+  my ($self, undef, $args) = @_;
+  my ($func, @args) = @$args;
+  return { -func => [ $func, map $self->expand_expr($_), @args ] };
+}
+
 sub _expand_ident {
-  my ($self, $op, $body) = @_;
+  my ($self, undef, $body, $k) = @_;
+  return $self->_expand_hashpair_cmp(
+    $k, { -ident => $body }
+  ) if defined($k);
   unless (defined($body) or (ref($body) and ref($body) eq 'ARRAY')) {
-    puke "$op requires a single plain scalar argument (a quotable identifier) or an arrayref of identifier parts";
+    puke "-ident requires a single plain scalar argument (a quotable identifier) or an arrayref of identifier parts";
   }
   my @parts = map split(/\Q${\($self->{name_sep}||'.')}\E/, $_),
                 ref($body) ? @$body : $body;
@@ -875,6 +879,9 @@ sub _expand_ident {
 }
 
 sub _expand_value {
+  return $_[0]->_expand_hashpair_cmp(
+    $_[3], { -value => $_[2] },
+  ) if defined($_[3]);
   +{ -bind => [ our $Cur_Col_Meta, $_[2] ] };
 }
 
@@ -882,6 +889,20 @@ sub _expand_not {
   +{ -op => [ 'not', $_[0]->_expand_expr($_[2]) ] };
 }
 
+sub _expand_row {
+  my ($self, undef, $args) = @_;
+  +{ -row => [ map $self->expand_expr($_), @$args ] };
+}
+
+sub _expand_op {
+  my ($self, undef, $args) = @_;
+  my ($op, @opargs) = @$args;
+  if (my $exp = $self->{expand_op}{$op}) {
+    return $self->$exp($op, \@opargs);
+  }
+  +{ -op => [ $op, map $self->expand_expr($_), @opargs ] };
+}
+
 sub _expand_bool {
   my ($self, undef, $v) = @_;
   if (ref($v)) {
@@ -892,7 +913,7 @@ sub _expand_bool {
 }
 
 sub _expand_op_andor {
-  my ($self, $logic, $v, $k) = @_;
+  my ($self, $logop, $v, $k) = @_;
   if (defined $k) {
     $v = [ map +{ $k, $_ },
              (ref($v) eq 'HASH')
@@ -900,7 +921,6 @@ sub _expand_op_andor {
               : @$v,
          ];
   }
-  my ($logop) = $logic =~ /^-?(.*)$/;
   if (ref($v) eq 'HASH') {
     return undef unless keys %$v;
     return +{ -op => [
@@ -947,6 +967,7 @@ sub _expand_op_andor {
 
 sub _expand_op_is {
   my ($self, $op, $vv, $k) = @_;
+  ($k, $vv) = @$vv unless defined $k;
   puke "$op can only take undef as argument"
     if defined($vv)
        and not (
@@ -954,12 +975,12 @@ sub _expand_op_is {
          and exists($vv->{-value})
          and !defined($vv->{-value})
        );
-  return +{ -op => [ $op.' null', $self->_expand_ident(-ident => $k) ] };
+  return +{ -op => [ $op.'_null', $self->expand_expr($k, -ident) ] };
 }
 
 sub _expand_between {
   my ($self, $op, $vv, $k) = @_;
-  local our $Cur_Col_Meta = $k;
+  $k = shift @{$vv = [ @$vv ]} unless defined $k;
   my @rhs = map $self->_expand_expr($_),
               ref($vv) eq 'ARRAY' ? @$vv : $vv;
   unless (
@@ -971,19 +992,20 @@ sub _expand_between {
   }
   return +{ -op => [
     $op,
-    $self->_expand_ident(-ident => $k),
+    $self->expand_expr(ref($k) ? $k : { -ident => $k }),
     @rhs
   ] }
 }
 
 sub _expand_in {
   my ($self, $op, $vv, $k) = @_;
+  $k = shift @{$vv = [ @$vv ]} unless defined $k;
   if (my $literal = is_literal_value($vv)) {
     my ($sql, @bind) = @$literal;
     my $opened_sql = $self->_open_outer_paren($sql);
     return +{ -op => [
-      $op, $self->_expand_ident(-ident => $k),
-      [ { -literal => [ $opened_sql, @bind ] } ]
+      $op, $self->expand_expr($k, -ident),
+      { -literal => [ $opened_sql, @bind ] }
     ] };
   }
   my $undef_err =
@@ -994,24 +1016,23 @@ sub _expand_in {
   ;
   puke("Argument passed to the '${\uc($op)}' operator can not be undefined")
     if !defined($vv);
-  my @rhs = map $self->_expand_expr($_),
-              map { ref($_) ? $_ : { -bind => [ $k, $_ ] } }
+  my @rhs = map $self->expand_expr($_, -value),
               map { defined($_) ? $_: puke($undef_err) }
                 (ref($vv) eq 'ARRAY' ? @$vv : $vv);
   return $self->${\($op =~ /^not/ ? 'sqltrue' : 'sqlfalse')} unless @rhs;
 
   return +{ -op => [
     $op,
-    $self->_expand_ident(-ident => $k),
-    \@rhs
+    $self->expand_expr($k, -ident),
+    @rhs
   ] };
 }
 
 sub _expand_nest {
-  my ($self, $op, $v) = @_;
+  my ($self, undef, $v) = @_;
   # DBIx::Class requires a nest warning to be emitted once but the private
   # method it overrode to do so no longer exists
-  if ($self->{is_dbic_sqlmaker}) {
+  if ($self->{warn_once_on_nest}) {
     unless (our $Nest_Warned) {
       belch(
         "-nest in search conditions is deprecated, you most probably wanted:\n"
@@ -1023,6 +1044,11 @@ sub _expand_nest {
   return $self->_expand_expr($v);
 }
 
+sub _expand_bind {
+  my ($self, undef, $bind) = @_;
+  return { -bind => $bind };
+}
+
 sub _recurse_where {
   my ($self, $where, $logic) = @_;
 
@@ -1052,10 +1078,10 @@ sub _render_ident {
   return $self->_convert($self->_quote($ident));
 }
 
-sub _render_list {
-  my ($self, $list) = @_;
-  my @parts = grep length($_->[0]), map [ $self->render_aqt($_) ], @$list;
-  return join(', ', map $_->[0], @parts), map @{$_}[1..$#$_], @parts;
+sub _render_row {
+  my ($self, $values) = @_;
+  my ($sql, @bind) = $self->_render_op([ ',', @$values ]);
+  return "($sql)", @bind;  
 }
 
 sub _render_func {
@@ -1090,18 +1116,22 @@ sub _render_op {
 
   { # Old SQLA compat
 
-    my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}};
-    if ($us and @args > 1) {
+    my $op = join(' ', split '_', $op);
+
+    my $ss = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}};
+    if ($ss and @args > 1) {
       puke "Special op '${op}' requires first value to be identifier"
         unless my ($ident) = map $_->{-ident}, grep ref($_) eq 'HASH', $args[0];
       my $k = join(($self->{name_sep}||'.'), @$ident);
       local our $Expand_Depth = 1;
-      return $self->${\($us->{handler})}($k, $op, $args[1]);
+      return $self->${\($ss->{handler})}($k, $op, $args[1]);
     }
     if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
       return $self->${\($us->{handler})}($op, $args[0]);
     }
-
+    if ($ss) {
+      return $self->_render_unop_paren($op, \@args);
+    }
   }
   if (@args == 1) {
     return $self->_render_unop_prefix($op, \@args);
@@ -1128,23 +1158,27 @@ sub _render_op_between {
   };
   my ($lhsql, @lhbind) = $self->render_aqt($left);
   return (
-    join(' ', '(', $lhsql, $self->_sqlcase($op), $rhsql, ')'),
+    join(' ',
+      '(', $lhsql,
+       $self->_sqlcase(join ' ', split '_', $op),
+      $rhsql, ')'
+    ),
     @lhbind, @rhbind
   );
 }
 
 sub _render_op_in {
   my ($self, $op, $args) = @_;
-  my ($lhs, $rhs) = @$args;
+  my ($lhs, @rhs) = @$args;
   my @in_bind;
   my @in_sql = map {
     my ($sql, @bind) = $self->render_aqt($_);
     push @in_bind, @bind;
     $sql;
-  } @$rhs;
+  } @rhs;
   my ($lhsql, @lbind) = $self->render_aqt($lhs);
   return (
-    $lhsql.' '.$self->_sqlcase($op).' ( '
+    $lhsql.' '.$self->_sqlcase(join ' ', split '_', $op).' ( '
     .join(', ', @in_sql)
     .' )',
     @lbind, @in_bind
@@ -1156,7 +1190,7 @@ sub _render_op_andor {
   my @parts = grep length($_->[0]), map [ $self->render_aqt($_) ], @$args;
   return '' unless @parts;
   return @{$parts[0]} if @parts == 1;
-  my ($sql, @bind) = $self->_render_op_multop($op, $args);
+  my ($sql, @bind) = $self->_join_parts(' '.$self->_sqlcase($op).' ', @parts);
   return '( '.$sql.' )', @bind;
 }
 
@@ -1165,16 +1199,22 @@ sub _render_op_multop {
   my @parts = grep length($_->[0]), map [ $self->render_aqt($_) ], @$args;
   return '' unless @parts;
   return @{$parts[0]} if @parts == 1;
-  my ($final_sql) = join(
-    ' '.$self->_sqlcase($op).' ',
-    map $_->[0], @parts
-  );
+  my $join = ($op eq ','
+                ? ', '
+                :  ' '.$self->_sqlcase(join ' ', split '_', $op).' '
+             );
+  return $self->_join_parts($join, @parts);
+}
+
+sub _join_parts {
+  my ($self, $join, @parts) = @_;
   return (
-    $final_sql,
-    map @{$_}[1..$#$_], @parts
+    join($join, map $_->[0], @parts),
+    (wantarray ? (map @{$_}[1..$#$_], @parts) : ()),
   );
 }
-sub _render_op_not {
+
+sub _render_unop_paren {
   my ($self, $op, $v) = @_;
   my ($sql, @bind) = $self->_render_unop_prefix($op, $v);
   return "(${sql})", @bind;
@@ -1183,14 +1223,15 @@ sub _render_op_not {
 sub _render_unop_prefix {
   my ($self, $op, $v) = @_;
   my ($expr_sql, @bind) = $self->render_aqt($v->[0]);
-  my $op_sql = $self->_sqlcase($op);
+
+  my $op_sql = $self->_sqlcase($op); # join ' ', split '_', $op);
   return ("${op_sql} ${expr_sql}", @bind);
 }
 
 sub _render_unop_postfix {
   my ($self, $op, $v) = @_;
   my ($expr_sql, @bind) = $self->render_aqt($v->[0]);
-  my $op_sql = $self->_sqlcase($op);
+  my $op_sql = $self->_sqlcase(join ' ', split '_', $op);
   return ($expr_sql.' '.$op_sql, @bind);
 }
 
@@ -1234,6 +1275,9 @@ sub _expand_order_by {
 
   return unless defined($arg) and not (ref($arg) eq 'ARRAY' and !@$arg);
 
+  return $self->_expand_maybe_list_expr($arg)
+    if ref($arg) eq 'HASH' and ($arg->{-op}||[''])->[0] eq ',';
+
   my $expander = sub {
     my ($self, $dir, $expr) = @_;
     my @to_expand = ref($expr) eq 'ARRAY' ? @$expr : $expr;
@@ -1251,10 +1295,12 @@ sub _expand_order_by {
               ),
                 map $self->expand_expr($_, -ident),
                 map ref($_) eq 'ARRAY' ? @$_ : $_, @to_expand;
-    return (@exp > 1 ? { -list => \@exp } : $exp[0]);
+    return undef unless @exp;
+    return undef if @exp == 1 and not defined($exp[0]);
+    return +{ -op => [ ',', @exp ] };
   };
 
-  local @{$self->{expand}}{qw(-asc -desc)} = (($expander) x 2);
+  local @{$self->{expand}}{qw(asc desc)} = (($expander) x 2);
 
   return $self->$expander(undef, $arg);
 }
@@ -1290,8 +1336,9 @@ sub _chunkify_order_by {
     if $expanded->{-ident} or @{$expanded->{-literal}||[]} == 1;
 
   for ($expanded) {
-    if (ref() eq 'HASH' and my $l = $_->{-list}) {
-      return map $self->_chunkify_order_by($_), @$l;
+    if (ref() eq 'HASH' and $_->{-op} and $_->{-op}[0] eq ',') {
+      my ($comma, @list) = @{$_->{-op}};
+      return map $self->_chunkify_order_by($_), @list;
     }
     return [ $self->render_aqt($_) ];
   }
@@ -1305,7 +1352,7 @@ sub _table  {
   my $self = shift;
   my $from = shift;
   ($self->render_aqt(
-    $self->_expand_maybe_list_expr($from, undef, -ident)
+    $self->_expand_maybe_list_expr($from, -ident)
   ))[0];
 }
 
@@ -1315,18 +1362,15 @@ sub _table  {
 #======================================================================
 
 sub _expand_maybe_list_expr {
-  my ($self, $expr, $logic, $default) = @_;
-  my $e = do {
-    if (ref($expr) eq 'ARRAY') {
-      return { -list => [
-        map $self->expand_expr($_, $default), @$expr
-      ] } if @$expr > 1;
-      $expr->[0]
-    } else {
-      $expr
-    }
-  };
-  return $self->expand_expr($e, $default);
+  my ($self, $expr, $default) = @_;
+  return { -op => [
+    ',', map $self->expand_expr($_, $default), 
+          @{$expr->{-op}}[1..$#{$expr->{-op}}]
+  ] } if ref($expr) eq 'HASH' and ($expr->{-op}||[''])->[0] eq ',';
+  return +{ -op => [ ',',
+    map $self->expand_expr($_, $default),
+      ref($expr) eq 'ARRAY' ? @$expr : $expr
+  ] };
 }
 
 # highly optimized, as it's called way too often