join support
[scpubgit/Q-Branch.git] / lib / SQL / Abstract.pm
index 077fa43..b06f0fa 100644 (file)
@@ -38,8 +38,10 @@ our $AUTOLOAD;
 # See section WHERE: BUILTIN SPECIAL OPERATORS below for implementation
 my @BUILTIN_SPECIAL_OPS = (
   {regex => qr/^ (?: not \s )? between $/ix, handler => sub { die "NOPE" }},
-  {regex => qr/^ (?: not \s )? in      $/ix, handler => sub { die "NOPE" }},
   {regex => qr/^ is (?: \s+ not )?     $/ix, handler => sub { die "NOPE" }},
+  {regex => qr/^ (?: not \s )? in      $/ix, handler => sub { die "NOPE" }},
+  {regex => qr/^ ident                 $/ix, handler => sub { die "NOPE" }},
+  {regex => qr/^ value                 $/ix, handler => sub { die "NOPE" }},
 );
 
 #======================================================================
@@ -68,6 +70,15 @@ sub is_literal_value ($) {
   : undef;
 }
 
+sub is_undef_value ($) {
+  !defined($_[0])
+  or (
+    ref($_[0]) eq 'HASH'
+    and exists $_[0]->{-value}
+    and not defined $_[0]->{-value}
+  );
+}
+
 # FIXME XSify - this can be done so much more efficiently
 sub is_plain_value ($) {
   no strict 'refs';
@@ -147,8 +158,8 @@ sub new {
   $opt{equality_op}   = qr/^( \Q$opt{cmp}\E | \= )$/ix;
   $opt{inequality_op} = qr/^( != | <> )$/ix;
 
-  $opt{like_op}       = qr/^ (is\s+)? r?like $/xi;
-  $opt{not_like_op}   = qr/^ (is\s+)? not \s+ r?like $/xi;
+  $opt{like_op}       = qr/^ (is_)?r?like $/xi;
+  $opt{not_like_op}   = qr/^ (is_)?not_r?like $/xi;
 
   # SQL booleans
   $opt{sqltrue}  ||= '1=1';
@@ -157,14 +168,9 @@ sub new {
   # special operators
   $opt{special_ops} ||= [];
 
-  # regexes are applied in order, thus push after user-defines
-  push @{$opt{special_ops}}, @BUILTIN_SPECIAL_OPS;
-
   if ($class->isa('DBIx::Class::SQLMaker')) {
-    push @{$opt{special_ops}}, our $DBIC_Compat_Op ||= {
-      regex => qr/^(?:ident|value)$/i, handler => sub { die "NOPE" }
-    };
-    $opt{is_dbic_sqlmaker} = 1;
+    $opt{warn_once_on_nest} = 1;
+    $opt{disable_old_special_ops} = 1;
   }
 
   # unary operators
@@ -187,53 +193,50 @@ sub new {
   $opt{expand_unary} = {};
 
   $opt{expand} = {
-    -not => '_expand_not',
-    -bool => '_expand_bool',
-    -and => '_expand_op_andor',
-    -or => '_expand_op_andor',
-    -nest => '_expand_nest',
+    not => '_expand_not',
+    bool => '_expand_bool',
+    and => '_expand_op_andor',
+    or => '_expand_op_andor',
+    nest => '_expand_nest',
+    bind => '_expand_bind',
+    in => '_expand_in',
+    not_in => '_expand_in',
+    row => '_expand_row',
+    between => '_expand_between',
+    not_between => '_expand_between',
+    op => '_expand_op',
+    (map +($_ => '_expand_op_is'), ('is', 'is_not')),
+    ident => '_expand_ident',
+    value => '_expand_value',
+    func => '_expand_func',
   };
 
   $opt{expand_op} = {
     'between' => '_expand_between',
-    'not between' => '_expand_between',
+    'not_between' => '_expand_between',
     'in' => '_expand_in',
-    'not in' => '_expand_in',
+    'not_in' => '_expand_in',
     'nest' => '_expand_nest',
     (map +($_ => '_expand_op_andor'), ('and', 'or')),
-    (map +($_ => '_expand_op_is'), ('is', 'is not')),
+    (map +($_ => '_expand_op_is'), ('is', 'is_not')),
+    'ident' => '_expand_ident',
+    'value' => '_expand_value',
   };
 
-  # placeholder for _expand_unop system
-  {
-    my %unops = (-ident => '_expand_ident', -value => '_expand_value');
-    foreach my $name (keys %unops) {
-      $opt{expand}{$name} = $unops{$name};
-      my ($op) = $name =~ /^-(.*)$/;
-      $opt{expand_op}{$op} = sub {
-        my ($self, $op, $arg, $k) = @_;
-        return +{ -op => [
-          $self->{cmp},
-          $self->_expand_ident(-ident => $k),
-          $self->_expand_expr({ '-'.$op => $arg }),
-        ] };
-      };
-    }
-  }
-
   $opt{render} = {
-    (map +("-$_", "_render_$_"), qw(op func bind ident literal list)),
+    (map +($_, "_render_$_"), qw(op func bind ident literal row)),
     %{$opt{render}||{}}
   };
 
   $opt{render_op} = {
-    (map +($_ => '_render_op_between'), 'between', 'not between'),
-    (map +($_ => '_render_op_in'), 'in', 'not in'),
+    (map +($_ => '_render_op_between'), 'between', 'not_between'),
+    (map +($_ => '_render_op_in'), 'in', 'not_in'),
     (map +($_ => '_render_unop_postfix'),
-      'is null', 'is not null', 'asc', 'desc',
+      'is_null', 'is_not_null', 'asc', 'desc',
     ),
-    (not => '_render_op_not'),
+    (not => '_render_unop_paren'),
     (map +($_ => '_render_op_andor'), qw(and or)),
+    ',' => '_render_op_multop',
   };
 
   return bless \%opt, $class;
@@ -262,17 +265,50 @@ sub insert {
   my $data    = shift || return;
   my $options = shift;
 
-  my $method       = $self->_METHOD_FOR_refkind("_insert", $data);
-  my ($sql, @bind) = $self->$method($data);
-  $sql = join " ", $self->_sqlcase('insert into'), $table, $sql;
+  my $fields;
+
+  my ($f_aqt, $v_aqt) = $self->_expand_insert_values($data);
+
+  my @parts = ([ $self->_sqlcase('insert into').' '.$table ]);
+  push @parts, [ $self->render_aqt($f_aqt) ] if $f_aqt;
+  push @parts, [ $self->render_aqt($v_aqt) ];
+  $parts[-1][0] =~ s/^/VALUES /;
 
   if ($options->{returning}) {
-    my ($s, @b) = $self->_insert_returning($options);
-    $sql .= $s;
-    push @bind, @b;
+    push @parts, [ $self->_insert_returning($options) ];
   }
 
-  return wantarray ? ($sql, @bind) : $sql;
+  return $self->_join_parts(' ', @parts);
+}
+
+sub _expand_insert_values {
+  my ($self, $data) = @_;
+  if (is_literal_value($data)) {
+    (undef, $self->expand_expr($data));
+  } else {
+    my ($fields, $values) = (
+      ref($data) eq 'HASH' ?
+        ([ sort keys %$data ], [ @{$data}{sort keys %$data} ])
+        : ([], $data)
+    );
+
+    # no names (arrayref) means can't generate bindtype
+    !($fields) && $self->{bindtype} eq 'columns'
+      && belch "can't do 'columns' bindtype when called with arrayref";
+
+    +(
+      (@$fields
+        ? $self->expand_expr({ -row => $fields }, -ident)
+        : undef
+      ),
+      +{ -row => [
+        map {
+         local our $Cur_Col_Meta = $fields->[$_];
+         $self->_expand_insert_value($values->[$_])
+         } 0..$#$values
+      ] },
+    );
+  }
 }
 
 # So that subclasses can override INSERT ... RETURNING separately from
@@ -285,87 +321,21 @@ sub _returning {
   my $f = $options->{returning};
 
   my ($sql, @bind) = $self->render_aqt(
-    $self->_expand_maybe_list_expr($f, undef, -ident)
+    $self->_expand_maybe_list_expr($f, -ident)
   );
   return wantarray
     ? $self->_sqlcase(' returning ') . $sql
     : ($self->_sqlcase(' returning ').$sql, @bind);
 }
 
-sub _insert_HASHREF { # explicit list of fields and then values
-  my ($self, $data) = @_;
-
-  my @fields = sort keys %$data;
-
-  my ($sql, @bind) = $self->_insert_values($data);
-
-  # assemble SQL
-  $_ = $self->_quote($_) foreach @fields;
-  $sql = "( ".join(", ", @fields).") ".$sql;
-
-  return ($sql, @bind);
-}
-
-sub _insert_ARRAYREF { # just generate values(?,?) part (no list of fields)
-  my ($self, $data) = @_;
-
-  # no names (arrayref) so can't generate bindtype
-  $self->{bindtype} ne 'columns'
-    or belch "can't do 'columns' bindtype when called with arrayref";
-
-  my (@values, @all_bind);
-  foreach my $value (@$data) {
-    my ($values, @bind) = $self->_insert_value(undef, $value);
-    push @values, $values;
-    push @all_bind, @bind;
-  }
-  my $sql = $self->_sqlcase('values')." ( ".join(", ", @values)." )";
-  return ($sql, @all_bind);
-}
-
-sub _insert_ARRAYREFREF { # literal SQL with bind
-  my ($self, $data) = @_;
-
-  my ($sql, @bind) = @${$data};
-  $self->_assert_bindval_matches_bindtype(@bind);
-
-  return ($sql, @bind);
-}
-
-
-sub _insert_SCALARREF { # literal SQL without bind
-  my ($self, $data) = @_;
-
-  return ($$data);
-}
-
-sub _insert_values {
-  my ($self, $data) = @_;
-
-  my (@values, @all_bind);
-  foreach my $column (sort keys %$data) {
-    my ($values, @bind) = $self->_insert_value($column, $data->{$column});
-    push @values, $values;
-    push @all_bind, @bind;
-  }
-  my $sql = $self->_sqlcase('values')." ( ".join(", ", @values)." )";
-  return ($sql, @all_bind);
-}
-
-sub _insert_value {
-  my ($self, $column, $v) = @_;
-
-  return $self->render_aqt(
-    $self->_expand_insert_value($column, $v)
-  );
-}
-
 sub _expand_insert_value {
-  my ($self, $column, $v) = @_;
+  my ($self, $v) = @_;
+
+  my $k = our $Cur_Col_Meta;
 
   if (ref($v) eq 'ARRAY') {
     if ($self->{array_datatypes}) {
-      return +{ -bind => [ $column, $v ] };
+      return +{ -bind => [ $k, $v ] };
     }
     my ($sql, @bind) = @$v;
     $self->_assert_bindval_matches_bindtype(@bind);
@@ -374,13 +344,12 @@ sub _expand_insert_value {
   if (ref($v) eq 'HASH') {
     if (grep !/^-/, keys %$v) {
       belch "HASH ref as bind value in insert is not supported";
-      return +{ -bind => [ $column, $v ] };
+      return +{ -bind => [ $k, $v ] };
     }
   }
   if (!defined($v)) {
-    return +{ -bind => [ $column, undef ] };
+    return +{ -bind => [ $k, undef ] };
   }
-  local our $Cur_Col_Meta = $column;
   return $self->expand_expr($v);
 }
 
@@ -487,7 +456,7 @@ sub _select_fields {
   my ($self, $fields) = @_;
   return $fields unless ref($fields);
   return $self->render_aqt(
-    $self->_expand_maybe_list_expr($fields, undef, '-ident')
+    $self->_expand_maybe_list_expr($fields, '-ident')
   );
 }
 
@@ -548,6 +517,8 @@ sub where {
   return wantarray ? ($sql, @bind) : $sql;
 }
 
+{ our $Default_Scalar_To = -value }
+
 sub expand_expr {
   my ($self, $expr, $default_scalar_to) = @_;
   local our $Default_Scalar_To = $default_scalar_to if $default_scalar_to;
@@ -558,6 +529,7 @@ sub render_aqt {
   my ($self, $aqt) = @_;
   my ($k, $v, @rest) = %$aqt;
   die "No" if @rest;
+  die "Not a node type: $k" unless $k =~ s/^-//;
   if (my $meth = $self->{render}{$k}) {
     return $self->$meth($v);
   }
@@ -565,8 +537,17 @@ sub render_aqt {
 }
 
 sub render_expr {
-  my ($self, $expr) = @_;
-  $self->render_aqt($self->expand_expr($expr));
+  my ($self, $expr, $default_scalar_to) = @_;
+  my ($sql, @bind) = $self->render_aqt(
+    $self->expand_expr($expr, $default_scalar_to)
+  );
+  return (wantarray ? ($sql, @bind) : $sql);
+}
+
+sub _normalize_op {
+  my ($self, $raw) = @_;
+  s/^-(?=.)//, s/\s+/_/g for my $op = lc $raw;
+  $op;
 }
 
 sub _expand_expr {
@@ -576,35 +557,28 @@ sub _expand_expr {
   if (ref($expr) eq 'HASH') {
     return undef unless my $kc = keys %$expr;
     if ($kc > 1) {
-      return $self->_expand_op_andor(-and => $expr);
+      return $self->_expand_op_andor(and => $expr);
     }
     my ($key, $value) = %$expr;
     if ($key =~ /^-/ and $key =~ s/ [_\s]? \d+ $//x ) {
       belch 'Use of [and|or|nest]_N modifiers is deprecated and will be removed in SQLA v2.0. '
           . "You probably wanted ...-and => [ $key => COND1, $key => COND2 ... ]";
     }
-    if (my $exp = $self->{expand}{$key}) {
-      return $self->$exp($key, $value);
-    }
-    return $self->_expand_expr_hashpair($key, $value);
+    return $self->_expand_hashpair($key, $value);
   }
   if (ref($expr) eq 'ARRAY') {
-    my $logic = '-'.lc($self->{logic});
-    return $self->_expand_op_andor($logic, $expr);
+    return $self->_expand_op_andor(lc($self->{logic}), $expr);
   }
   if (my $literal = is_literal_value($expr)) {
     return +{ -literal => $literal };
   }
   if (!ref($expr) or Scalar::Util::blessed($expr)) {
-    if (my $d = our $Default_Scalar_To) {
-      return $self->_expand_expr({ $d => $expr });
-    }
-    return $self->_expand_value(-value => $expr);
+    return $self->_expand_scalar($expr);
   }
   die "notreached";
 }
 
-sub _expand_expr_hashpair {
+sub _expand_hashpair {
   my ($self, $k, $v) = @_;
   unless (defined($k) and length($k)) {
     if (defined($k) and my $literal = is_literal_value($v)) {
@@ -614,61 +588,60 @@ sub _expand_expr_hashpair {
     puke "Supplying an empty left hand side argument is not supported";
   }
   if ($k =~ /^-/) {
-    return $self->_expand_expr_hashpair_op($k, $v);
+    return $self->_expand_hashpair_op($k, $v);
+  } elsif ($k =~ /^[^\w]/i) {
+    my ($lhs, @rhs) = @$v;
+    return $self->_expand_op(
+      -op, [ $k, $self->expand_expr($lhs, -ident), @rhs ]
+    );
   }
-  return $self->_expand_expr_hashpair_ident($k, $v);
+  return $self->_expand_hashpair_ident($k, $v);
 }
 
-sub _expand_expr_hashpair_ident {
+sub _expand_hashpair_ident {
   my ($self, $k, $v) = @_;
 
+  local our $Cur_Col_Meta = $k;
+
   # hash with multiple or no elements is andor
 
   if (ref($v) eq 'HASH' and keys %$v != 1) {
-    return $self->_expand_op_andor(-and => $v, $k);
+    return $self->_expand_op_andor(and => $v, $k);
   }
 
   # undef needs to be re-sent with cmp to achieve IS/IS NOT NULL
 
-  if (
-    !defined($v)
-    or (
-      ref($v) eq 'HASH'
-      and exists $v->{-value}
-      and not defined $v->{-value}
-    )
-  ) {
-    return $self->_expand_expr({ $k => { $self->{cmp} => undef } });
+  if (is_undef_value($v)) {
+    return $self->_expand_hashpair_cmp($k => undef);
   }
 
   # scalars and objects get expanded as whatever requested or values
 
   if (!ref($v) or Scalar::Util::blessed($v)) {
-    my $d = our $Default_Scalar_To;
-    local our $Cur_Col_Meta = $k;
-    return $self->_expand_expr_hashpair_ident(
-      $k,
-      ($d
-        ? $self->_expand_expr($d => $v)
-        : { -value => $v }
-      )
-    );
+    return $self->_expand_hashpair_scalar($k, $v);
   }
+
+  # single key hashref is a hashtriple
+
   if (ref($v) eq 'HASH') {
-    return $self->_expand_expr_hashtriple($k, %$v);
+    return $self->_expand_hashtriple($k, %$v);
   }
+
+  # arrayref needs re-engineering over the elements
+
   if (ref($v) eq 'ARRAY') {
     return $self->sqlfalse unless @$v;
     $self->_debug("ARRAY($k) means distribute over elements");
     my $logic = lc(
       $v->[0] =~ /^-(and|or)$/i
-        ? shift(@{$v = [ @$v ]})
-        : '-'.lc($self->{logic} || 'OR')
+        ? (shift(@{$v = [ @$v ]}), $1)
+        : lc($self->{logic} || 'OR')
     );
     return $self->_expand_op_andor(
       $logic => $v, $k
     );
   }
+
   if (my $literal = is_literal_value($v)) {
     unless (length $k) {
       belch 'Hash-pairs consisting of an empty string with a literal are deprecated, and will be removed in 2.0: use -and => [ $literal ] instead';
@@ -685,41 +658,70 @@ sub _expand_expr_hashpair_ident {
   die "notreached";
 }
 
-sub _expand_expr_hashpair_op {
+sub _expand_scalar {
+  my ($self, $expr) = @_;
+
+  return $self->_expand_expr({ (our $Default_Scalar_To) => $expr });
+}
+
+sub _expand_hashpair_scalar {
   my ($self, $k, $v) = @_;
 
-  my $op = $k;
-  $op =~ s/^-// if length($op) > 1;
-  $self->_assert_pass_injection_guard($op);
+  return $self->_expand_hashpair_cmp(
+    $k, $self->_expand_scalar($v),
+  );
+}
+
+sub _expand_hashpair_op {
+  my ($self, $k, $v) = @_;
+
+  $self->_assert_pass_injection_guard($k =~ /\A-(.*)\Z/s);
+
+  my $op = $self->_normalize_op($k);
+
+  if (my $exp = $self->{expand}{$op}) {
+    return $self->$exp($op, $v);
+  }
 
   # Ops prefixed with -not_ get converted
 
-  if (my ($rest) = $op =~/^not[_ ](.*)$/) {
+  if (my ($rest) = $op =~/^not_(.*)$/) {
     return +{ -op => [
       'not',
       $self->_expand_expr({ "-${rest}", $v })
-  ] };
+    ] };
   }
 
-  # the old special op system requires illegality for top-level use
+  { # Old SQLA compat
 
-  if (
-    (our $Expand_Depth) == 1
-    and List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}
-  ) {
-    puke "Illegal use of top-level '-$op'"
-  }
+    my $op = join(' ', split '_', $op);
+
+    # the old special op system requires illegality for top-level use
+
+    if (
+      (our $Expand_Depth) == 1
+      and (
+        List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}
+        or (
+          $self->{disable_old_special_ops}
+          and List::Util::first { $op =~ $_->{regex} } @BUILTIN_SPECIAL_OPS
+        )
+      )
+    ) {
+      puke "Illegal use of top-level '-$op'"
+    }
 
-  # the old unary op system means we should touch nothing and let it work
+    # the old unary op system means we should touch nothing and let it work
 
-  if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
-    return { -op => [ $op, $v ] };
+    if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
+      return { -op => [ $op, $v ] };
+    }
   }
 
   # an explicit node type is currently assumed to be expanded (this is almost
   # certainly wrong and there should be expansion anyway)
 
-  if ($self->{render}{$k}) {
+  if ($self->{render}{$op}) {
     return { $k => $v };
   }
 
@@ -731,10 +733,16 @@ sub _expand_expr_hashpair_op {
     and (keys %$v)[0] =~ /^-/
   ) {
     my ($func) = $k =~ /^-(.*)$/;
-    if (List::Util::first { $func =~ $_->{regex} } @{$self->{special_ops}}) {
-      return +{ -op => [ $func, $self->_expand_expr($v) ] };
+    { # Old SQLA compat
+      if (List::Util::first { $func =~ $_->{regex} } @{$self->{special_ops}}) {
+        return +{ -op => [ $func, $self->_expand_expr($v) ] };
+      }
     }
-    return +{ -func => [ $func, $self->_expand_expr($v) ] };
+    return +{ -func => [
+      $func,
+      map $self->_expand_expr($_),
+        ref($v) eq 'ARRAY' ? @$v : $v
+    ] };
   }
 
   # scalars and literals get simply expanded
@@ -746,41 +754,52 @@ sub _expand_expr_hashpair_op {
   die "notreached";
 }
 
-sub _expand_expr_hashtriple {
+sub _expand_hashpair_cmp {
+  my ($self, $k, $v) = @_;
+  $self->_expand_hashtriple($k, $self->{cmp}, $v);
+}
+
+sub _expand_hashtriple {
   my ($self, $k, $vk, $vv) = @_;
 
   my $ik = $self->_expand_ident(-ident => $k);
 
-  my $op = join ' ', split '_', (map lc, $vk =~ /^-?(.*)$/)[0];
+  my $op = $self->_normalize_op($vk);
   $self->_assert_pass_injection_guard($op);
-  if ($op =~ s/ [_\s]? \d+ $//x ) {
+
+  if ($op =~ s/ _? \d+ $//x ) {
     return $self->_expand_expr($k, { $vk, $vv });
   }
   if (my $x = $self->{expand_op}{$op}) {
     local our $Cur_Col_Meta = $k;
     return $self->$x($op, $vv, $k);
   }
-  if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}) {
-    return { -op => [ $op, $ik, $vv ] };
-  }
-  if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
-    return { -op => [
-      $self->{cmp},
-      $ik,
-      { -op => [ $op, $vv ] }
-    ] };
+  { # Old SQLA compat
+
+    my $op = join(' ', split '_', $op);
+
+    if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}}) {
+      return { -op => [ $op, $ik, $vv ] };
+    }
+    if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
+      return { -op => [
+        $self->{cmp},
+        $ik,
+        { -op => [ $op, $vv ] }
+      ] };
+    }
   }
   if (ref($vv) eq 'ARRAY') {
     my @raw = @$vv;
     my $logic = (defined($raw[0]) and $raw[0] =~ /^-(and|or)$/i)
-      ? shift @raw : '-or';
+      ? (shift(@raw), $1) : 'or';
     my @values = map +{ $vk => $_ }, @raw;
     if (
       $op =~ $self->{inequality_op}
       or $op =~ $self->{not_like_op}
     ) {
-      if (lc($logic) eq '-or' and @values > 1) {
-        belch "A multi-element arrayref as an argument to the inequality op '${\uc($op)}' "
+      if (lc($logic) eq 'or' and @values > 1) {
+        belch "A multi-element arrayref as an argument to the inequality op '${\uc(join ' ', split '_', $op)}' "
             . 'is technically equivalent to an always-true 1=1 (you probably wanted '
             . "to say ...{ \$inequality_op => [ -and => \@values ] }... instead)"
         ;
@@ -788,32 +807,20 @@ sub _expand_expr_hashtriple {
     }
     unless (@values) {
       # try to DWIM on equality operators
-      return
-        $op =~ $self->{equality_op}   ? $self->sqlfalse
-      : $op =~ $self->{like_op}       ? belch("Supplying an empty arrayref to '@{[ uc $op]}' is deprecated") && $self->sqlfalse
-      : $op =~ $self->{inequality_op} ? $self->sqltrue
-      : $op =~ $self->{not_like_op}   ? belch("Supplying an empty arrayref to '@{[ uc $op]}' is deprecated") && $self->sqltrue
-      : puke "operator '$op' applied on an empty array (field '$k')";
+      return ($self->_dwim_op_to_is($op,
+        "Supplying an empty arrayref to '%s' is deprecated",
+        "operator '%s' applied on an empty array (field '$k')"
+      ) ? $self->sqlfalse : $self->sqltrue);
     }
     return $self->_expand_op_andor($logic => \@values, $k);
   }
-  if (
-    !defined($vv)
-    or (
-      ref($vv) eq 'HASH'
-      and exists $vv->{-value}
-      and not defined $vv->{-value}
-    )
-  ) {
-    my $is =
-      $op =~ /^not$/i               ? 'is not'  # legacy
-    : $op =~ $self->{equality_op}   ? 'is'
-    : $op =~ $self->{like_op}       ? belch("Supplying an undefined argument to '@{[ uc $op]}' is deprecated") && 'is'
-    : $op =~ $self->{inequality_op} ? 'is not'
-    : $op =~ $self->{not_like_op}   ? belch("Supplying an undefined argument to '@{[ uc $op]}' is deprecated") && 'is not'
-    : puke "unexpected operator '$op' with undef operand";
+  if (is_undef_value($vv)) {
+    my $is = ($self->_dwim_op_to_is($op,
+      "Supplying an undefined argument to '%s' is deprecated",
+      "unexpected operator '%s' with undef operand",
+    ) ? 'is' : 'is not');
 
-    return $self->_expand_expr_hashpair($k => { $is, undef });
+    return $self->_expand_hashpair($k => { $is, undef });
   }
   local our $Cur_Col_Meta = $k;
   return +{ -op => [
@@ -823,10 +830,44 @@ sub _expand_expr_hashtriple {
   ] };
 }
 
+sub _dwim_op_to_is {
+  my ($self, $raw, $empty, $fail) = @_;
+
+  my $op = $self->_normalize_op($raw);
+
+  if ($op =~ /^not$/i) {
+    return 0;
+  }
+  if ($op =~ $self->{equality_op}) {
+    return 1;
+  }
+  if ($op =~ $self->{like_op}) {
+    belch(sprintf $empty, uc(join ' ', split '_', $op));
+    return 1;
+  }
+  if ($op =~ $self->{inequality_op}) {
+    return 0;
+  }
+  if ($op =~ $self->{not_like_op}) {
+    belch(sprintf $empty, uc(join ' ', split '_', $op));
+    return 0;
+  }
+  puke(sprintf $fail, $op);
+}
+
+sub _expand_func {
+  my ($self, undef, $args) = @_;
+  my ($func, @args) = @$args;
+  return { -func => [ $func, map $self->expand_expr($_), @args ] };
+}
+
 sub _expand_ident {
-  my ($self, $op, $body) = @_;
+  my ($self, undef, $body, $k) = @_;
+  return $self->_expand_hashpair_cmp(
+    $k, { -ident => $body }
+  ) if defined($k);
   unless (defined($body) or (ref($body) and ref($body) eq 'ARRAY')) {
-    puke "$op requires a single plain scalar argument (a quotable identifier) or an arrayref of identifier parts";
+    puke "-ident requires a single plain scalar argument (a quotable identifier) or an arrayref of identifier parts";
   }
   my @parts = map split(/\Q${\($self->{name_sep}||'.')}\E/, $_),
                 ref($body) ? @$body : $body;
@@ -838,6 +879,9 @@ sub _expand_ident {
 }
 
 sub _expand_value {
+  return $_[0]->_expand_hashpair_cmp(
+    $_[3], { -value => $_[2] },
+  ) if defined($_[3]);
   +{ -bind => [ our $Cur_Col_Meta, $_[2] ] };
 }
 
@@ -845,6 +889,20 @@ sub _expand_not {
   +{ -op => [ 'not', $_[0]->_expand_expr($_[2]) ] };
 }
 
+sub _expand_row {
+  my ($self, undef, $args) = @_;
+  +{ -row => [ map $self->expand_expr($_), @$args ] };
+}
+
+sub _expand_op {
+  my ($self, undef, $args) = @_;
+  my ($op, @opargs) = @$args;
+  if (my $exp = $self->{expand_op}{$op}) {
+    return $self->$exp($op, \@opargs);
+  }
+  +{ -op => [ $op, map $self->expand_expr($_), @opargs ] };
+}
+
 sub _expand_bool {
   my ($self, undef, $v) = @_;
   if (ref($v)) {
@@ -855,7 +913,7 @@ sub _expand_bool {
 }
 
 sub _expand_op_andor {
-  my ($self, $logic, $v, $k) = @_;
+  my ($self, $logop, $v, $k) = @_;
   if (defined $k) {
     $v = [ map +{ $k, $_ },
              (ref($v) eq 'HASH')
@@ -863,7 +921,6 @@ sub _expand_op_andor {
               : @$v,
          ];
   }
-  my ($logop) = $logic =~ /^-?(.*)$/;
   if (ref($v) eq 'HASH') {
     return undef unless keys %$v;
     return +{ -op => [
@@ -910,6 +967,7 @@ sub _expand_op_andor {
 
 sub _expand_op_is {
   my ($self, $op, $vv, $k) = @_;
+  ($k, $vv) = @$vv unless defined $k;
   puke "$op can only take undef as argument"
     if defined($vv)
        and not (
@@ -917,12 +975,12 @@ sub _expand_op_is {
          and exists($vv->{-value})
          and !defined($vv->{-value})
        );
-  return +{ -op => [ $op.' null', $self->_expand_ident(-ident => $k) ] };
+  return +{ -op => [ $op.'_null', $self->expand_expr($k, -ident) ] };
 }
 
 sub _expand_between {
   my ($self, $op, $vv, $k) = @_;
-  local our $Cur_Col_Meta = $k;
+  $k = shift @{$vv = [ @$vv ]} unless defined $k;
   my @rhs = map $self->_expand_expr($_),
               ref($vv) eq 'ARRAY' ? @$vv : $vv;
   unless (
@@ -934,19 +992,20 @@ sub _expand_between {
   }
   return +{ -op => [
     $op,
-    $self->_expand_ident(-ident => $k),
+    $self->expand_expr(ref($k) ? $k : { -ident => $k }),
     @rhs
   ] }
 }
 
 sub _expand_in {
   my ($self, $op, $vv, $k) = @_;
+  $k = shift @{$vv = [ @$vv ]} unless defined $k;
   if (my $literal = is_literal_value($vv)) {
     my ($sql, @bind) = @$literal;
     my $opened_sql = $self->_open_outer_paren($sql);
     return +{ -op => [
-      $op, $self->_expand_ident(-ident => $k),
-      [ { -literal => [ $opened_sql, @bind ] } ]
+      $op, $self->expand_expr($k, -ident),
+      { -literal => [ $opened_sql, @bind ] }
     ] };
   }
   my $undef_err =
@@ -957,24 +1016,23 @@ sub _expand_in {
   ;
   puke("Argument passed to the '${\uc($op)}' operator can not be undefined")
     if !defined($vv);
-  my @rhs = map $self->_expand_expr($_),
-              map { ref($_) ? $_ : { -bind => [ $k, $_ ] } }
+  my @rhs = map $self->expand_expr($_, -value),
               map { defined($_) ? $_: puke($undef_err) }
                 (ref($vv) eq 'ARRAY' ? @$vv : $vv);
   return $self->${\($op =~ /^not/ ? 'sqltrue' : 'sqlfalse')} unless @rhs;
 
   return +{ -op => [
     $op,
-    $self->_expand_ident(-ident => $k),
-    \@rhs
+    $self->expand_expr($k, -ident),
+    @rhs
   ] };
 }
 
 sub _expand_nest {
-  my ($self, $op, $v) = @_;
+  my ($self, undef, $v) = @_;
   # DBIx::Class requires a nest warning to be emitted once but the private
   # method it overrode to do so no longer exists
-  if ($self->{is_dbic_sqlmaker}) {
+  if ($self->{warn_once_on_nest}) {
     unless (our $Nest_Warned) {
       belch(
         "-nest in search conditions is deprecated, you most probably wanted:\n"
@@ -986,6 +1044,11 @@ sub _expand_nest {
   return $self->_expand_expr($v);
 }
 
+sub _expand_bind {
+  my ($self, undef, $bind) = @_;
+  return { -bind => $bind };
+}
+
 sub _recurse_where {
   my ($self, $where, $logic) = @_;
 
@@ -1015,10 +1078,10 @@ sub _render_ident {
   return $self->_convert($self->_quote($ident));
 }
 
-sub _render_list {
-  my ($self, $list) = @_;
-  my @parts = grep length($_->[0]), map [ $self->render_aqt($_) ], @$list;
-  return join(', ', map $_->[0], @parts), map @{$_}[1..$#$_], @parts;
+sub _render_row {
+  my ($self, $values) = @_;
+  my ($sql, @bind) = $self->_render_op([ ',', @$values ]);
+  return "($sql)", @bind;  
 }
 
 sub _render_func {
@@ -1044,6 +1107,41 @@ sub _render_literal {
   return @$literal;
 }
 
+sub _render_op {
+  my ($self, $v) = @_;
+  my ($op, @args) = @$v;
+  if (my $r = $self->{render_op}{$op}) {
+    return $self->$r($op, \@args);
+  }
+
+  { # Old SQLA compat
+
+    my $op = join(' ', split '_', $op);
+
+    my $ss = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}};
+    if ($ss and @args > 1) {
+      puke "Special op '${op}' requires first value to be identifier"
+        unless my ($ident) = map $_->{-ident}, grep ref($_) eq 'HASH', $args[0];
+      my $k = join(($self->{name_sep}||'.'), @$ident);
+      local our $Expand_Depth = 1;
+      return $self->${\($ss->{handler})}($k, $op, $args[1]);
+    }
+    if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
+      return $self->${\($us->{handler})}($op, $args[0]);
+    }
+    if ($ss) {
+      return $self->_render_unop_paren($op, \@args);
+    }
+  }
+  if (@args == 1) {
+    return $self->_render_unop_prefix($op, \@args);
+  } else {
+    return $self->_render_op_multop($op, \@args);
+  }
+  die "notreached";
+}
+
+
 sub _render_op_between {
   my ($self, $op, $args) = @_;
   my ($left, $low, $high) = @$args;
@@ -1060,23 +1158,27 @@ sub _render_op_between {
   };
   my ($lhsql, @lhbind) = $self->render_aqt($left);
   return (
-    join(' ', '(', $lhsql, $self->_sqlcase($op), $rhsql, ')'),
+    join(' ',
+      '(', $lhsql,
+       $self->_sqlcase(join ' ', split '_', $op),
+      $rhsql, ')'
+    ),
     @lhbind, @rhbind
   );
 }
 
 sub _render_op_in {
   my ($self, $op, $args) = @_;
-  my ($lhs, $rhs) = @$args;
+  my ($lhs, @rhs) = @$args;
   my @in_bind;
   my @in_sql = map {
     my ($sql, @bind) = $self->render_aqt($_);
     push @in_bind, @bind;
     $sql;
-  } @$rhs;
+  } @rhs;
   my ($lhsql, @lbind) = $self->render_aqt($lhs);
   return (
-    $lhsql.' '.$self->_sqlcase($op).' ( '
+    $lhsql.' '.$self->_sqlcase(join ' ', split '_', $op).' ( '
     .join(', ', @in_sql)
     .' )',
     @lbind, @in_bind
@@ -1088,7 +1190,7 @@ sub _render_op_andor {
   my @parts = grep length($_->[0]), map [ $self->render_aqt($_) ], @$args;
   return '' unless @parts;
   return @{$parts[0]} if @parts == 1;
-  my ($sql, @bind) = $self->_render_op_multop($op, $args);
+  my ($sql, @bind) = $self->_join_parts(' '.$self->_sqlcase($op).' ', @parts);
   return '( '.$sql.' )', @bind;
 }
 
@@ -1097,42 +1199,22 @@ sub _render_op_multop {
   my @parts = grep length($_->[0]), map [ $self->render_aqt($_) ], @$args;
   return '' unless @parts;
   return @{$parts[0]} if @parts == 1;
-  my ($final_sql) = join(
-    ' '.$self->_sqlcase($op).' ',
-    map $_->[0], @parts
-  );
-  return (
-    $final_sql,
-    map @{$_}[1..$#$_], @parts
-  );
+  my $join = ($op eq ','
+                ? ', '
+                :  ' '.$self->_sqlcase(join ' ', split '_', $op).' '
+             );
+  return $self->_join_parts($join, @parts);
 }
 
-sub _render_op {
-  my ($self, $v) = @_;
-  my ($op, @args) = @$v;
-  if (my $r = $self->{render_op}{$op}) {
-    return $self->$r($op, \@args);
-  }
-  my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{special_ops}};
-  if ($us and @args > 1) {
-    puke "Special op '${op}' requires first value to be identifier"
-      unless my ($ident) = map $_->{-ident}, grep ref($_) eq 'HASH', $args[0];
-    my $k = join(($self->{name_sep}||'.'), @$ident);
-    local our $Expand_Depth = 1;
-    return $self->${\($us->{handler})}($k, $op, $args[1]);
-  }
-  if (my $us = List::Util::first { $op =~ $_->{regex} } @{$self->{unary_ops}}) {
-    return $self->${\($us->{handler})}($op, $args[0]);
-  }
-  if (@args == 1) {
-    return $self->_render_unop_prefix($op, \@args);
-  } else {
-    return $self->_render_op_multop($op, \@args);
-  }
-  die "notreached";
+sub _join_parts {
+  my ($self, $join, @parts) = @_;
+  return (
+    join($join, map $_->[0], @parts),
+    (wantarray ? (map @{$_}[1..$#$_], @parts) : ()),
+  );
 }
 
-sub _render_op_not {
+sub _render_unop_paren {
   my ($self, $op, $v) = @_;
   my ($sql, @bind) = $self->_render_unop_prefix($op, $v);
   return "(${sql})", @bind;
@@ -1141,14 +1223,15 @@ sub _render_op_not {
 sub _render_unop_prefix {
   my ($self, $op, $v) = @_;
   my ($expr_sql, @bind) = $self->render_aqt($v->[0]);
-  my $op_sql = $self->_sqlcase($op);
+
+  my $op_sql = $self->_sqlcase($op); # join ' ', split '_', $op);
   return ("${op_sql} ${expr_sql}", @bind);
 }
 
 sub _render_unop_postfix {
   my ($self, $op, $v) = @_;
   my ($expr_sql, @bind) = $self->render_aqt($v->[0]);
-  my $op_sql = $self->_sqlcase($op);
+  my $op_sql = $self->_sqlcase(join ' ', split '_', $op);
   return ($expr_sql.' '.$op_sql, @bind);
 }
 
@@ -1192,6 +1275,9 @@ sub _expand_order_by {
 
   return unless defined($arg) and not (ref($arg) eq 'ARRAY' and !@$arg);
 
+  return $self->_expand_maybe_list_expr($arg)
+    if ref($arg) eq 'HASH' and ($arg->{-op}||[''])->[0] eq ',';
+
   my $expander = sub {
     my ($self, $dir, $expr) = @_;
     my @to_expand = ref($expr) eq 'ARRAY' ? @$expr : $expr;
@@ -1209,10 +1295,12 @@ sub _expand_order_by {
               ),
                 map $self->expand_expr($_, -ident),
                 map ref($_) eq 'ARRAY' ? @$_ : $_, @to_expand;
-    return (@exp > 1 ? { -list => \@exp } : $exp[0]);
+    return undef unless @exp;
+    return undef if @exp == 1 and not defined($exp[0]);
+    return +{ -op => [ ',', @exp ] };
   };
 
-  local @{$self->{expand}}{qw(-asc -desc)} = (($expander) x 2);
+  local @{$self->{expand}}{qw(asc desc)} = (($expander) x 2);
 
   return $self->$expander(undef, $arg);
 }
@@ -1248,8 +1336,9 @@ sub _chunkify_order_by {
     if $expanded->{-ident} or @{$expanded->{-literal}||[]} == 1;
 
   for ($expanded) {
-    if (ref() eq 'HASH' and my $l = $_->{-list}) {
-      return map $self->_chunkify_order_by($_), @$l;
+    if (ref() eq 'HASH' and $_->{-op} and $_->{-op}[0] eq ',') {
+      my ($comma, @list) = @{$_->{-op}};
+      return map $self->_chunkify_order_by($_), @list;
     }
     return [ $self->render_aqt($_) ];
   }
@@ -1263,7 +1352,7 @@ sub _table  {
   my $self = shift;
   my $from = shift;
   ($self->render_aqt(
-    $self->_expand_maybe_list_expr($from, undef, -ident)
+    $self->_expand_maybe_list_expr($from, -ident)
   ))[0];
 }
 
@@ -1273,18 +1362,15 @@ sub _table  {
 #======================================================================
 
 sub _expand_maybe_list_expr {
-  my ($self, $expr, $logic, $default) = @_;
-  my $e = do {
-    if (ref($expr) eq 'ARRAY') {
-      return { -list => [
-        map $self->expand_expr($_, $default), @$expr
-      ] } if @$expr > 1;
-      $expr->[0]
-    } else {
-      $expr
-    }
-  };
-  return $self->expand_expr($e, $default);
+  my ($self, $expr, $default) = @_;
+  return { -op => [
+    ',', map $self->expand_expr($_, $default), 
+          @{$expr->{-op}}[1..$#{$expr->{-op}}]
+  ] } if ref($expr) eq 'HASH' and ($expr->{-op}||[''])->[0] eq ',';
+  return +{ -op => [ ',',
+    map $self->expand_expr($_, $default),
+      ref($expr) eq 'ARRAY' ? @$expr : $expr
+  ] };
 }
 
 # highly optimized, as it's called way too often