Ensure that sqltargs are passed to deploy when ignore_ddl is set
[dbsrgits/DBIx-Class-DeploymentHandler.git] / lib / DBIx / Class / DeploymentHandler / DeployMethod / SQL / Translator.pm
index 167e455..0b00dba 100644 (file)
@@ -5,11 +5,8 @@ use Moose;
 
 use autodie;
 use Carp qw( carp croak );
-use DBIx::Class::DeploymentHandler::Logger;
-use Log::Contextual qw(:log :dlog), -package_logger =>
-  DBIx::Class::DeploymentHandler::Logger->new({
-    env_prefix => 'DBICDH'
-  });
+use DBIx::Class::DeploymentHandler::LogImporter qw(:log :dlog);
+use Context::Preserve;
 
 use Try::Tiny;
 
@@ -19,8 +16,7 @@ require SQL::Translator::Diff;
 require DBIx::Class::Storage;   # loaded for type constraint
 use DBIx::Class::DeploymentHandler::Types;
 
-use File::Path 'mkpath';
-use File::Spec::Functions;
+use Path::Class qw(file dir);
 
 with 'DBIx::Class::DeploymentHandler::HandlesDeploy';
 
@@ -37,7 +33,6 @@ has force_overwrite => (
 );
 
 has schema => (
-  isa      => 'DBIx::Class::Schema',
   is       => 'ro',
   required => 1,
 );
@@ -89,25 +84,25 @@ has schema_version => (
 # this will probably never get called as the DBICDH
 # will be passing down a schema_version normally, which
 # is built the same way, but we leave this in place
-sub _build_schema_version { 
+sub _build_schema_version {
   my $self = shift;
-  $self->schema->schema_version 
+  $self->schema->schema_version
 }
 
 sub __ddl_consume_with_prefix {
   my ($self, $type, $versions, $prefix) = @_;
   my $base_dir = $self->script_directory;
 
-  my $main    = catfile( $base_dir, $type      );
+  my $main    = dir( $base_dir, $type      );
   my $common  =
-    catfile( $base_dir, '_common', $prefix, join q(-), @{$versions} );
+    dir( $base_dir, '_common', $prefix, join q(-), @{$versions} );
 
   my $common_any  =
-    catfile( $base_dir, '_common', $prefix, '_any' );
+    dir( $base_dir, '_common', $prefix, '_any' );
 
   my $dir;
   if (-d $main) {
-    $dir = catfile($main, $prefix, join q(-), @{$versions})
+    $dir = dir($main, $prefix, join q(-), @{$versions})
   } else {
     if ($self->ignore_ddl) {
       return []
@@ -115,7 +110,7 @@ sub __ddl_consume_with_prefix {
       croak "$main does not exist; please write/generate some SQL"
     }
   }
-  my $dir_any = catfile($main, $prefix, '_any');
+  my $dir_any = dir($main, $prefix, '_any');
 
   my %files;
   try {
@@ -130,9 +125,9 @@ sub __ddl_consume_with_prefix {
   };
   for my $dirname (grep { -d $_ } $common, $common_any, $dir_any) {
     opendir my($dh), $dirname;
-    for my $filename (grep { /\.(?:sql|pl)$/ && -f catfile($dirname,$_) } readdir $dh) {
+    for my $filename (grep { /\.(?:sql|pl)$/ && -f file($dirname,$_) } readdir $dh) {
       unless ($files{$filename}) {
-        $files{$filename} = catfile($dirname,$filename);
+        $files{$filename} = file($dirname,$filename);
       }
     }
     closedir $dh;
@@ -155,7 +150,7 @@ sub _ddl_protoschema_deploy_consume_filenames {
   my ($self, $version) = @_;
   my $base_dir = $self->script_directory;
 
-  my $dir = catfile( $base_dir, '_source', 'deploy', $version);
+  my $dir = dir( $base_dir, '_source', 'deploy', $version);
   return [] unless -d $dir;
 
   opendir my($dh), $dir;
@@ -169,7 +164,7 @@ sub _ddl_protoschema_upgrade_consume_filenames {
   my ($self, $versions) = @_;
   my $base_dir = $self->script_directory;
 
-  my $dir = catfile( $base_dir, '_preprocess_schema', 'upgrade', join q(-), @{$versions});
+  my $dir = dir( $base_dir, '_preprocess_schema', 'upgrade', join q(-), @{$versions});
 
   return [] unless -d $dir;
 
@@ -184,7 +179,7 @@ sub _ddl_protoschema_downgrade_consume_filenames {
   my ($self, $versions) = @_;
   my $base_dir = $self->script_directory;
 
-  my $dir = catfile( $base_dir, '_preprocess_schema', 'downgrade', join q(-), @{$versions});
+  my $dir = dir( $base_dir, '_preprocess_schema', 'downgrade', join q(-), @{$versions});
 
   return [] unless -d $dir;
 
@@ -197,18 +192,18 @@ sub _ddl_protoschema_downgrade_consume_filenames {
 
 sub _ddl_protoschema_produce_filename {
   my ($self, $version) = @_;
-  my $dirname = catfile( $self->script_directory, '_source', 'deploy',  $version );
-  mkpath($dirname) unless -d $dirname;
+  my $dirname = dir( $self->script_directory, '_source', 'deploy',  $version );
+  $dirname->mkpath unless -d $dirname;
 
-  return catfile( $dirname, '001-auto.yml' );
+  return "" . file( $dirname, '001-auto.yml' );
 }
 
 sub _ddl_schema_produce_filename {
   my ($self, $type, $version) = @_;
-  my $dirname = catfile( $self->script_directory, $type, 'deploy', $version );
-  mkpath($dirname) unless -d $dirname;
+  my $dirname = dir( $self->script_directory, $type, 'deploy', $version );
+  $dirname->mkpath unless -d $dirname;
 
-  return catfile( $dirname, '001-auto.sql' );
+  return "" . file( $dirname, '001-auto.sql' );
 }
 
 sub _ddl_schema_upgrade_consume_filenames {
@@ -225,31 +220,25 @@ sub _ddl_schema_upgrade_produce_filename {
   my ($self, $type, $versions) = @_;
   my $dir = $self->script_directory;
 
-  my $dirname = catfile( $dir, $type, 'upgrade', join q(-), @{$versions});
-  mkpath($dirname) unless -d $dirname;
+  my $dirname = dir( $dir, $type, 'upgrade', join q(-), @{$versions});
+  $dirname->mkpath unless -d $dirname;
 
-  return catfile( $dirname, '001-auto.sql' );
+  return "" . file( $dirname, '001-auto.sql' );
 }
 
 sub _ddl_schema_downgrade_produce_filename {
   my ($self, $type, $versions, $dir) = @_;
-  my $dirname = catfile( $dir, $type, 'downgrade', join q(-), @{$versions} );
-  mkpath($dirname) unless -d $dirname;
+  my $dirname = dir( $dir, $type, 'downgrade', join q(-), @{$versions} );
+  $dirname->mkpath unless -d $dirname;
 
-  return catfile( $dirname, '001-auto.sql');
+  return "" . file( $dirname, '001-auto.sql');
 }
 
 sub _run_sql_array {
   my ($self, $sql) = @_;
   my $storage = $self->storage;
 
-  $sql = [grep {
-    $_ && # remove blank lines
-    !/^(BEGIN|BEGIN TRANSACTION|COMMIT)/ # strip txn's
-  } map {
-    s/^\s+//; s/\s+$//; # trim whitespace
-    join '', grep { !/^--/ } split /\n/ # remove comments
-  } @$sql];
+  $sql = [ _split_sql_chunk( @$sql ) ];
 
   Dlog_trace { "Running SQL $_" } $sql;
   foreach my $line (@{$sql}) {
@@ -266,55 +255,103 @@ sub _run_sql_array {
   return join "\n", @$sql
 }
 
+# split a chunk o' SQL into statements
+sub _split_sql_chunk {
+    my @sql = map { split /;\n/, $_ } @_;
+
+    for ( @sql ) {
+        # strip transactions
+        s/^(?:BEGIN|BEGIN TRANSACTION|COMMIT).*//mgi;
+
+        # trim whitespaces
+        s/^\s+//gm;
+        s/\s+$//gm;
+
+        # remove comments
+        s/^--.*//gm;
+
+        # remove blank lines
+        s/^\n//gm;
+
+        # put on single line
+        s/\n/ /g;
+    }
+
+    return grep $_, @sql;
+}
+
 sub _run_sql {
   my ($self, $filename) = @_;
   log_debug { "Running SQL from $filename" };
   return $self->_run_sql_array($self->_read_sql_file($filename));
 }
 
+sub _load_sandbox {
+  my $_file = shift;
+
+  my $_package = $_file;
+  $_package =~ s/([^A-Za-z0-9_])/sprintf("_%2x", ord($1))/eg;
+
+  my $fn = eval sprintf <<'END_EVAL', $_package;
+package DBICDH::Sandbox::%s;
+{
+  our $app;
+  $app ||= require $_file;
+  if ( !$app && ( my $error = $@ || $! )) { die $error; }
+  $app;
+}
+END_EVAL
+
+  croak $@ if $@;
+
+  croak "$_file should define an anonymous sub that takes a schema but it didn't!"
+     unless ref $fn && ref $fn eq 'CODE';
+
+  return $fn;
+}
+
 sub _run_perl {
   my ($self, $filename, $versions) = @_;
   log_debug { "Running Perl from $filename" };
-  my $filedata = do { local( @ARGV, $/ ) = $filename; <> };
 
-  no warnings 'redefine';
-  my $fn = eval "$filedata";
-  use warnings;
+  my $fn = _load_sandbox($filename);
+
   Dlog_trace { "Running Perl $_" } $fn;
 
-  if ($@) {
-    croak "$filename failed to compile: $@";
-  } elsif (ref $fn eq 'CODE') {
-    $fn->($self->schema, $versions)
-  } else {
-    croak "$filename should define an anonymouse sub that takes a schema but it didn't!";
-  }
+  $fn->($self->schema, $versions)
 }
 
-sub _run_sql_and_perl {
-  my ($self, $filenames, $sql_to_run, $versions) = @_;
-  my @files   = @{$filenames};
-  my $guard   = $self->schema->txn_scope_guard if $self->txn_wrap;
+sub txn_do {
+   my ( $self, $code ) = @_;
+   return $code->() unless $self->txn_wrap;
 
-  $self->_run_sql_array($sql_to_run) if $self->ignore_ddl;
+   my $guard = $self->schema->txn_scope_guard;
 
-  my $sql = ($sql_to_run)?join ";\n", @$sql_to_run:'';
-  FILENAME:
-  for my $filename (@files) {
-    if ($self->ignore_ddl && $filename =~ /^[^_]*-auto.*\.sql$/) {
-      next FILENAME
-    } elsif ($filename =~ /\.sql$/) {
-       $sql .= $self->_run_sql($filename)
-    } elsif ( $filename =~ /\.pl$/ ) {
-       $self->_run_perl($filename, $versions)
-    } else {
-      croak "A file ($filename) got to deploy that wasn't sql or perl!";
-    }
-  }
+   return preserve_context { $code->() } after => sub { $guard->commit };
+}
 
-  $guard->commit if $self->txn_wrap;
+sub _run_sql_and_perl {
+  my ($self, $filenames, $sql_to_run, $versions) = @_;
+  my @files   = @{$filenames};
+  $self->txn_do(sub {
+     $self->_run_sql_array($sql_to_run) if $self->ignore_ddl;
+
+     my $sql = ($sql_to_run)?join ";\n", @$sql_to_run:'';
+     FILENAME:
+     for my $filename (map file($_), @files) {
+       if ($self->ignore_ddl && $filename->basename =~ /^[^-]*-auto.*\.sql$/) {
+         next FILENAME
+       } elsif ($filename =~ /\.sql$/) {
+          $sql .= $self->_run_sql($filename)
+       } elsif ( $filename =~ /\.pl$/ ) {
+          $self->_run_perl($filename, $versions)
+       } else {
+         croak "A file ($filename) got to deploy that wasn't sql or perl!";
+       }
+     }
 
-  return $sql;
+     return $sql;
+  });
 }
 
 sub deploy {
@@ -323,8 +360,9 @@ sub deploy {
   log_info { "deploying version $version" };
   my $sqlt_type = $self->storage->sqlt_type;
   my $sql;
+  my $sqltargs = $self->sql_translator_args;
   if ($self->ignore_ddl) {
-     $sql = $self->_sql_from_yaml({},
+     $sql = $self->_sql_from_yaml($sqltargs,
        '_ddl_protoschema_deploy_consume_filenames', $sqlt_type
      );
   }
@@ -447,10 +485,10 @@ sub _sql_from_yaml {
   my @sql;
 
   my $actual_file = $self->$from_file($version);
-  for my $yaml_filename (@{
+  for my $yaml_filename (@{(
      DlogS_trace { "generating SQL from Serialized SQL Files: $_" }
         (ref $actual_file?$actual_file:[$actual_file])
-  }) {
+  )}) {
      my $sqlt = SQL::Translator->new({
        add_drop_table          => 0,
        parser                  => 'SQL::Translator::Parser::YAML',
@@ -489,7 +527,7 @@ sub _prepare_install {
       }
     }
     open my $file, q(>), $filename;
-    print {$file} join ";\n", @$sql;
+    print {$file} join ";\n", @$sql, '';
     close $file;
   }
 }
@@ -498,10 +536,10 @@ sub _resultsource_install_filename {
   my ($self, $source_name) = @_;
   return sub {
     my ($self, $type, $version) = @_;
-    my $dirname = catfile( $self->script_directory, $type, 'deploy', $version );
-    mkpath($dirname) unless -d $dirname;
+    my $dirname = dir( $self->script_directory, $type, 'deploy', $version );
+    $dirname->mkpath unless -d $dirname;
 
-    return catfile( $dirname, "001-auto-$source_name.sql" );
+    return "" . file( $dirname, "001-auto-$source_name.sql" );
   }
 }
 
@@ -509,10 +547,10 @@ sub _resultsource_protoschema_filename {
   my ($self, $source_name) = @_;
   return sub {
     my ($self, $version) = @_;
-    my $dirname = catfile( $self->script_directory, '_source', 'deploy', $version );
-    mkpath($dirname) unless -d $dirname;
+    my $dirname = dir( $self->script_directory, '_source', 'deploy', $version );
+    $dirname->mkpath unless -d $dirname;
 
-    return catfile( $dirname, "001-auto-$source_name.yml" );
+    return "" . file( $dirname, "001-auto-$source_name.yml" );
   }
 }
 
@@ -613,19 +651,10 @@ sub _read_sql_file {
   my ($self, $file)  = @_;
   return unless $file;
 
-  open my $fh, '<', $file;
-  my @data = split /;\n/, join '', <$fh>;
-  close $fh;
-
-  @data = grep {
-    $_ && # remove blank lines
-    !/^(BEGIN|BEGIN TRANSACTION|COMMIT)/ # strip txn's
-  } map {
-    s/^\s+//; s/\s+$//; # trim whitespace
-    join '', grep { !/^--/ } split /\n/ # remove comments
-  } @data;
+   local $/ = undef;  #sluuuuuurp
 
-  return \@data;
+  open my $fh, '<', $file;
+  return [ _split_sql_chunk( <$fh> ) ];
 }
 
 sub downgrade_single_step {
@@ -676,14 +705,13 @@ sub prepare_protoschema {
 
   # we do this because the code that uses this sets parser args,
   # so we just need to merge in the package
-  $sqltargs->{parser_args}{package} = $self->schema;
   my $sqlt = SQL::Translator->new({
     parser                  => 'SQL::Translator::Parser::DBIx::Class',
     producer                => 'SQL::Translator::Producer::YAML',
     %{ $sqltargs },
   });
 
-  my $yml = $sqlt->translate;
+  my $yml = $sqlt->translate(data => $self->schema);
 
   croak("Failed to translate to YAML: " . $sqlt->error)
     unless $yml;
@@ -888,7 +916,10 @@ A very basic perl script might look like:
  use strict;
  use warnings;
 
- sub {
+ use DBIx::Class::DeploymentHandler::DeployMethod::SQL::Translator::ScriptHelpers
+    'schema_from_schema_loader';
+
+ schema_from_schema_loader({ naming => 'v4' }, sub {
    my $schema = shift;
 
    # [1] for deploy, [1,2] for upgrade or downgrade, probably used with _any
@@ -898,7 +929,12 @@ A very basic perl script might look like:
      name => 'root',
      password => 'root',
    })
- }
+ })
+
+Note that the above uses
+L<DBIx::Class::DeploymentHanlder::DeployMethod::SQL::Translator::ScriptHelpers/schema_from_schema_loader>.
+Using a raw coderef is strongly discouraged as it is likely to break as you
+modify your schema.
 
 =attr ignore_ddl
 
@@ -946,3 +982,9 @@ transaction.
 
 The version the schema on your harddrive is at.  Defaults to
 C<< $self->schema->schema_version >>.
+
+=head1 SEE ALSO
+
+This class is an implementation of
+L<DBIx::Class::DeploymentHandler::HandlesDeploy>.  Pretty much all the
+documentation is there.