lib/DBIx/Class/DeploymentHandler/DeployMethod/SQL/Translator.pm

   1 package DBIx::Class::DeploymentHandler::DeployMethod::SQL::Translator;
   2 use Moose;
   3
   4 use autodie;
   5 use Carp qw( carp croak );
   6
   7 use Method::Signatures::Simple;
   8 use Try::Tiny;
   9
  10 use SQL::Translator;
  11 require SQL::Translator::Diff;
  12
  13 require DBIx::Class::Storage;   # loaded for type constraint
  14 use DBIx::Class::DeploymentHandler::Types;
  15
  16 use File::Path 'mkpath';
  17 use File::Spec::Functions;
  18
  19 with 'DBIx::Class::DeploymentHandler::HandlesDeploy';
  20
  21 has schema => (
  22   isa      => 'DBIx::Class::Schema',
  23   is       => 'ro',
  24   required => 1,
  25   handles => [qw( schema_version )],
  26 );
  27
  28 has storage => (
  29   isa        => 'DBIx::Class::Storage',
  30   is         => 'ro',
  31   lazy_build => 1,
  32 );
  33
  34 method _build_storage {
  35   my $s = $self->schema->storage;
  36   $s->_determine_driver;
  37   $s
  38 }
  39
  40 has sqltargs => (
  41   isa => 'HashRef',
  42   is  => 'ro',
  43   default => sub { {} },
  44 );
  45 has upgrade_directory => (
  46   isa      => 'Str',
  47   is       => 'ro',
  48   required => 1,
  49   default  => 'sql',
  50 );
  51
  52 has databases => (
  53   coerce  => 1,
  54   isa     => 'DBIx::Class::DeploymentHandler::Databases',
  55   is      => 'ro',
  56   default => sub { [qw( MySQL SQLite PostgreSQL )] },
  57 );
  58
  59 has _filedata => (
  60   isa => 'ArrayRef[Str]',
  61   is  => 'rw',
  62   default => sub { [] },
  63 );
  64
  65 has txn_wrap => (
  66   is => 'ro',
  67   isa => 'Bool',
  68   default => 1,
  69 );
  70
  71 method __ddl_consume_with_prefix($type, $versions, $prefix) {
  72   my $base_dir = $self->upgrade_directory;
  73
  74   my $main    = catfile( $base_dir, $type      );
  75   my $generic = catfile( $base_dir, '_generic' );
  76   my $common  =
  77     catfile( $base_dir, '_common', $prefix, join q(-), @{$versions} );
  78
  79   my $dir;
  80   if (-d $main) {
  81     $dir = catfile($main, $prefix, join q(-), @{$versions})
  82   } elsif (-d $generic) {
  83     $dir = catfile($generic, $prefix, join q(-), @{$versions});
  84   } else {
  85     croak "neither $main or $generic exist; please write/generate some SQL";
  86   }
  87
  88   opendir my($dh), $dir;
  89   my %files = map { $_ => "$dir/$_" } grep { /\.sql$/ && -f "$dir/$_" } readdir $dh;
  90   closedir $dh;
  91
  92   if (-d $common) {
  93     opendir my($dh), $common;
  94     for my $filename (grep { /\.sql$/ && -f catfile($common,$_) } readdir $dh) {
  95       unless ($files{$filename}) {
  96         $files{$filename} = catfile($common,$filename);
  97       }
  98     }
  99     closedir $dh;
 100   }
 101
 102   return [@files{sort keys %files}]
 103 }
 104
 105 method _ddl_schema_consume_filenames($type, $version) {
 106   $self->__ddl_consume_with_prefix($type, [ $version ], 'schema')
 107 }
 108
 109 method _ddl_schema_produce_filename($type, $version) {
 110   my $dirname = catfile( $self->upgrade_directory, $type, 'schema', $version );
 111   mkpath($dirname) unless -d $dirname;
 112
 113   return catfile( $dirname, '001-auto.sql' );
 114 }
 115
 116 method _ddl_schema_up_consume_filenames($type, $versions) {
 117   $self->__ddl_consume_with_prefix($type, $versions, 'up')
 118 }
 119
 120 method _ddl_schema_down_consume_filenames($type, $versions) {
 121   $self->__ddl_consume_with_prefix($type, $versions, 'down')
 122 }
 123
 124 method _ddl_schema_up_produce_filename($type, $versions) {
 125   my $dir = $self->upgrade_directory;
 126
 127   my $dirname = catfile( $dir, $type, 'up', join q(-), @{$versions});
 128   mkpath($dirname) unless -d $dirname;
 129
 130   return catfile( $dirname, '001-auto.sql'
 131   );
 132 }
 133
 134 method _ddl_schema_down_produce_filename($type, $versions, $dir) {
 135   my $dirname = catfile( $dir, $type, 'down', join q(-), @{$versions} );
 136   mkpath($dirname) unless -d $dirname;
 137
 138   return catfile( $dirname, '001-auto.sql');
 139 }
 140
 141 sub _deploy {
 142   my $self = shift;
 143   my $storage  = $self->storage;
 144
 145   my $guard = $self->schema->txn_scope_guard if $self->txn_wrap;
 146
 147   my @sql = map @{$self->_read_sql_file($_)}, @{$self->_ddl_schema_consume_filenames(
 148       $self->storage->sqlt_type,
 149       $self->schema_version
 150     )};
 151
 152   foreach my $line (@sql) {
 153     $storage->_query_start($line);
 154     try {
 155       # do a dbh_do cycle here, as we need some error checking in
 156       # place (even though we will ignore errors)
 157       $storage->dbh_do (sub { $_[1]->do($line) });
 158     }
 159     catch {
 160       carp "$_ (running '${line}')"
 161     }
 162     $storage->_query_end($line);
 163   }
 164
 165   $guard->commit if $self->txn_wrap;
 166   return join "\n", @sql;
 167 }
 168
 169 sub prepare_install {
 170   my $self = shift;
 171   my $schema    = $self->schema;
 172   my $databases = $self->databases;
 173   my $dir       = $self->upgrade_directory;
 174   my $sqltargs  = $self->sqltargs;
 175   my $version = $schema->schema_version;
 176
 177   my $sqlt = SQL::Translator->new({
 178     add_drop_table          => 1,
 179     ignore_constraint_names => 1,
 180     ignore_index_names      => 1,
 181     parser                  => 'SQL::Translator::Parser::DBIx::Class',
 182     %{$sqltargs}
 183   });
 184
 185   my $sqlt_schema = $sqlt->translate( data => $schema )
 186     or croak($sqlt->error);
 187
 188   foreach my $db (@$databases) {
 189     $sqlt->reset;
 190     $sqlt->{schema} = $sqlt_schema;
 191     $sqlt->producer($db);
 192
 193     my $filename = $self->_ddl_schema_produce_filename($db, $version, $dir);
 194     if (-e $filename ) {
 195       carp "Overwriting existing DDL file - $filename";
 196       unlink $filename;
 197     }
 198
 199     my $output = $sqlt->translate;
 200     if(!$output) {
 201       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
 202       next;
 203     }
 204     open my $file, q(>), $filename;
 205     print {$file} $output;
 206     close $file;
 207   }
 208 }
 209
 210 sub prepare_upgrade {
 211   my ($self, $from_version, $to_version, $version_set) = @_;
 212
 213   $from_version ||= '1.0'; #$self->database_version;
 214   $to_version   ||= $self->schema_version;
 215
 216   # for updates prepared automatically (rob's stuff)
 217   # one would want to explicitly set $version_set to
 218   # [$to_version]
 219   $version_set  ||= [$from_version, $to_version];
 220
 221   $self->_prepare_changegrade($from_version, $to_version, $version_set, 'up');
 222 }
 223
 224 sub prepare_downgrade {
 225   my ($self, $from_version, $to_version, $version_set) = @_;
 226
 227   $from_version ||= $self->db_version;
 228   $to_version   ||= $self->schema_version;
 229
 230   # for updates prepared automatically (rob's stuff)
 231   # one would want to explicitly set $version_set to
 232   # [$to_version]
 233   $version_set  ||= [$from_version, $to_version];
 234
 235   $self->_prepare_changegrade($from_version, $to_version, $version_set, 'down');
 236 }
 237
 238 method _prepare_changegrade($from_version, $to_version, $version_set, $direction) {
 239   my $schema    = $self->schema;
 240   my $databases = $self->databases;
 241   my $dir       = $self->upgrade_directory;
 242   my $sqltargs  = $self->sqltargs;
 243
 244   my $schema_version = $schema->schema_version;
 245
 246   $sqltargs = {
 247     add_drop_table => 1,
 248     ignore_constraint_names => 1,
 249     ignore_index_names => 1,
 250     %{$sqltargs}
 251   };
 252
 253   my $sqlt = SQL::Translator->new( $sqltargs );
 254
 255   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
 256   my $sqlt_schema = $sqlt->translate( data => $schema )
 257     or croak($sqlt->error);
 258
 259   foreach my $db (@$databases) {
 260     $sqlt->reset;
 261     $sqlt->{schema} = $sqlt_schema;
 262     $sqlt->producer($db);
 263
 264     my $prefilename = $self->_ddl_schema_produce_filename($db, $from_version, $dir);
 265     unless(-e $prefilename) {
 266       carp("No previous schema file found ($prefilename)");
 267       next;
 268     }
 269     my $diff_file_method = "_ddl_schema_${direction}_produce_filename";
 270     my $diff_file = $self->$diff_file_method($db, $version_set, $dir );
 271     if(-e $diff_file) {
 272       carp("Overwriting existing $direction-diff file - $diff_file");
 273       unlink $diff_file;
 274     }
 275
 276     my $source_schema;
 277     {
 278       my $t = SQL::Translator->new({
 279          %{$sqltargs},
 280          debug => 0,
 281          trace => 0,
 282       });
 283
 284       $t->parser( $db ) # could this really throw an exception?
 285         or croak($t->error);
 286
 287       my $out = $t->translate( $prefilename )
 288         or croak($t->error);
 289
 290       $source_schema = $t->schema;
 291
 292       $source_schema->name( $prefilename )
 293         unless  $source_schema->name;
 294     }
 295
 296     # The "new" style of producers have sane normalization and can support
 297     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
 298     # And we have to diff parsed SQL against parsed SQL.
 299     my $dest_schema = $sqlt_schema;
 300
 301     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
 302       my $t = SQL::Translator->new({
 303          %{$sqltargs},
 304          debug => 0,
 305          trace => 0,
 306       });
 307
 308       $t->parser( $db ) # could this really throw an exception?
 309         or croak($t->error);
 310
 311       my $filename = $self->_ddl_schema_produce_filename($db, $to_version, $dir);
 312       my $out = $t->translate( $filename )
 313         or croak($t->error);
 314
 315       $dest_schema = $t->schema;
 316
 317       $dest_schema->name( $filename )
 318         unless $dest_schema->name;
 319     }
 320
 321     my $diff = SQL::Translator::Diff::schema_diff(
 322        $source_schema, $db,
 323        $dest_schema,   $db,
 324        $sqltargs
 325     );
 326     open my $file, q(>), $diff_file;
 327     print {$file} $diff;
 328     close $file;
 329   }
 330 }
 331
 332 method _read_sql_file($file) {
 333   return unless $file;
 334
 335   open my $fh, '<', $file;
 336   my @data = split /;\n/, join '', <$fh>;
 337   close $fh;
 338
 339   @data = grep {
 340     $_ && # remove blank lines
 341     !/^(BEGIN|BEGIN TRANSACTION|COMMIT)/ # strip txn's
 342   } map {
 343     s/^\s+//; s/\s+$//; # trim whitespace
 344     join '', grep { !/^--/ } split /\n/ # remove comments
 345   } @data;
 346
 347   return \@data;
 348 }
 349
 350 sub _downgrade_single_step {
 351   my $self = shift;
 352   my @version_set = @{ shift @_ };
 353   my @downgrade_files = @{$self->_ddl_schema_down_consume_filenames(
 354     $self->storage->sqlt_type,
 355     \@version_set,
 356   )};
 357
 358   for my $downgrade_file (@downgrade_files) {
 359     $self->_filedata($self->_read_sql_file($downgrade_file)); # I don't like this --fREW 2010-02-22
 360
 361     my $guard = $self->schema->txn_scope_guard if $self->txn_wrap;
 362     $self->_do_upgrade;
 363     $guard->commit if $self->txn_wrap;
 364   }
 365 }
 366
 367 sub _upgrade_single_step {
 368   my $self = shift;
 369   my @version_set = @{ shift @_ };
 370   my @upgrade_files = @{$self->_ddl_schema_up_consume_filenames(
 371     $self->storage->sqlt_type,
 372     \@version_set,
 373   )};
 374
 375   my $upgrade_sql;
 376   for my $upgrade_file (@upgrade_files) {
 377     my $up = $self->_read_sql_file($upgrade_file);
 378     $upgrade_sql .= $up;
 379     $self->_filedata($up); # I don't like this --fREW 2010-02-22
 380     my $guard = $self->schema->txn_scope_guard if $self->txn_wrap;
 381     $self->_do_upgrade;
 382     $guard->commit if $self->txn_wrap;
 383   }
 384   return ['', $upgrade_sql];
 385 }
 386
 387 method _do_upgrade { $self->_run_upgrade(qr/.*?/) }
 388
 389 method _run_upgrade($stm) {
 390   my @statements = grep { $_ =~ $stm } @{$self->_filedata};
 391
 392   for (@statements) {
 393     $self->storage->debugobj->query_start($_) if $self->storage->debug;
 394     $self->_apply_statement($_);
 395     $self->storage->debugobj->query_end($_) if $self->storage->debug;
 396   }
 397 }
 398
 399 method _apply_statement($statement) {
 400   # croak?
 401   $self->storage->dbh->do($_) or carp "SQL was: $_"
 402 }
 403
 404 __PACKAGE__->meta->make_immutable;
 405
 406 1;
 407
 408 __END__
 409
 410 vim: ts=2 sw=2 expandtab