lib/DBIx/Class/DeploymentHandler.pm

   1 package DBIx::Class::DeploymentHandler;
   2
   3 use Moose;
   4 use Method::Signatures::Simple;
   5 require DBIx::Class::Schema;    # loaded for type constraint
   6 require DBIx::Class::Storage;   # loaded for type constraint
   7 require DBIx::Class::ResultSet; # loaded for type constraint
   8 use Carp::Clan '^DBIx::Class::DeploymentHandler';
   9 use SQL::Translator;
  10
  11 BEGIN {
  12   use Moose::Util::TypeConstraints;
  13   subtype 'DBIx::Class::DeploymentHandler::Databases'
  14     => as 'ArrayRef[Str]';
  15
  16   coerce 'DBIx::Class::DeploymentHandler::Databases'
  17     => from 'Str'
  18     => via { [$_] };
  19   no Moose::Util::TypeConstraints;
  20 }
  21
  22 has schema => (
  23   isa      => 'DBIx::Class::Schema',
  24   is       => 'ro',
  25   required => 1,
  26   handles => [qw( ddl_filename schema_version )],
  27 );
  28
  29 has upgrade_directory => (
  30   isa      => 'Str',
  31   is       => 'ro',
  32   required => 1,
  33   default  => 'sql',
  34 );
  35
  36 has backup_directory => (
  37   isa => 'Str',
  38   is  => 'ro',
  39 );
  40
  41 has storage => (
  42   isa        => 'DBIx::Class::Storage',
  43   is         => 'ro',
  44   lazy_build => 1,
  45 );
  46
  47 method _build_storage {
  48   my $s = $self->schema->storage;
  49   $s->_determine_driver;
  50   $s
  51 }
  52
  53 has _filedata => (
  54   isa => 'ArrayRef[Str]',
  55   is  => 'rw',
  56 );
  57
  58 has do_backup => (
  59   isa     => 'Bool',
  60   is      => 'ro',
  61   default => undef,
  62 );
  63
  64 has do_diff_on_init => (
  65   isa     => 'Bool',
  66   is      => 'ro',
  67   default => undef,
  68 );
  69
  70 has version_rs => (
  71   isa        => 'DBIx::Class::ResultSet',
  72   is         => 'ro',
  73   lazy_build => 1,
  74   handles    => [qw( is_installed db_version )],
  75 );
  76
  77 has databases => (
  78   coerce  => 1,
  79   isa     => 'DBIx::Class::DeploymentHandler::Databases',
  80   is      => 'ro',
  81   default => sub { [qw( MySQL SQLite PostgreSQL )] },
  82 );
  83
  84 has sqltargs => (
  85   isa => 'HashRef',
  86   is  => 'ro',
  87   default => sub { {} },
  88 );
  89
  90 method deployment_statements {
  91   my $dir      = $self->upgrade_directory;
  92   my $schema   = $self->schema;
  93   my $type     = $self->storage->sqlt_type;
  94   my $sqltargs = $self->sqltargs;
  95   my $version  = $schema->schema_version || '1.x';
  96
  97   my $filename = $schema->ddl_filename($type, $version, $dir);
  98   if(-f $filename)
  99   {
 100       my $file;
 101       open($file, "<$filename")
 102         or $self->throw_exception("Can't open $filename ($!)");
 103       my @rows = <$file>;
 104       close($file);
 105       return join('', @rows);
 106   }
 107
 108   # sources needs to be a parser arg, but for simplicty allow at top level
 109   # coming in
 110   $sqltargs->{parser_args}{sources} = delete $sqltargs->{sources}
 111       if exists $sqltargs->{sources};
 112
 113   my $tr = SQL::Translator->new(
 114     producer => "SQL::Translator::Producer::${type}",
 115     %$sqltargs,
 116     parser => 'SQL::Translator::Parser::DBIx::Class',
 117     data => $schema,
 118   );
 119
 120   my @ret;
 121   my $wa = wantarray;
 122   if ($wa) {
 123     @ret = $tr->translate;
 124   }
 125   else {
 126     $ret[0] = $tr->translate;
 127   }
 128
 129   $schema->throw_exception( 'Unable to produce deployment statements: ' . $tr->error)
 130     unless (@ret && defined $ret[0]);
 131
 132   return $wa ? @ret : $ret[0];
 133 }
 134
 135 method deploy {
 136   my $schema   = $self->schema;
 137   my $type     = undef;
 138   my $sqltargs = $self->sqltargs;
 139   my $dir      = $self->upgrade_directory;
 140   my $storage  = $self->storage;
 141
 142   my $deploy = sub {
 143     my $line = shift;
 144     return if($line =~ /^--/);
 145     return if(!$line);
 146     # next if($line =~ /^DROP/m);
 147     return if($line =~ /^BEGIN TRANSACTION/m);
 148     return if($line =~ /^COMMIT/m);
 149     return if $line =~ /^\s+$/; # skip whitespace only
 150     $storage->_query_start($line);
 151     eval {
 152       # do a dbh_do cycle here, as we need some error checking in
 153       # place (even though we will ignore errors)
 154       $storage->dbh_do (sub { $_[1]->do($line) });
 155     };
 156     if ($@) {
 157       carp "$@ (running '${line}')"
 158     }
 159     $storage->_query_end($line);
 160   };
 161   my @statements = $self->deployment_statements($schema, $type, undef, $dir, { %{ $sqltargs || {} }, no_comments => 1 } );
 162   if (@statements > 1) {
 163     foreach my $statement (@statements) {
 164       $deploy->( $statement );
 165     }
 166   }
 167   elsif (@statements == 1) {
 168     foreach my $line ( split(";\n", $statements[0])) {
 169       $deploy->( $line );
 170     }
 171   }
 172 }
 173
 174 method _build_version_rs {
 175    $self->schema->set_us_up_the_bomb;
 176    $self->schema->resultset('__VERSION')
 177 }
 178
 179 method backup { $self->storage->backup($self->backup_directory) }
 180
 181 method install($new_version) {
 182   carp 'Install not possible as versions table already exists in database'
 183     if $self->is_installed;
 184
 185   $new_version ||= $self->schema_version;
 186
 187   if ($new_version) {
 188     $self->deploy();
 189
 190     $self->version_rs->create({
 191       version     => $new_version,
 192       # ddl         => $ddl,
 193       # upgrade_sql => $upgrade_sql,
 194     });
 195   }
 196 }
 197
 198 method create_upgrade_path { }
 199
 200 method ordered_schema_versions { undef }
 201
 202 method upgrade {
 203   my $db_version     = $self->db_version;
 204   my $schema_version = $self->schema_version;
 205
 206   unless ($db_version) {
 207     # croak?
 208     carp 'Upgrade not possible as database is unversioned. Please call install first.';
 209     return;
 210   }
 211
 212   if ( $db_version eq $schema_version ) {
 213     # croak?
 214     carp "Upgrade not necessary\n";
 215     return;
 216   }
 217
 218   my @version_list = $self->ordered_schema_versions ||
 219     ( $db_version, $schema_version );
 220
 221   # remove all versions in list above the required version
 222   while ( @version_list && ( $version_list[-1] ne $schema_version ) ) {
 223     pop @version_list;
 224   }
 225
 226   # remove all versions in list below the current version
 227   while ( @version_list && ( $version_list[0] ne $db_version ) ) {
 228     shift @version_list;
 229   }
 230
 231   # check we have an appropriate list of versions
 232   die if @version_list < 2;
 233
 234   # do sets of upgrade
 235   while ( @version_list >= 2 ) {
 236     $self->upgrade_single_step( $version_list[0], $version_list[1] );
 237     shift @version_list;
 238   }
 239 }
 240
 241 method upgrade_single_step($db_version, $target_version) {
 242   if ($db_version eq $target_version) {
 243     # croak?
 244     carp "Upgrade not necessary\n";
 245     return;
 246   }
 247
 248   my $upgrade_file = $self->ddl_filename(
 249     $self->storage->sqlt_type,
 250     $target_version,
 251     $self->upgrade_directory,
 252     $db_version,
 253   );
 254
 255   $self->create_upgrade_path({ upgrade_file => $upgrade_file });
 256
 257   unless (-f $upgrade_file) {
 258     # croak?
 259     carp "Upgrade not possible, no upgrade file found ($upgrade_file), please create one\n";
 260     return;
 261   }
 262
 263   carp "DB version ($db_version) is lower than the schema version (".$self->schema_version."). Attempting upgrade.\n";
 264
 265   $self->_filedata($self->_read_sql_file($upgrade_file)); # I don't like this --fREW 2010-02-22
 266   $self->backup if $self->do_backup;
 267   $self->schema->txn_do(sub { $self->do_upgrade });
 268
 269   $self->version_rs->create({
 270     version     => $target_version,
 271     # ddl         => $ddl,
 272     # upgrade_sql => $upgrade_sql,
 273   });
 274 }
 275
 276 method create_ddl_dir($version, $preversion) {
 277   my $schema    = $self->schema;
 278   my $databases = $self->databases;
 279   my $dir       = $self->upgrade_directory;
 280   my $sqltargs  = $self->sqltargs;
 281   unless( -d $dir ) {
 282     carp "Upgrade directory $dir does not exist, using ./\n";
 283     $dir = "./";
 284   }
 285
 286   my $schema_version = $schema->schema_version || '1.x';
 287   $version ||= $schema_version;
 288
 289   $sqltargs = {
 290     add_drop_table => 1,
 291     ignore_constraint_names => 1,
 292     ignore_index_names => 1,
 293     %{$sqltargs || {}}
 294   };
 295
 296   my $sqlt = SQL::Translator->new( $sqltargs );
 297
 298   $sqlt->parser('SQL::Translator::Parser::DBIx::Class');
 299   my $sqlt_schema = $sqlt->translate({ data => $schema })
 300     or $self->throw_exception ($sqlt->error);
 301
 302   foreach my $db (@$databases) {
 303     $sqlt->reset;
 304     $sqlt->{schema} = $sqlt_schema;
 305     $sqlt->producer($db);
 306
 307     my $filename = $self->ddl_filename($db, $version, $dir);
 308     if (-e $filename && ($version eq $schema_version )) {
 309       # if we are dumping the current version, overwrite the DDL
 310       carp "Overwriting existing DDL file - $filename";
 311       unlink $filename;
 312     }
 313
 314     my $output = $sqlt->translate;
 315     if(!$output) {
 316       carp("Failed to translate to $db, skipping. (" . $sqlt->error . ")");
 317       next;
 318     }
 319     my $file;
 320     unless( open $file, q(>), $filename ) {
 321       $self->throw_exception("Can't open $filename for writing ($!)");
 322       next;
 323     }
 324     print {$file} $output;
 325     close $file;
 326
 327     next unless $preversion;
 328
 329     require SQL::Translator::Diff;
 330
 331     my $prefilename = $self->ddl_filename($db, $preversion, $dir);
 332     unless(-e $prefilename) {
 333       carp("No previous schema file found ($prefilename)");
 334       next;
 335     }
 336
 337     my $diff_file = $self->ddl_filename($db, $version, $dir, $preversion);
 338     if(-e $diff_file) {
 339       carp("Overwriting existing diff file - $diff_file");
 340       unlink $diff_file;
 341     }
 342
 343     my $source_schema;
 344     {
 345       my $t = SQL::Translator->new({
 346          %{$sqltargs},
 347          debug => 0,
 348          trace => 0,
 349       });
 350
 351       $t->parser( $db ) # could this really throw an exception?
 352         or $self->throw_exception ($t->error);
 353
 354       my $out = $t->translate( $prefilename )
 355         or $self->throw_exception ($t->error);
 356
 357       $source_schema = $t->schema;
 358
 359       $source_schema->name( $prefilename )
 360         unless  $source_schema->name;
 361     }
 362
 363     # The "new" style of producers have sane normalization and can support
 364     # diffing a SQL file against a DBIC->SQLT schema. Old style ones don't
 365     # And we have to diff parsed SQL against parsed SQL.
 366     my $dest_schema = $sqlt_schema;
 367
 368     unless ( "SQL::Translator::Producer::$db"->can('preprocess_schema') ) {
 369       my $t = SQL::Translator->new({
 370          %{$sqltargs},
 371          debug => 0,
 372          trace => 0,
 373       });
 374
 375       $t->parser( $db ) # could this really throw an exception?
 376         or $self->throw_exception ($t->error);
 377
 378       my $out = $t->translate( $filename )
 379         or $self->throw_exception ($t->error);
 380
 381       $dest_schema = $t->schema;
 382
 383       $dest_schema->name( $filename )
 384         unless $dest_schema->name;
 385     }
 386
 387     my $diff = SQL::Translator::Diff::schema_diff(
 388        $source_schema, $db,
 389        $dest_schema,   $db,
 390        $sqltargs
 391     );
 392     unless(open $file, q(>), $diff_file) {
 393       $self->throw_exception("Can't write to $diff_file ($!)");
 394       next;
 395     }
 396     print {$file} $diff;
 397     close $file;
 398   }
 399 }
 400
 401 method do_upgrade { $self->run_upgrade(qr/.*?/) }
 402
 403 method run_upgrade($stm) {
 404   return unless $self->_filedata;
 405   my @statements = grep { $_ =~ $stm } @{$self->_filedata};
 406
 407   for (@statements) {
 408     $self->storage->debugobj->query_start($_) if $self->storage->debug;
 409     $self->apply_statement($_);
 410     $self->storage->debugobj->query_end($_) if $self->storage->debug;
 411   }
 412 }
 413
 414 method apply_statement($statement) {
 415   # croak?
 416   $self->storage->dbh->do($_) or carp "SQL was: $_"
 417 }
 418
 419 method _read_sql_file($file) {
 420   return unless $file;
 421
 422   open my $fh, '<', $file or carp("Can't open upgrade file, $file ($!)");
 423   my @data = split /\n/, join '', <$fh>;
 424   close $fh;
 425
 426   @data = grep {
 427     $_ &&
 428     !/^--/ &&
 429     !/^(BEGIN|BEGIN TRANSACTION|COMMIT)/m
 430   } split /;/,
 431     join '', @data;
 432
 433   return \@data;
 434 }
 435
 436 1;
 437
 438 __END__
 439
 440 vim: ts=2,sw=2,expandtab