lib/SQL/Translator/Parser/DBIx/Class.pm

   1 package SQL::Translator::Parser::DBIx::Class;
   2
   3 # AUTHOR: Jess Robinson
   4
   5 # Some mistakes the fault of Matt S Trout
   6
   7 # Others the fault of Ash Berlin
   8
   9 use strict;
  10 use warnings;
  11 our ($DEBUG, $VERSION, @EXPORT_OK);
  12 $VERSION = '1.10';
  13 $DEBUG = 0 unless defined $DEBUG;
  14
  15 use Exporter;
  16 use SQL::Translator::Utils qw(debug normalize_name);
  17 use DBIx::Class::Carp qw/^SQL::Translator|^DBIx::Class|^Try::Tiny/;
  18 use DBIx::Class::_Util 'dbic_internal_try';
  19 use DBIx::Class::Exception;
  20 use Class::C3::Componentised;
  21 use Scalar::Util 'blessed';
  22 use Try::Tiny;
  23 use namespace::clean;
  24
  25 use base qw(Exporter);
  26
  27 @EXPORT_OK = qw(parse);
  28
  29 # -------------------------------------------------------------------
  30 # parse($tr, $data)
  31 #
  32 # setting parser_args => { add_fk_index => 0 } will prevent
  33 # the auto-generation of an index for each FK.
  34 #
  35 # Note that $data, in the case of this parser, is not useful.
  36 # We're working with DBIx::Class Schemas, not data streams.
  37 # -------------------------------------------------------------------
  38 sub parse {
  39     my ($tr, $data)   = @_;
  40     my $args          = $tr->parser_args;
  41
  42     my $dbicschema = $data || $args->{dbic_schema};
  43
  44     for (qw(DBIx::Class::Schema DBIx::Schema package)) {
  45       if (defined (my $s = delete $args->{$_} )) {
  46         carp_unique("Supplying a schema via  ... parser_args => { '$_' => \$schema } is deprecated. Please use parser_args => { dbic_schema => \$schema } instead");
  47
  48         # move it from the deprecated to the proper $args slot
  49         unless ($dbicschema) {
  50           $args->{dbic_schema} = $dbicschema = $s;
  51         }
  52       }
  53     }
  54
  55     DBIx::Class::Exception->throw('No DBIx::Class::Schema') unless ($dbicschema);
  56
  57     if (!ref $dbicschema) {
  58       dbic_internal_try {
  59         Class::C3::Componentised->ensure_class_loaded($dbicschema)
  60       } catch {
  61         DBIx::Class::Exception->throw("Can't load $dbicschema: $_");
  62       }
  63     }
  64
  65     if (
  66       ref $args->{dbic_schema}
  67         and
  68       $args->{dbic_schema}->storage
  69     ) {
  70       # we have a storage-holding $schema instance in $args
  71       # we need to dissociate it from that $storage
  72       # otherwise SQLT insanity may ensue due to how some
  73       # serializing producers treat $args (crazy crazy shit)
  74       local $args->{dbic_schema}{storage};
  75       $args->{dbic_schema} = $args->{dbic_schema}->clone;
  76     }
  77
  78     my $schema      = $tr->schema;
  79     my $table_no    = 0;
  80
  81     $schema->name( ref($dbicschema) . " v" . ($dbicschema->schema_version || '1.x'))
  82       unless ($schema->name);
  83
  84     my @monikers = sort $dbicschema->sources;
  85     if (my $limit_sources = $args->{'sources'}) {
  86         my $ref = ref $limit_sources || '';
  87         $dbicschema->throw_exception ("'sources' parameter must be an array or hash ref")
  88           unless( $ref eq 'ARRAY' || ref eq 'HASH' );
  89
  90         # limit monikers to those specified in
  91         my $sources;
  92         if ($ref eq 'ARRAY') {
  93             $sources->{$_} = 1 for (@$limit_sources);
  94         } else {
  95             $sources = $limit_sources;
  96         }
  97         @monikers = grep { $sources->{$_} } @monikers;
  98     }
  99
 100
 101     my(%table_monikers, %view_monikers);
 102     for my $moniker (@monikers){
 103       my $source = $dbicschema->source($moniker);
 104        if ( $source->isa('DBIx::Class::ResultSource::Table') ) {
 105          $table_monikers{$moniker}++;
 106       } elsif( $source->isa('DBIx::Class::ResultSource::View') ){
 107           next if $source->is_virtual;
 108          $view_monikers{$moniker}++;
 109       }
 110     }
 111
 112     my %tables;
 113     foreach my $moniker (sort keys %table_monikers)
 114     {
 115         my $source = $dbicschema->source($moniker);
 116         my $table_name = $source->name;
 117
 118         # FIXME - this isn't the right way to do it, but sqlt does not
 119         # support quoting properly to be signaled about this
 120         $table_name = $$table_name if ref $table_name eq 'SCALAR';
 121
 122         # It's possible to have multiple DBIC sources using the same table
 123         next if $tables{$table_name};
 124
 125         $tables{$table_name}{source} = $source;
 126         my $table = $tables{$table_name}{object} = SQL::Translator::Schema::Table->new(
 127                                        name => $table_name,
 128                                        type => 'TABLE',
 129                                        );
 130
 131         my $ci = $source->columns_info;
 132
 133         # same order as add_columns
 134         foreach my $col ($source->columns)
 135         {
 136             # assuming column_info in dbic is the same as DBI (?)
 137             # data_type is a number, column_type is text?
 138             my %colinfo = (
 139               name => $col,
 140               size => 0,
 141               is_auto_increment => 0,
 142               is_foreign_key => 0,
 143               is_nullable => 0,
 144               %{$ci->{$col} || {}}
 145             );
 146             if ($colinfo{is_nullable}) {
 147               $colinfo{default} = '' unless exists $colinfo{default};
 148             }
 149             my $f = $table->add_field(%colinfo)
 150               || $dbicschema->throw_exception ($table->error);
 151         }
 152
 153         my @primary = $source->primary_columns;
 154
 155         $table->primary_key(@primary) if @primary;
 156
 157         my %unique_constraints = $source->unique_constraints;
 158         foreach my $uniq (sort keys %unique_constraints) {
 159             if (!$source->_compare_relationship_keys($unique_constraints{$uniq}, \@primary)) {
 160                 $table->add_constraint(
 161                             type             => 'unique',
 162                             name             => $uniq,
 163                             fields           => $unique_constraints{$uniq}
 164                 );
 165             }
 166         }
 167
 168         my @rels = $source->relationships();
 169
 170         my %created_FK_rels;
 171
 172         # global add_fk_index set in parser_args
 173         my $add_fk_index = (exists $args->{add_fk_index} && ! $args->{add_fk_index}) ? 0 : 1;
 174
 175         REL:
 176         foreach my $rel (sort @rels) {
 177
 178             my $rel_info = $source->relationship_info($rel);
 179
 180             # Ignore any rel cond that isn't a straight hash
 181             next unless ref $rel_info->{cond} eq 'HASH';
 182
 183             my $relsource = dbic_internal_try { $source->related_source($rel) };
 184             unless ($relsource) {
 185               carp "Ignoring relationship '$rel' on '$moniker' - related resultsource '$rel_info->{class}' is not registered with this schema\n";
 186               next;
 187             };
 188
 189             # related sources might be excluded via a {sources} filter or might be views
 190             next unless exists $table_monikers{$relsource->source_name};
 191
 192             my $rel_table = $relsource->name;
 193
 194             # FIXME - this isn't the right way to do it, but sqlt does not
 195             # support quoting properly to be signaled about this
 196             $rel_table = $$rel_table if ref $rel_table eq 'SCALAR';
 197
 198             # Force the order of @cond to match the order of ->add_columns
 199             my $idx;
 200             my %other_columns_idx = map {'foreign.'.$_ => ++$idx } $relsource->columns;
 201
 202             for ( keys %{$rel_info->{cond}} ) {
 203               unless (exists $other_columns_idx{$_}) {
 204                 carp "Ignoring relationship '$rel' on '$moniker' - related resultsource '@{[ $relsource->source_name ]}' does not contain one of the specified columns: '$_'\n";
 205                 next REL;
 206               }
 207             }
 208
 209             my @cond = sort { $other_columns_idx{$a} <=> $other_columns_idx{$b} } keys(%{$rel_info->{cond}});
 210
 211             # Get the key information, mapping off the foreign/self markers
 212             my @refkeys = map {/^\w+\.(\w+)$/} @cond;
 213             my @keys = map {$rel_info->{cond}->{$_} =~ /^\w+\.(\w+)$/} @cond;
 214
 215             # determine if this relationship is a self.fk => foreign.pk (i.e. belongs_to)
 216             my $fk_constraint;
 217
 218             #first it can be specified explicitly
 219             if ( exists $rel_info->{attrs}{is_foreign_key_constraint} ) {
 220                 $fk_constraint = $rel_info->{attrs}{is_foreign_key_constraint};
 221             }
 222             # it can not be multi
 223             elsif ( $rel_info->{attrs}{accessor}
 224                     && $rel_info->{attrs}{accessor} eq 'multi' ) {
 225                 $fk_constraint = 0;
 226             }
 227             # if indeed single, check if all self.columns are our primary keys.
 228             # this is supposed to indicate a has_one/might_have...
 229             # where's the introspection!!?? :)
 230             else {
 231                 $fk_constraint = not $source->_compare_relationship_keys(\@keys, \@primary);
 232             }
 233
 234             my ($otherrelname, $otherrelationship) = %{ $source->reverse_relationship_info($rel) };
 235
 236             my $cascade;
 237             for my $c (qw/delete update/) {
 238                 if (exists $rel_info->{attrs}{"on_$c"}) {
 239                     if ($fk_constraint) {
 240                         $cascade->{$c} = $rel_info->{attrs}{"on_$c"};
 241                     }
 242                     elsif ( $rel_info->{attrs}{"on_$c"} ) {
 243                         carp "SQLT attribute 'on_$c' was supplied for relationship '$moniker/$rel', which does not appear to be a foreign constraint. "
 244                             . "If you are sure that SQLT must generate a constraint for this relationship, add 'is_foreign_key_constraint => 1' to the attributes.\n";
 245                     }
 246                 }
 247                 elsif (defined $otherrelationship and $otherrelationship->{attrs}{$c eq 'update' ? 'cascade_copy' : 'cascade_delete'}) {
 248                     $cascade->{$c} = 'CASCADE';
 249                 }
 250             }
 251
 252             if($rel_table) {
 253                 # Constraints are added only if applicable
 254                 next unless $fk_constraint;
 255
 256                 # Make sure we don't create the same foreign key constraint twice
 257                 my $key_test = join("\x00", sort @keys);
 258                 next if $created_FK_rels{$rel_table}->{$key_test};
 259
 260                 if (scalar(@keys)) {
 261                   $created_FK_rels{$rel_table}->{$key_test} = 1;
 262
 263                   my $is_deferrable = $rel_info->{attrs}{is_deferrable};
 264
 265                   # calculate dependencies: do not consider deferrable constraints and
 266                   # self-references for dependency calculations
 267                   if (! $is_deferrable and $rel_table ne $table_name) {
 268                     $tables{$table_name}{foreign_table_deps}{$rel_table}++;
 269                   }
 270
 271                   # trim schema before generating constraint/index names
 272                   (my $table_abbrev = $table_name) =~ s/ ^ [^\.]+ \. //x;
 273
 274                   $table->add_constraint(
 275                     type             => 'foreign_key',
 276                     name             => join('_', $table_abbrev, 'fk', @keys),
 277                     fields           => \@keys,
 278                     reference_fields => \@refkeys,
 279                     reference_table  => $rel_table,
 280                     on_delete        => uc ($cascade->{delete} || ''),
 281                     on_update        => uc ($cascade->{update} || ''),
 282                     (defined $is_deferrable ? ( deferrable => $is_deferrable ) : ()),
 283                   );
 284
 285                   # global parser_args add_fk_index param can be overridden on the rel def
 286                   my $add_fk_index_rel = (exists $rel_info->{attrs}{add_fk_index}) ? $rel_info->{attrs}{add_fk_index} : $add_fk_index;
 287
 288                   # Check that we do not create an index identical to the PK index
 289                   # (some RDBMS croak on this, and it generally doesn't make much sense)
 290                   # NOTE: we do not sort the key columns because the order of
 291                   # columns is important for indexes and two indexes with the
 292                   # same cols but different order are allowed and sometimes
 293                   # needed
 294                   next if join("\x00", @keys) eq join("\x00", @primary);
 295
 296                   if ($add_fk_index_rel) {
 297                       (my $idx_name = $table_name) =~ s/ ^ [^\.]+ \. //x;
 298                       my $index = $table->add_index(
 299                           name   => join('_', $table_abbrev, 'idx', @keys),
 300                           fields => \@keys,
 301                           type   => 'NORMAL',
 302                       );
 303                   }
 304               }
 305             }
 306         }
 307
 308     }
 309
 310     # attach the tables to the schema in dependency order
 311     my $dependencies = {
 312       map { $_ => _resolve_deps ($_, \%tables) } (keys %tables)
 313     };
 314
 315     for my $table (sort
 316       {
 317         keys %{$dependencies->{$a} || {} } <=> keys %{ $dependencies->{$b} || {} }
 318           ||
 319         $a cmp $b
 320       }
 321       (keys %tables)
 322     ) {
 323       $schema->add_table ($tables{$table}{object});
 324       $tables{$table}{source} -> _invoke_sqlt_deploy_hook( $tables{$table}{object} );
 325
 326       # the hook might have already removed the table
 327       if ($schema->get_table($table) && $table =~ /^ \s* \( \s* SELECT \s+/ix) {
 328         carp <<'EOW';
 329
 330 Custom SQL through ->name(\'( SELECT ...') is DEPRECATED, for more details see
 331 "Arbitrary SQL through a custom ResultSource" in DBIx::Class::Manual::Cookbook
 332 or http://search.cpan.org/dist/DBIx-Class/lib/DBIx/Class/Manual/Cookbook.pod
 333
 334 EOW
 335
 336         # remove the table as there is no way someone might want to
 337         # actually deploy this
 338         $schema->drop_table ($table);
 339       }
 340     }
 341
 342     my %views;
 343     my @views = map { $dbicschema->source($_) } keys %view_monikers;
 344
 345     my $view_dependencies = {
 346         map {
 347             $_ => _resolve_deps( $dbicschema->source($_), \%view_monikers )
 348           } ( keys %view_monikers )
 349     };
 350
 351     my @view_sources =
 352       sort {
 353         keys %{ $view_dependencies->{ $a->source_name }   || {} } <=>
 354           keys %{ $view_dependencies->{ $b->source_name } || {} }
 355           || $a->source_name cmp $b->source_name
 356       }
 357       map { $dbicschema->source($_) }
 358       keys %view_monikers;
 359
 360     foreach my $source (@view_sources)
 361     {
 362         my $view_name = $source->name;
 363
 364         # FIXME - this isn't the right way to do it, but sqlt does not
 365         # support quoting properly to be signaled about this
 366         $view_name = $$view_name if ref $view_name eq 'SCALAR';
 367
 368         # Skip custom query sources
 369         next if ref $view_name;
 370
 371         # Its possible to have multiple DBIC source using same table
 372         next if $views{$view_name}++;
 373
 374         $dbicschema->throw_exception ("view $view_name is missing a view_definition")
 375             unless $source->view_definition;
 376
 377         my $view = $schema->add_view (
 378           name => $view_name,
 379           fields => [ $source->columns ],
 380           $source->view_definition ? ( 'sql' => $source->view_definition ) : ()
 381         ) || $dbicschema->throw_exception ($schema->error);
 382
 383         $source->_invoke_sqlt_deploy_hook($view);
 384     }
 385
 386
 387     if ($dbicschema->can('sqlt_deploy_hook')) {
 388       $dbicschema->sqlt_deploy_hook($schema);
 389     }
 390
 391     return 1;
 392 }
 393
 394 #
 395 # Quick and dirty dependency graph calculator
 396 #
 397 sub _resolve_deps {
 398     my ( $question, $answers, $seen ) = @_;
 399     my $ret = {};
 400     $seen ||= {};
 401     my @deps;
 402
 403     # copy and bump all deps by one (so we can reconstruct the chain)
 404     my %seen = map { $_ => $seen->{$_} + 1 } ( keys %$seen );
 405     if ( blessed($question)
 406         && $question->isa('DBIx::Class::ResultSource::View') )
 407     {
 408         $seen{ $question->result_class } = 1;
 409         @deps = keys %{ $question->{deploy_depends_on} };
 410     }
 411     else {
 412         $seen{$question} = 1;
 413         @deps = keys %{ $answers->{$question}{foreign_table_deps} };
 414     }
 415
 416     for my $dep (@deps) {
 417         if ( $seen->{$dep} ) {
 418             return {};
 419         }
 420         my $next_dep;
 421
 422         if ( blessed($question)
 423             && $question->isa('DBIx::Class::ResultSource::View') )
 424         {
 425             no warnings 'uninitialized';
 426             my ($next_dep_source_name) =
 427               grep {
 428                 $question->schema->source($_)->result_class eq $dep
 429                   && !( $question->schema->source($_)
 430                     ->isa('DBIx::Class::ResultSource::Table') )
 431               } @{ [ $question->schema->sources ] };
 432             return {} unless $next_dep_source_name;
 433             $next_dep = $question->schema->source($next_dep_source_name);
 434         }
 435         else {
 436             $next_dep = $dep;
 437         }
 438         my $subdeps = _resolve_deps( $next_dep, $answers, \%seen );
 439         $ret->{$_} += $subdeps->{$_} for ( keys %$subdeps );
 440         ++$ret->{$dep};
 441     }
 442     return $ret;
 443 }
 444
 445 1;
 446
 447 =head1 NAME
 448
 449 SQL::Translator::Parser::DBIx::Class - Create a SQL::Translator schema
 450 from a DBIx::Class::Schema instance
 451
 452 =head1 SYNOPSIS
 453
 454  ## Via DBIx::Class
 455  use MyApp::Schema;
 456  my $schema = MyApp::Schema->connect("dbi:SQLite:something.db");
 457  $schema->create_ddl_dir();
 458  ## or
 459  $schema->deploy();
 460
 461  ## Standalone
 462  use MyApp::Schema;
 463  use SQL::Translator;
 464
 465  my $schema = MyApp::Schema->connect;
 466  my $trans  = SQL::Translator->new (
 467       parser      => 'SQL::Translator::Parser::DBIx::Class',
 468       parser_args => {
 469           dbic_schema => $schema,
 470           add_fk_index => 0,
 471           sources => [qw/
 472             Artist
 473             CD
 474           /],
 475       },
 476       producer    => 'SQLite',
 477      ) or die SQL::Translator->error;
 478  my $out = $trans->translate() or die $trans->error;
 479
 480 =head1 DESCRIPTION
 481
 482 This class requires L<SQL::Translator> installed to work.
 483
 484 C<SQL::Translator::Parser::DBIx::Class> reads a DBIx::Class schema,
 485 interrogates the columns, and stuffs it all in an $sqlt_schema object.
 486
 487 Its primary use is in deploying database layouts described as a set
 488 of L<DBIx::Class> classes, to a database. To do this, see
 489 L<DBIx::Class::Schema/deploy>.
 490
 491 This can also be achieved by having DBIx::Class export the schema as a
 492 set of SQL files ready for import into your database, or passed to
 493 other machines that need to have your application installed but don't
 494 have SQL::Translator installed. To do this see
 495 L<DBIx::Class::Schema/create_ddl_dir>.
 496
 497 =head1 PARSER OPTIONS
 498
 499 =head2 dbic_schema
 500
 501 The DBIx::Class schema (either an instance or a class name) to be parsed.
 502 This argument is in fact optional - instead one can supply it later at
 503 translation time as an argument to L<SQL::Translator/translate>. In
 504 other words both of the following invocations are valid and will produce
 505 conceptually identical output:
 506
 507   my $yaml = SQL::Translator->new(
 508     parser => 'SQL::Translator::Parser::DBIx::Class',
 509     parser_args => {
 510       dbic_schema => $schema,
 511     },
 512     producer => 'SQL::Translator::Producer::YAML',
 513   )->translate;
 514
 515   my $yaml = SQL::Translator->new(
 516     parser => 'SQL::Translator::Parser::DBIx::Class',
 517     producer => 'SQL::Translator::Producer::YAML',
 518   )->translate(data => $schema);
 519
 520 =head2 add_fk_index
 521
 522 Create an index for each foreign key.
 523 Enabled by default, as having indexed foreign key columns is normally the
 524 sensible thing to do.
 525
 526 =head2 sources
 527
 528 =over 4
 529
 530 =item Arguments: \@class_names
 531
 532 =back
 533
 534 Limit the amount of parsed sources by supplying an explicit list of source names.
 535
 536 =head1 SEE ALSO
 537
 538 L<SQL::Translator>, L<DBIx::Class::Schema>
 539
 540 =head1 FURTHER QUESTIONS?
 541
 542 Check the list of L<additional DBIC resources|DBIx::Class/GETTING HELP/SUPPORT>.
 543
 544 =head1 COPYRIGHT AND LICENSE
 545
 546 This module is free software L<copyright|DBIx::Class/COPYRIGHT AND LICENSE>
 547 by the L<DBIx::Class (DBIC) authors|DBIx::Class/AUTHORS>. You can
 548 redistribute it and/or modify it under the same terms as the
 549 L<DBIx::Class library|DBIx::Class/COPYRIGHT AND LICENSE>.