lib/SQL/Translator/Producer/SQLite.pm

   1 package SQL::Translator::Producer::SQLite;
   2
   3 =head1 NAME
   4
   5 SQL::Translator::Producer::SQLite - SQLite producer for SQL::Translator
   6
   7 =head1 SYNOPSIS
   8
   9   use SQL::Translator;
  10
  11   my $t = SQL::Translator->new( parser => '...', producer => 'SQLite' );
  12   $t->translate;
  13
  14 =head1 DESCRIPTION
  15
  16 This module will produce text output of the schema suitable for SQLite.
  17
  18 =cut
  19
  20 use strict;
  21 use warnings;
  22 use Data::Dumper;
  23 use SQL::Translator::Schema::Constants;
  24 use SQL::Translator::Utils qw(debug header_comment parse_dbms_version);
  25 use SQL::Translator::ProducerUtils;
  26 my $util = SQL::Translator::ProducerUtils->new( quote_chars => q(') );
  27
  28 our ( $DEBUG, $WARN );
  29 our $VERSION = '1.59';
  30 $DEBUG = 0 unless defined $DEBUG;
  31 $WARN = 0 unless defined $WARN;
  32
  33 our $max_id_length    = 30;
  34 my %global_names;
  35
  36 sub produce {
  37     my $translator     = shift;
  38     local $DEBUG       = $translator->debug;
  39     local $WARN        = $translator->show_warnings;
  40     my $no_comments    = $translator->no_comments;
  41     my $add_drop_table = $translator->add_drop_table;
  42     my $schema         = $translator->schema;
  43     my $producer_args  = $translator->producer_args;
  44     my $sqlite_version = parse_dbms_version(
  45         $producer_args->{sqlite_version}, 'perl'
  46     );
  47     my $no_txn         = $producer_args->{no_transaction};
  48
  49     debug("PKG: Beginning production\n");
  50
  51     %global_names = ();   #reset
  52
  53
  54     my $head = (header_comment() . "\n") unless $no_comments;
  55
  56     my @create = ();
  57
  58     push @create, "BEGIN TRANSACTION" unless $no_txn;
  59
  60     for my $table ( $schema->get_tables ) {
  61         push @create, create_table($table, { no_comments => $no_comments,
  62                                              sqlite_version => $sqlite_version,
  63                                           add_drop_table => $add_drop_table,});
  64     }
  65
  66     for my $view ( $schema->get_views ) {
  67       push @create, create_view($view, {
  68         add_drop_view => $add_drop_table,
  69         no_comments   => $no_comments,
  70       });
  71     }
  72
  73     for my $trigger ( $schema->get_triggers ) {
  74       push @create, create_trigger($trigger, {
  75         add_drop_trigger => $add_drop_table,
  76         no_comments   => $no_comments,
  77       });
  78     }
  79
  80     push @create, "COMMIT" unless $no_txn;
  81
  82     if (wantarray) {
  83       return ($head||(), @create);
  84     } else {
  85       return join ('',
  86         $head||(),
  87         join(";\n\n", @create ),
  88         ";\n",
  89       );
  90     }
  91 }
  92
  93 sub mk_name {
  94     my ($name, $scope, $critical) = @_;
  95
  96     $scope ||= \%global_names;
  97     if ( my $prev = $scope->{ $name } ) {
  98         my $name_orig = $name;
  99         $name        .= sprintf( "%02d", ++$prev );
 100         substr($name, $max_id_length - 3) = "00"
 101             if length( $name ) > $max_id_length;
 102
 103         warn "The name '$name_orig' has been changed to ",
 104              "'$name' to make it unique.\n" if $WARN;
 105
 106         $scope->{ $name_orig }++;
 107     }
 108
 109     $scope->{ $name }++;
 110     return $util->quote($name);
 111 }
 112
 113 sub create_view {
 114     my ($view, $options) = @_;
 115     my $add_drop_view = $options->{add_drop_view};
 116
 117     my $view_name = $util->quote($view->name);
 118     $global_names{$view->name} = 1;
 119
 120     debug("PKG: Looking at view '${view_name}'\n");
 121
 122     # Header.  Should this look like what mysqldump produces?
 123     my $extra = $view->extra;
 124     my @create;
 125     push @create, "DROP VIEW IF EXISTS $view_name" if $add_drop_view;
 126
 127     my $create_view = 'CREATE';
 128     $create_view .= " TEMPORARY" if exists($extra->{temporary}) && $extra->{temporary};
 129     $create_view .= ' VIEW';
 130     $create_view .= " IF NOT EXISTS" if exists($extra->{if_not_exists}) && $extra->{if_not_exists};
 131     $create_view .= " ${view_name}";
 132
 133     if( my $sql = $view->sql ){
 134       $create_view .= " AS\n    ${sql}";
 135     }
 136     push @create, $create_view;
 137
 138     # Tack the comment onto the first statement.
 139     unless ($options->{no_comments}) {
 140       $create[0] = "--\n-- View: ${view_name}\n--\n" . $create[0];
 141     }
 142
 143     return @create;
 144 }
 145
 146
 147 sub create_table
 148 {
 149     my ($table, $options) = @_;
 150
 151     my $table_name = $util->quote($table->name);
 152     $global_names{$table->name} = 1;
 153
 154     my $no_comments = $options->{no_comments};
 155     my $add_drop_table = $options->{add_drop_table};
 156     my $sqlite_version = $options->{sqlite_version} || 0;
 157
 158     debug("PKG: Looking at table '$table_name'\n");
 159
 160     my ( @index_defs, @constraint_defs );
 161     my @fields = $table->get_fields or die "No fields in $table_name";
 162
 163     my $temp = $options->{temporary_table} ? 'TEMPORARY ' : '';
 164     #
 165     # Header.
 166     #
 167     my $exists = ($sqlite_version >= 3.003) ? ' IF EXISTS' : '';
 168     my @create;
 169     my ($comment, $create_table) = "";
 170     $comment =  "--\n-- Table: $table_name\n--\n" unless $no_comments;
 171     if ($add_drop_table) {
 172       push @create, $comment . qq[DROP TABLE$exists $table_name];
 173     } else {
 174       $create_table = $comment;
 175     }
 176
 177     $create_table .= "CREATE ${temp}TABLE $table_name (\n";
 178
 179     #
 180     # Comments
 181     #
 182     if ( $table->comments and !$no_comments ){
 183         $create_table .= "-- Comments: \n-- ";
 184         $create_table .= join "\n-- ",  $table->comments;
 185         $create_table .= "\n--\n\n";
 186     }
 187
 188     #
 189     # How many fields in PK?
 190     #
 191     my $pk        = $table->primary_key;
 192     my @pk_fields = $pk ? $pk->fields : ();
 193
 194     #
 195     # Fields
 196     #
 197     my ( @field_defs, $pk_set );
 198     for my $field ( @fields ) {
 199         push @field_defs, create_field($field);
 200     }
 201
 202     if (
 203          scalar @pk_fields > 1
 204          ||
 205          ( @pk_fields && !grep /INTEGER PRIMARY KEY/, @field_defs )
 206          ) {
 207         push @field_defs, 'PRIMARY KEY (' . join(', ', map $util->quote($_), @pk_fields ) . ')';
 208     }
 209
 210     #
 211     # Indices
 212     #
 213     my $idx_name_default = 'A';
 214     for my $index ( $table->get_indices ) {
 215         push @index_defs, create_index($index);
 216     }
 217
 218     #
 219     # Constraints
 220     #
 221     my $c_name_default = 'A';
 222     for my $c ( $table->get_constraints ) {
 223         if ($c->type eq "FOREIGN KEY") {
 224             push @field_defs, create_foreignkey($c);
 225         }
 226         next unless $c->type eq UNIQUE;
 227         push @constraint_defs, create_constraint($c);
 228     }
 229
 230     $create_table .= join(",\n", map { "  $_" } @field_defs ) . "\n)";
 231
 232     return (@create, $create_table, @index_defs, @constraint_defs );
 233 }
 234
 235 sub create_foreignkey {
 236     my $c = shift;
 237
 238     my @fields = $c->fields;
 239     my @rfields = map { $_ || () } $c->reference_fields;
 240     unless ( @rfields ) {
 241         my $rtable_name = $c->reference_table;
 242         if ( my $ref_table = $c->schema->get_table( $rtable_name ) ) {
 243             push @rfields, $ref_table->primary_key;
 244
 245             die "FK constraint on " . $rtable_name . '.' . join('', @fields) . " has no reference fields\n"
 246               unless @rfields;
 247         }
 248         else {
 249             die "Can't find reference table '$rtable_name' in schema\n";
 250         }
 251     }
 252
 253     my $fk_sql = sprintf 'FOREIGN KEY (%s) REFERENCES %s(%s)',
 254         join (', ', map { $util->quote($_) } @fields ),
 255         $util->quote($c->reference_table),
 256         join (', ', map { $util->quote($_) } @rfields )
 257     ;
 258
 259     $fk_sql .= " ON DELETE " . $c->{on_delete} if $c->{on_delete};
 260     $fk_sql .= " ON UPDATE " . $c->{on_update} if $c->{on_update};
 261
 262     return $fk_sql;
 263 }
 264
 265 sub create_field
 266 {
 267     my ($field, $options) = @_;
 268
 269     my $field_name = $util->quote($field->name);
 270     debug("PKG: Looking at field '$field_name'\n");
 271     my $field_comments = $field->comments
 272         ? "-- " . $field->comments . "\n  "
 273         : '';
 274
 275     my $field_def = $field_comments.$field_name;
 276
 277     # data type and size
 278     my $size      = $field->size;
 279     my $data_type = $field->data_type;
 280     $data_type    = 'varchar' if lc $data_type eq 'set';
 281     $data_type  = 'blob' if lc $data_type eq 'bytea';
 282
 283     if ( lc $data_type =~ /(text|blob)/i ) {
 284         $size = undef;
 285     }
 286
 287 #             if ( $data_type =~ /timestamp/i ) {
 288 #                 push @trigger_defs,
 289 #                     "CREATE TRIGGER ts_${table_name} ".
 290 #                     "after insert on $table_name\n".
 291 #                     "begin\n".
 292 #                     "  update $table_name set $field_name=timestamp() ".
 293 #                        "where id=new.id;\n".
 294 #                     "end;\n"
 295 #                 ;
 296 #
 297 #            }
 298
 299     #
 300     # SQLite is generally typeless, but newer versions will
 301     # make a field autoincrement if it is declared as (and
 302     # *only* as) INTEGER PRIMARY KEY
 303     #
 304     my $pk        = $field->table->primary_key;
 305     my @pk_fields = $pk ? $pk->fields : ();
 306
 307     if (
 308          $field->is_primary_key &&
 309          scalar @pk_fields == 1 &&
 310          (
 311           $data_type =~ /int(eger)?$/i
 312           ||
 313           ( $data_type =~ /^number?$/i && $size !~ /,/ )
 314           )
 315          ) {
 316         $data_type = 'INTEGER PRIMARY KEY';
 317         $size      = undef;
 318 #        $pk_set    = 1;
 319     }
 320
 321     $field_def .= sprintf " %s%s", $data_type,
 322     ( !$field->is_auto_increment && $size ) ? "($size)" : '';
 323
 324     # Null?
 325     $field_def .= ' NOT NULL' unless $field->is_nullable;
 326
 327     # Default?
 328     SQL::Translator::Producer->_apply_default_value(
 329         $field,
 330         \$field_def,
 331         [
 332          'NULL'              => \'NULL',
 333          'now()'             => 'now()',
 334          'CURRENT_TIMESTAMP' => 'CURRENT_TIMESTAMP',
 335         ],
 336     );
 337
 338     return $field_def;
 339
 340 }
 341
 342 sub create_index
 343 {
 344     my ($index, $options) = @_;
 345
 346     my $name   = $index->name;
 347     $name      = mk_name($name);
 348
 349     my $type   = $index->type eq 'UNIQUE' ? "UNIQUE " : '';
 350
 351     # strip any field size qualifiers as SQLite doesn't like these
 352     my @fields = map { s/\(\d+\)$//; $util->quote($_) } $index->fields;
 353     (my $index_table_name = $index->table->name) =~ s/^.+?\.//; # table name may not specify schema
 354     $index_table_name = $util->quote($index_table_name);
 355     warn "removing schema name from '" . $index->table->name . "' to make '$index_table_name'\n" if $WARN;
 356     my $index_def =
 357     "CREATE ${type}INDEX $name ON " . $index_table_name .
 358         ' (' . join( ', ', @fields ) . ')';
 359
 360     return $index_def;
 361 }
 362
 363 sub create_constraint
 364 {
 365     my ($c, $options) = @_;
 366
 367     my $name   = $c->name;
 368     $name      = mk_name($name);
 369     my @fields = map $util->quote($_), $c->fields;
 370     (my $index_table_name = $c->table->name) =~ s/^.+?\.//; # table name may not specify schema
 371     $index_table_name = $util->quote($index_table_name);
 372     warn "removing schema name from '" . $c->table->name . "' to make '$index_table_name'\n" if $WARN;
 373
 374     my $c_def =
 375     "CREATE UNIQUE INDEX $name ON " . $index_table_name .
 376         ' (' . join( ', ', @fields ) . ')';
 377
 378     return $c_def;
 379 }
 380
 381 sub create_trigger {
 382   my ($trigger, $options) = @_;
 383   my $add_drop = $options->{add_drop_trigger};
 384
 385   my @statements;
 386
 387   my $trigger_name = $trigger->name;
 388   $global_names{$trigger_name} = 1;
 389
 390   my $events = $trigger->database_events;
 391   for my $evt ( @$events ) {
 392
 393     my $trig_name = $trigger_name;
 394     if (@$events > 1) {
 395       $trig_name .= "_$evt";
 396
 397       warn "Multiple database events supplied for trigger '$trigger_name', ",
 398         "creating trigger '$trig_name' for the '$evt' event.\n" if $WARN;
 399     }
 400
 401     $trig_name = $util->quote($trig_name);
 402     push @statements,  "DROP TRIGGER IF EXISTS $trig_name" if $add_drop;
 403
 404
 405     $DB::single = 1;
 406     my $action = "";
 407     if (not ref $trigger->action) {
 408       $action .= "BEGIN " . $trigger->action . " END";
 409     }
 410     else {
 411       $action = $trigger->action->{for_each} . " "
 412         if $trigger->action->{for_each};
 413
 414       $action = $trigger->action->{when} . " "
 415         if $trigger->action->{when};
 416
 417       my $steps = $trigger->action->{steps} || [];
 418
 419       $action .= "BEGIN ";
 420       $action .= $_ . "; " for (@$steps);
 421       $action .= "END";
 422     }
 423
 424     push @statements, sprintf (
 425       'CREATE TRIGGER %s %s %s on %s %s',
 426       $trig_name,
 427       $trigger->perform_action_when,
 428       $evt,
 429       $util->quote($trigger->on_table),
 430       $action
 431     );
 432   }
 433
 434   return @statements;
 435 }
 436
 437 sub alter_table { } # Noop
 438
 439 sub add_field {
 440   my ($field) = @_;
 441
 442   return sprintf("ALTER TABLE %s ADD COLUMN %s",
 443       $util->quote($field->table->name), create_field($field))
 444 }
 445
 446 sub alter_create_index {
 447   my ($index) = @_;
 448
 449   # This might cause name collisions
 450   return create_index($index);
 451 }
 452
 453 sub alter_create_constraint {
 454   my ($constraint) = @_;
 455
 456   return create_constraint($constraint) if $constraint->type eq 'UNIQUE';
 457 }
 458
 459 sub alter_drop_constraint { alter_drop_index(@_) }
 460
 461 sub alter_drop_index {
 462   my ($constraint) = @_;
 463
 464   return sprintf("DROP INDEX %s",
 465       $util->quote($constraint->name));
 466 }
 467
 468 sub batch_alter_table {
 469   my ($table, $diffs) = @_;
 470
 471   # If we have any of the following
 472   #
 473   #  rename_field
 474   #  alter_field
 475   #  drop_field
 476   #
 477   # we need to do the following <http://www.sqlite.org/faq.html#q11>
 478   #
 479   # BEGIN TRANSACTION;
 480   # CREATE TEMPORARY TABLE t1_backup(a,b);
 481   # INSERT INTO t1_backup SELECT a,b FROM t1;
 482   # DROP TABLE t1;
 483   # CREATE TABLE t1(a,b);
 484   # INSERT INTO t1 SELECT a,b FROM t1_backup;
 485   # DROP TABLE t1_backup;
 486   # COMMIT;
 487   #
 488   # Fun, eh?
 489   #
 490   # If we have rename_field we do similarly.
 491
 492   my $table_name = $table->name;
 493   my $renaming = $diffs->{rename_table} && @{$diffs->{rename_table}};
 494
 495   if ( @{$diffs->{rename_field}} == 0 &&
 496        @{$diffs->{alter_field}}  == 0 &&
 497        @{$diffs->{drop_field}}   == 0
 498        ) {
 499 #    return join("\n", map {
 500     return map {
 501         my $meth = __PACKAGE__->can($_) or die __PACKAGE__ . " cant $_";
 502         map { my $sql = $meth->(ref $_ eq 'ARRAY' ? @$_ : $_); $sql ?  ("$sql") : () } @{ $diffs->{$_} }
 503
 504       } grep { @{$diffs->{$_}} }
 505     qw/rename_table
 506        alter_drop_constraint
 507        alter_drop_index
 508        drop_field
 509        add_field
 510        alter_field
 511        rename_field
 512        alter_create_index
 513        alter_create_constraint
 514        alter_table/;
 515   }
 516
 517
 518   my @sql;
 519   my $old_table = $renaming ? $diffs->{rename_table}[0][0] : $table;
 520
 521   do {
 522     local $table->{name} = $table_name . '_temp_alter';
 523     # We only want the table - dont care about indexes on tmp table
 524     my ($table_sql) = create_table($table, {no_comments => 1, temporary_table => 1});
 525     push @sql,$table_sql;
 526   };
 527
 528   push @sql, "INSERT INTO @{[$util->quote($table_name.'_temp_alter')]} SELECT @{[ join(', ', map $util->quote($_), $old_table->get_fields)]} FROM @{[$util->quote($old_table)]}",
 529              "DROP TABLE @{[$util->quote($old_table)]}",
 530              create_table($table, { no_comments => 1 }),
 531              "INSERT INTO @{[$util->quote($table_name)]} SELECT @{[ join(', ', map $util->quote($_), $old_table->get_fields)]} FROM @{[$util->quote($table_name.'_temp_alter')]}",
 532              "DROP TABLE @{[$util->quote($table_name.'_temp_alter')]}";
 533
 534   return @sql;
 535 #  return join("", @sql, "");
 536 }
 537
 538 sub drop_table {
 539   my ($table) = @_;
 540   $table = $util->quote($table);
 541   return "DROP TABLE $table";
 542 }
 543
 544 sub rename_table {
 545   my ($old_table, $new_table, $options) = @_;
 546
 547   $old_table = $util->quote($old_table);
 548   $new_table = $util->quote($new_table);
 549
 550   return "ALTER TABLE $old_table RENAME TO $new_table";
 551
 552 }
 553
 554 # No-op. Just here to signify that we are a new style parser.
 555 sub preproces_schema { }
 556
 557 1;
 558
 559 =pod
 560
 561 =head1 SEE ALSO
 562
 563 SQL::Translator, http://www.sqlite.org/.
 564
 565 =head1 AUTHOR
 566
 567 Ken Youens-Clark C<< <kclark@cpan.orgE> >>.
 568
 569 Diff code added by Ash Berlin C<< <ash@cpan.org> >>.
 570
 571 =cut