Remove all expansion $XX tags (isolated commit, easily revertable)
[dbsrgits/SQL-Translator.git] / lib / SQL / Translator / Producer / MySQL.pm
index 3f7122d..60a85b5 100644 (file)
@@ -1,9 +1,7 @@
 package SQL::Translator::Producer::MySQL;
 
 # -------------------------------------------------------------------
-# $Id: MySQL.pm,v 1.54 2007-11-10 03:36:43 mwz444 Exp $
-# -------------------------------------------------------------------
-# Copyright (C) 2002-4 SQLFairy Authors
+# Copyright (C) 2002-2009 SQLFairy Authors
 #
 # This program is free software; you can redistribute it and/or
 # modify it under the terms of the GNU General Public License as
@@ -40,6 +38,15 @@ There are still some issues to be worked out with syntax differences
 between MySQL versions 3 and 4 ("SET foreign_key_checks," character sets
 for fields, etc.).
 
+=head1 ARGUMENTS 
+
+This producer takes a single optional producer_arg C<mysql_version>, which 
+provides the desired version for the target database. By default MySQL v3 is
+assumed, and statements pertaining to any features introduced in later versions
+(e.g. CREATE VIEW) are not produced.
+
+Valid version specifiers for C<mysql_parser_version> are listed L<here|SQL::Translator::Utils/parse_mysql_version> 
+
 =head2 Table Types
 
 Normally the tables will be created without any explicit table type given and
@@ -55,30 +62,34 @@ The producer recognises the following extra attributes on the Schema objects.
 
 =over 4
 
-=item field.list
+=item B<field.list>
 
 Set the list of allowed values for Enum fields.
 
-=item field.binary, field.unsigned, field.zerofill
+=item B<field.binary>, B<field.unsigned>, B<field.zerofill>
 
 Set the MySQL field options of the same name.
 
-=item field.renamed_from
+=item B<field.renamed_from>, B<table.renamed_from>
 
-Used when producing diffs to say this column is the new name fo the specified
-old column.
+Use when producing diffs to indicate that the current table/field has been
+renamed from the old name as given in the attribute value.
 
-=item table.mysql_table_type
+=item B<table.mysql_table_type>
 
 Set the type of the table e.g. 'InnoDB', 'MyISAM'. This will be
 automatically set for tables involved in foreign key constraints if it is
 not already set explicitly. See L<"Table Types">.
 
-=item table.mysql_charset, table.mysql_collate
+Please note that the C<ENGINE> option is the prefered method of specifying
+the MySQL storage engine to use, but this method still works for backwards
+compatability.
+
+=item B<table.mysql_charset>, B<table.mysql_collate>
 
 Set the tables default charater set and collation order.
 
-=item field.mysql_charset, field.mysql_collate
+=item B<field.mysql_charset>, B<field.mysql_collate>
 
 Set the fields charater set and collation order.
 
@@ -89,12 +100,17 @@ Set the fields charater set and collation order.
 use strict;
 use warnings;
 use vars qw[ $VERSION $DEBUG %used_names ];
-$VERSION = sprintf "%d.%02d", q$Revision: 1.54 $ =~ /(\d+)\.(\d+)/;
+$VERSION = '1.99';
 $DEBUG   = 0 unless defined $DEBUG;
 
+# Maximum length for most identifiers is 64, according to:
+#   http://dev.mysql.com/doc/refman/4.1/en/identifiers.html
+#   http://dev.mysql.com/doc/refman/5.0/en/identifiers.html
+my $DEFAULT_MAX_ID_LENGTH = 64;
+
 use Data::Dumper;
 use SQL::Translator::Schema::Constants;
-use SQL::Translator::Utils qw(debug header_comment);
+use SQL::Translator::Utils qw(debug header_comment truncate_id_uniquely parse_mysql_version);
 
 #
 # Use only lowercase for the keys (e.g. "long" and not "LONG")
@@ -122,20 +138,26 @@ my %translate  = (
     'long integer' => 'integer',
     'text'         => 'text',
     'datetime'     => 'datetime',
+
+    #
+    # PostgreSQL types
+    #
+    bytea => 'BLOB',
 );
 
 
 sub preprocess_schema {
-    my ($class, $schema) = @_;
+    my ($schema) = @_;
 
     # extra->{mysql_table_type} used to be the type. It belongs in options, so
     # move it if we find it. Return Engine type if found in extra or options
-    my $mysql_table_type_to_options = sub {
-      my ($table) = @_;
+    # Similarly for mysql_charset and mysql_collate
+    my $extra_to_options = sub {
+      my ($table, $extra_name, $opt_name) = @_;
 
       my $extra = $table->extra;
 
-      my $extra_type = delete $extra->{mysql_table_type};
+      my $extra_type = delete $extra->{$extra_name};
 
       # Now just to find if there is already an Engine or Type option...
       # and lets normalize it to ENGINE since:
@@ -148,20 +170,38 @@ sub preprocess_schema {
       # to remove options.
       my $options = ( $table->{options} ||= []);
 
+      # If multiple option names, normalize to the first one
+      if (ref $opt_name) {
+        OPT_NAME: for ( @$opt_name[1..$#$opt_name] ) {
+          for my $idx ( 0..$#{$options} ) {
+            my ($key, $value) = %{ $options->[$idx] };
+            
+            if (uc $key eq $_) {
+              $options->[$idx] = { $opt_name->[0] => $value };
+              last OPT_NAME;
+            }
+          }
+        }
+        $opt_name = $opt_name->[0];
+
+      }
+
+
       # This assumes that there isn't both a Type and an Engine option.
+      OPTION:
       for my $idx ( 0..$#{$options} ) {
         my ($key, $value) = %{ $options->[$idx] };
 
-        next unless uc $key eq 'ENGINE' || uc $key eq 'TYPE';
-
-        # if the extra.mysql_table_type is given, use that
+        next unless uc $key eq $opt_name;
+     
+        # make sure case is right on option name
         delete $options->[$idx]{$key};
-        return $options->[$idx]{ENGINE} = $value || $extra_type;
+        return $options->[$idx]{$opt_name} = $value || $extra_type;
 
       }
   
       if ($extra_type) {
-        push @$options, { ENGINE => $extra_type };
+        push @$options, { $opt_name => $extra_type };
         return $extra_type;
       }
 
@@ -175,8 +215,10 @@ sub preprocess_schema {
     # constraints. We do this first as we need InnoDB at both ends.
     #
     foreach my $table ( $schema->get_tables ) {
-       
-        $mysql_table_type_to_options->($table);
+      
+        $extra_to_options->($table, 'mysql_table_type', ['ENGINE', 'TYPE'] );
+        $extra_to_options->($table, 'mysql_charset', 'CHARACTER SET' );
+        $extra_to_options->($table, 'mysql_collate', 'COLLATE' );
 
         foreach my $c ( $table->get_constraints ) {
             next unless $c->type eq FOREIGN_KEY;
@@ -191,12 +233,19 @@ sub preprocess_schema {
 
             for my $meth (qw/table reference_table/) {
                 my $table = $schema->get_table($c->$meth) || next;
-                next if $mysql_table_type_to_options->($table);
+                # This normalizes the types to ENGINE and returns the value if its there
+                next if $extra_to_options->($table, 'mysql_table_type', ['ENGINE', 'TYPE']);
                 $table->options( { 'ENGINE' => 'InnoDB' } );
             }
         } # foreach constraints
 
+        my %map = ( mysql_collate => 'collate', mysql_charset => 'character set');
         foreach my $f ( $table->get_fields ) {
+          my $extra = $f->extra;
+          for (keys %map) {
+            $extra->{$map{$_}} = delete $extra->{$_} if exists $extra->{$_};
+          }
+
           my @size = $f->size;
           if ( !$size[0] && $f->data_type =~ /char$/ ) {
             $f->size( (255) );
@@ -214,19 +263,22 @@ sub produce {
     my $add_drop_table = $translator->add_drop_table;
     my $schema         = $translator->schema;
     my $show_warnings  = $translator->show_warnings || 0;
+    my $producer_args  = $translator->producer_args;
+    my $mysql_version  = parse_mysql_version ($producer_args->{mysql_version}, 'perl') || 0;
+    my $max_id_length  = $producer_args->{mysql_max_id_length} || $DEFAULT_MAX_ID_LENGTH;
 
-    my ($qt, $qf) = ('','');
+    my ($qt, $qf, $qc) = ('','', '');
     $qt = '`' if $translator->quote_table_names;
     $qf = '`' if $translator->quote_field_names;
 
     debug("PKG: Beginning production\n");
     %used_names = ();
-    my $create; 
+    my $create = ''; 
     $create .= header_comment unless ($no_comments);
     # \todo Don't set if MySQL 3.x is set on command line
-    $create .= "SET foreign_key_checks=0;\n\n";
+    my @create = "SET foreign_key_checks=0";
 
-    __PACKAGE__->preprocess_schema($schema);
+    preprocess_schema($schema);
 
     #
     # Generate sql
@@ -240,14 +292,74 @@ sub produce {
                                          show_warnings     => $show_warnings,
                                          no_comments       => $no_comments,
                                          quote_table_names => $qt,
-                                         quote_field_names => $qf
+                                         quote_field_names => $qf,
+                                         max_id_length     => $max_id_length,
+                                         mysql_version     => $mysql_version
+                                         });
+    }
+
+    if ($mysql_version >= 5.000001) {
+      for my $view ( $schema->get_views ) {
+        push @table_defs, create_view($view,
+                                       { add_replace_view  => $add_drop_table,
+                                         show_warnings     => $show_warnings,
+                                         no_comments       => $no_comments,
+                                         quote_table_names => $qt,
+                                         quote_field_names => $qf,
+                                         max_id_length     => $max_id_length,
+                                         mysql_version     => $mysql_version
                                          });
+      }
     }
 
+
 #    print "@table_defs\n";
-    push @table_defs, "SET foreign_key_checks=1;\n\n";
+    push @table_defs, "SET foreign_key_checks=1";
 
-    return wantarray ? ($create, @table_defs) : $create . join ('', @table_defs);
+    return wantarray ? ($create ? $create : (), @create, @table_defs) : ($create . join('', map { $_ ? "$_;\n\n" : () } (@create, @table_defs)));
+}
+
+sub create_view {
+    my ($view, $options) = @_;
+    my $qt = $options->{quote_table_names} || '';
+    my $qf = $options->{quote_field_names} || '';
+
+    my $view_name = $view->name;
+    debug("PKG: Looking at view '${view_name}'\n");
+
+    # Header.  Should this look like what mysqldump produces?
+    my $create = '';
+    $create .= "--\n-- View: ${qt}${view_name}${qt}\n--\n" unless $options->{no_comments};
+    $create .= 'CREATE';
+    $create .= ' OR REPLACE' if $options->{add_replace_view};
+    $create .= "\n";
+
+    my $extra = $view->extra;
+    # ALGORITHM
+    if( exists($extra->{mysql_algorithm}) && defined(my $algorithm = $extra->{mysql_algorithm}) ){
+      $create .= "   ALGORITHM = ${algorithm}\n" if $algorithm =~ /(?:UNDEFINED|MERGE|TEMPTABLE)/i;
+    }
+    # DEFINER
+    if( exists($extra->{mysql_definer}) && defined(my $user = $extra->{mysql_definer}) ){
+      $create .= "   DEFINER = ${user}\n";
+    }
+    # SECURITY
+    if( exists($extra->{mysql_security}) && defined(my $security = $extra->{mysql_security}) ){
+      $create .= "   SQL SECURITY ${security}\n" if $security =~ /(?:DEFINER|INVOKER)/i;
+    }
+
+    #Header, cont.
+    $create .= "  VIEW ${qt}${view_name}${qt}";
+
+    if( my @fields = $view->fields ){
+      my $list = join ', ', map { "${qf}${_}${qf}"} @fields;
+      $create .= " ( ${list} )";
+    }
+    if( my $sql = $view->sql ){
+      $create .= " AS (\n    ${sql}\n  )";
+    }
+#    $create .= "";
+    return $create;
 }
 
 sub create_table
@@ -266,7 +378,7 @@ sub create_table
     my $create = '';
     my $drop;
     $create .= "--\n-- Table: $qt$table_name$qt\n--\n" unless $options->{no_comments};
-    $drop = qq[DROP TABLE IF EXISTS $qt$table_name$qt;\n] if $options->{add_drop_table};
+    $drop = qq[DROP TABLE IF EXISTS $qt$table_name$qt] if $options->{add_drop_table};
     $create .= "CREATE TABLE $qt$table_name$qt (\n";
 
     #
@@ -310,34 +422,47 @@ sub create_table
     # Footer
     #
     $create .= "\n)";
-    $create .= generate_table_options($table) || '';
-    $create .= ";\n\n";
+    $create .= generate_table_options($table, $options) || '';
+#    $create .= ";\n\n";
 
     return $drop ? ($drop,$create) : $create;
 }
 
 sub generate_table_options 
 {
-  my ($table) = @_;
+  my ($table, $options) = @_;
   my $create;
 
   my $table_type_defined = 0;
+  my $qf               = $options->{quote_field_names} ||= '';
+  my $charset          = $table->extra('mysql_charset');
+  my $collate          = $table->extra('mysql_collate');
+  my $union            = undef;
   for my $t1_option_ref ( $table->options ) {
     my($key, $value) = %{$t1_option_ref};
     $table_type_defined = 1
       if uc $key eq 'ENGINE' or uc $key eq 'TYPE';
+    if (uc $key eq 'CHARACTER SET') {
+      $charset = $value;
+      next;
+    } elsif (uc $key eq 'COLLATE') {
+      $collate = $value;
+      next;
+    } elsif (uc $key eq 'UNION') {
+      $union = "($qf". join("$qf, $qf", @$value) ."$qf)";
+      next;
+    }
     $create .= " $key=$value";
   }
 
   my $mysql_table_type = $table->extra('mysql_table_type');
   $create .= " ENGINE=$mysql_table_type"
     if $mysql_table_type && !$table_type_defined;
-  my $charset          = $table->extra('mysql_charset');
-  my $collate          = $table->extra('mysql_collate');
   my $comments         = $table->comments;
 
   $create .= " DEFAULT CHARACTER SET $charset" if $charset;
   $create .= " COLLATE $collate" if $collate;
+  $create .= " UNION=$union" if $union;
   $create .= qq[ comment='$comments'] if $comments;
   return $create;
 }
@@ -362,6 +487,7 @@ sub create_field
     my $charset = $extra{'mysql_charset'};
     my $collate = $extra{'mysql_collate'};
 
+    my $mysql_version = $options->{mysql_version} || 0;
     #
     # Oracle "number" type -- figure best MySQL type
     #
@@ -382,14 +508,21 @@ sub create_field
     }
     #
     # Convert a large Oracle varchar to "text"
+    # (not necessary as of 5.0.3 http://dev.mysql.com/doc/refman/5.0/en/char.html)
     #
     elsif ( $data_type =~ /char/i && $size[0] > 255 ) {
-        $data_type = 'text';
-        @size      = ();
+        unless ($size[0] <= 65535 && $mysql_version >= 5.000003 ) {
+            $data_type = 'text';
+            @size      = ();
+        }
     }
     elsif ( $data_type =~ /boolean/i ) {
-        $data_type = 'enum';
-        $commalist = "'0','1'";
+        if ($mysql_version >= 4) {
+            $data_type = 'boolean';
+        } else {
+            $data_type = 'enum';
+            $commalist = "'0','1'";
+        }
     }
     elsif ( exists $translate{ lc $data_type } ) {
         $data_type = $translate{ lc $data_type };
@@ -403,9 +536,9 @@ sub create_field
 
     $field_def .= " $data_type";
 
-    if ( lc $data_type eq 'enum' ) {
+    if ( lc($data_type) eq 'enum' || lc($data_type) eq 'set') {
         $field_def .= '(' . $commalist . ')';
-    } 
+    }
     elsif ( defined $size[0] && $size[0] > 0 ) {
         $field_def .= '(' . join( ', ', @size ) . ')';
     }
@@ -430,11 +563,13 @@ sub create_field
     # Default?  XXX Need better quoting!
     my $default = $field->default_value;
     if ( defined $default ) {
-        if ( uc $default eq 'NULL') {
-            $field_def .= ' DEFAULT NULL';
-        } else {
-            $field_def .= " DEFAULT '$default'";
-        }
+        SQL::Translator::Producer->_apply_default_value(
+          \$field_def,
+          $default, 
+          [
+            'NULL'       => \'NULL',
+          ],
+        );
     }
 
     if ( my $comments = $field->comments ) {
@@ -470,7 +605,7 @@ sub create_index
 
     return join( ' ', 
                  lc $index->type eq 'normal' ? 'INDEX' : $index->type . ' INDEX',
-                 $index->name,
+                 truncate_id_uniquely( $index->name, $options->{max_id_length} || $DEFAULT_MAX_ID_LENGTH ),
                  '(' . $qf . join( "$qf, $qf", $index->fields ) . $qf . ')'
                  );
 
@@ -498,11 +633,11 @@ sub alter_drop_constraint
     my ($c, $options) = @_;
 
     my $qt      = $options->{quote_table_names} || '';
-    my $qc      = $options->{quote_constraint_names} || '';
+    my $qc      = $options->{quote_field_names} || '';
 
     my $out = sprintf('ALTER TABLE %s DROP %s %s',
-                      $c->table->name,
-                      $c->type,
+                      $qt . $c->table->name . $qt,
+                      $c->type eq FOREIGN_KEY ? $c->type : "INDEX",
                       $qc . $c->name . $qc );
 
     return $out;
@@ -536,7 +671,7 @@ sub create_constraint
     elsif ( $c->type eq UNIQUE ) {
         return
         'UNIQUE '. 
-            (defined $c->name ? $qf.$c->name.$qf.' ' : '').
+            (defined $c->name ? $qf.truncate_id_uniquely( $c->name, $options->{max_id_length} || $DEFAULT_MAX_ID_LENGTH ).$qf.' ' : '').
             '(' . $qf . join("$qf, $qf", @fields). $qf . ')';
     }
     elsif ( $c->type eq FOREIGN_KEY ) {
@@ -545,12 +680,12 @@ sub create_constraint
         #
 
         my $table = $c->table;
-        my $c_name = $c->name;
+        my $c_name = truncate_id_uniquely( $c->name, $options->{max_id_length} || $DEFAULT_MAX_ID_LENGTH );
 
         my $def = join(' ', 
                        map { $_ || () } 
                          'CONSTRAINT', 
-                         $qt . $c_name . $qt, 
+                         $qf . $c_name . $qf, 
                          'FOREIGN KEY'
                       );
 
@@ -602,9 +737,9 @@ sub alter_table
 {
     my ($to_table, $options) = @_;
 
-    my $qt = $options->{quote_table_name} || '';
+    my $qt = $options->{quote_table_names} || '';
 
-    my $table_options = generate_table_options($to_table) || '';
+    my $table_options = generate_table_options($to_table, $options) || '';
     my $out = sprintf('ALTER TABLE %s%s',
                       $qt . $to_table->name . $qt,
                       $table_options);
@@ -617,8 +752,8 @@ sub alter_field
 {
     my ($from_field, $to_field, $options) = @_;
 
-    my $qf = $options->{quote_field_name} || '';
-    my $qt = $options->{quote_table_name} || '';
+    my $qf = $options->{quote_field_names} || '';
+    my $qt = $options->{quote_table_names} || '';
 
     my $out = sprintf('ALTER TABLE %s CHANGE COLUMN %s %s',
                       $qt . $to_field->table->name . $qt,
@@ -632,7 +767,7 @@ sub add_field
 {
     my ($new_field, $options) = @_;
 
-    my $qt = $options->{quote_table_name} || '';
+    my $qt = $options->{quote_table_names} || '';
 
     my $out = sprintf('ALTER TABLE %s ADD COLUMN %s',
                       $qt . $new_field->table->name . $qt,
@@ -646,8 +781,8 @@ sub drop_field
 { 
     my ($old_field, $options) = @_;
 
-    my $qf = $options->{quote_field_name} || '';
-    my $qt = $options->{quote_table_name} || '';
+    my $qf = $options->{quote_field_names} || '';
+    my $qt = $options->{quote_table_names} || '';
     
     my $out = sprintf('ALTER TABLE %s DROP COLUMN %s',
                       $qt . $old_field->table->name . $qt,
@@ -679,14 +814,13 @@ sub batch_alter_table {
     } else { ( ) }
   } @{$diff_hash->{alter_create_constraint} };
 
-  my $drop_stmt = '';
+  my @drop_stmt;
   if (scalar keys %fks_to_alter) {
     $diff_hash->{alter_drop_constraint} = [
       grep { !$fks_to_alter{$_->name} } @{ $diff_hash->{alter_drop_constraint} }
     ];
 
-    $drop_stmt = batch_alter_table($table, { alter_drop_constraint => [ values %fks_to_alter ] }, $options) 
-               . "\n";
+    @drop_stmt = batch_alter_table($table, { alter_drop_constraint => [ values %fks_to_alter ] }, $options);
 
   }
 
@@ -713,21 +847,25 @@ sub batch_alter_table {
 
   return unless @stmts;
   # Just zero or one stmts. return now
-  return "$drop_stmt@stmts;" unless @stmts > 1;
+  return (@drop_stmt,@stmts) unless @stmts > 1;
 
   # Now strip off the 'ALTER TABLE xyz' of all but the first one
 
-  my $qt = $options->{quote_table_name} || '';
-  my $table_name = $qt . $renamed_from || $table->name . $qt;
+  my $qt = $options->{quote_table_names} || '';
+  my $table_name = $qt . $table->name . $qt;
+
+
+  my $re = $renamed_from 
+         ? qr/^ALTER TABLE (?:\Q$table_name\E|\Q$qt$renamed_from$qt\E) /
+            : qr/^ALTER TABLE \Q$table_name\E /;
 
   my $first = shift  @stmts;
-  my ($alter_table) = $first =~ /^(ALTER TABLE \Q$table_name\E )/;
+  my ($alter_table) = $first =~ /($re)/;
 
-  my $re = qr/^$alter_table/;
-  $re = qr/^ALTER TABLE \Q$qt@{[$table->name]}$qt\E / if $renamed_from;
   my $padd = " " x length($alter_table);
 
-  return $drop_stmt . join( ",\n", $first, map { s/$re//; $padd . $_ } @stmts) . ';';
+  return @drop_stmt, join( ",\n", $first, map { s/$re//; $padd . $_ } @stmts);
+
 }
 
 sub drop_table {
@@ -738,7 +876,8 @@ sub drop_table {
   # Drop (foreign key) constraints so table drops cleanly
   my @sql = batch_alter_table($table, { alter_drop_constraint => [ grep { $_->type eq 'FOREIGN KEY' } $table->get_constraints ] }, $options);
 
-  return join("\n", @sql, "DROP TABLE $qt$table$qt;");
+  return (@sql, "DROP TABLE $qt$table$qt");
+#  return join("\n", @sql, "DROP TABLE $qt$table$qt");
 
 }