lib/SQL/Translator/Producer/Dumper.pm

   1 package SQL::Translator::Producer::Dumper;
   2
   3 # -------------------------------------------------------------------
   4 # $Id: Dumper.pm,v 1.2 2004-03-09 19:35:40 kycl4rk Exp $
   5 # -------------------------------------------------------------------
   6 # Copyright (C) 2002-4 SQLFairy Authors
   7 #
   8 # This program is free software; you can redistribute it and/or
   9 # modify it under the terms of the GNU General Public License as
  10 # published by the Free Software Foundation; version 2.
  11 #
  12 # This program is distributed in the hope that it will be useful, but
  13 # WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15 # General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program; if not, write to the Free Software
  19 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
  20 # 02111-1307  USA
  21 # -------------------------------------------------------------------
  22
  23 =head1 NAME
  24
  25 SQL::Translator::Producer::Dumper - SQL Dumper producer for SQL::Translator
  26
  27 =head1 SYNOPSIS
  28
  29   use SQL::Translator::Producer::Dumper;
  30
  31   Options:
  32
  33     db_user         Database username
  34     db_password     Database password
  35     dsn             DSN for DBI
  36     mysql_loadfile  Create MySQL's LOAD FILE syntax instead of INSERTs
  37     skip=t1[,t2]    Skip tables in comma-separated list
  38     skiplike=regex  Skip tables in comma-separated list
  39
  40 =head1 DESCRIPTION
  41
  42 This producer creates a Perl script that can connect to a database and
  43 dump the data as INSERT statements (a la mysqldump) or as a file
  44 suitable for MySQL's LOAD DATA command.  If you enable "add-truncate"
  45 or specify tables to "skip" (also using the "skiplike" regular
  46 expression) then the generated dumper script will leave out those
  47 tables.  However, these will also be options in the generated dumper,
  48 so you can wait to specify these options when you dump your database.
  49 The database username, password, and DSN can be hardcoded into the
  50 generated script, or part of the DSN can be intuited from the
  51 "database" argument.
  52
  53 =cut
  54
  55 use strict;
  56 use Config;
  57 use SQL::Translator;
  58 use File::Temp 'tempfile';
  59 use Template;
  60 use vars qw($VERSION);
  61
  62 use Data::Dumper;
  63
  64 $VERSION = sprintf "%d.%02d", q$Revision: 1.2 $ =~ /(\d+)\.(\d+)/;
  65
  66 sub produce {
  67     my $t              = shift;
  68     my $args           = $t->producer_args;
  69     my $schema         = $t->schema;
  70     my $add_truncate   = $args->{'add_truncate'}   || 0;
  71     my $skip           = $args->{'skip'}           || '';
  72     my $skiplike       = $args->{'skiplike'}       || '';
  73     my $db_user        = $args->{'db_user'}        || 'db_user';
  74     my $db_pass        = $args->{'db_password'}    || 'db_pass';
  75     my $parser_name    = $t->parser_type;
  76     my %skip           = map { $_, 1 } map { s/^\s+|\s+$//; $_ }
  77                          split (/,/, $skip);
  78     my $sqlt_version   = $t->version;
  79
  80     if ( $parser_name  =~ /Parser::(\w+)$/ ) {
  81         $parser_name = $1
  82     }
  83
  84     my %type_to_dbd    = (
  85         MySQL          => 'mysql',
  86         Oracle         => 'Oracle',
  87         PostgreSQL     => 'Pg',
  88         SQLite         => 'SQLite',
  89         Sybase         => 'Sybase',
  90     );
  91     my $dbd            = $type_to_dbd{ $parser_name } || 'DBD';
  92     my $dsn            = $args->{'dsn'} || "dbi:$dbd:";
  93     if ( $dbd eq 'Pg' && ! $args->{'dsn'} ) {
  94         $dsn .= 'dbname=dbname;host=hostname';
  95     }
  96     elsif ( $dbd eq 'Oracle' && ! $args->{'dsn'} ) {
  97         $db_user = "$db_user/$db_pass@(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)" .
  98             "(HOST=hostname)(PORT=1521))(CONNECT_DATA=(SID=sid)))";
  99         $db_pass = '';
 100     }
 101     elsif ( $dbd eq 'mysql' && ! $args->{'dsn'} ) {
 102         $dsn .= 'dbname';
 103     }
 104
 105     my $template      = Template->new;
 106     my $template_text = template();
 107     my $out;
 108     $template->process(
 109         \$template_text,
 110         {
 111             translator     => $t,
 112             schema         => $schema,
 113             db_user        => $db_user,
 114             db_pass        => $db_pass,
 115             dsn            => $dsn,
 116             perl           => $Config{'startperl'},
 117             skip           => \%skip,
 118             skiplike       => $skiplike,
 119         },
 120         \$out
 121     ) or die $template->error;
 122
 123     return $out;
 124 }
 125
 126 # -------------------------------------------------------------------
 127 sub template {
 128 #
 129 # Returns the template to be processed by Template Toolkit
 130 #
 131     return <<'EOF';
 132 [% perl || '#!/usr/bin/perl' %]
 133 [% USE date %]
 134 #
 135 # Generated by SQL::Translator [% translator.version %]
 136 # [% date.format( date.now, "%Y-%m-%d" ) %]
 137 # For more info, see http://sqlfairy.sourceforge.net/
 138 #
 139
 140 use strict;
 141 use Cwd;
 142 use DBI;
 143 use Getopt::Long;
 144 use File::Spec::Functions 'catfile';
 145
 146 my ( $help, $add_truncate, $skip, $skiplike, $no_comments, $mysql_loadfile );
 147 GetOptions(
 148     'add-truncate'   => \$add_truncate,
 149     'h|help'         => \$help,
 150     'no-comments'    => \$no_comments,
 151     'mysql-loadfile' => \$mysql_loadfile,
 152     'skip:s'         => \$skip,
 153     'skiplike:s'     => \$skiplike,
 154 );
 155
 156 if ( $help ) {
 157     print <<"USAGE";
 158 Usage:
 159   $0 [options]
 160
 161   Options:
 162     -h|--help          Show help and exit
 163     --add-truncate     Add "TRUNCATE TABLE" statements
 164     --mysql-loadfile   Create MySQL's LOAD FILE syntax, not INSERTs
 165     --no-comments      Suppress comments
 166     --skip=t1[,t2]     Comma-separated list of tables to skip
 167     --skiplike=regex   Comma-separated list of tables to skip
 168
 169 USAGE
 170     exit(0);
 171 }
 172
 173 $no_comments = 1 if $mysql_loadfile;
 174
 175 [%-
 176 SET table_defs = [];
 177 SET max_field  = 0;
 178
 179 FOREACH table IN schema.get_tables;
 180     SET table_name = table.name;
 181     NEXT IF skip.$table_name;
 182     NEXT IF skiplike AND table_name.match("(?:$skiplike)");
 183
 184     SET field_names = [];
 185     SET types       = {};
 186     FOR field IN table.get_fields;
 187         field_name = field.name;
 188         fname_len  = field.name.length;
 189         max_field  = fname_len > max_field ? fname_len : max_field;
 190         types.$field_name = field.data_type.match( '(char|str|long|text)' )
 191             ? 'string' : 'number';
 192         field_names.push( field_name );
 193     END;
 194
 195     table_defs.push({
 196         name   => table_name,
 197         types  => types,
 198         fields => field_names,
 199     });
 200 END
 201 -%]
 202
 203 my $db     = DBI->connect(
 204     '[% dsn %]',
 205     '[% db_user %]',
 206     '[% db_pass %]',
 207     { RaiseError => 1 }
 208 );
 209 my %skip   = map { $_, 1 } map { s/^\s+|\s+$//; $_ } split (/,/, $skip);
 210 my @tables = (
 211 [%- FOREACH t IN table_defs %]
 212     {
 213         table_name  => '[% t.name %]',
 214         fields      => [ qw/ [% t.fields.join(' ') %] / ],
 215         types       => {
 216             [%- FOREACH fname IN t.types.keys %]
 217             '[% fname %]' => '[% t.types.$fname %]',
 218             [%- END %]
 219         },
 220     },
 221 [%- END %]
 222 );
 223
 224 for my $table ( @tables ) {
 225     my $table_name = $table->{'table_name'};
 226     next if $skip{ $table_name };
 227     next if $skiplike && $table_name =~ qr/$skiplike/;
 228
 229     my ( $out_fh, $outfile );
 230     if ( $mysql_loadfile ) {
 231         $outfile = catfile( cwd(), "$table_name.txt" );
 232         open $out_fh, ">$outfile" or
 233             die "Can't write LOAD FILE to '$table_name': $!\n";
 234     }
 235
 236     print "--\n-- Data for table '$table_name'\n--\n" unless $no_comments;
 237
 238     if ( $add_truncate ) {
 239         print "TRUNCATE TABLE $table_name;\n";
 240     }
 241
 242     my $data = $db->selectall_arrayref(
 243         'select ' . join(', ', @{ $table->{'fields'} } ) . " from $table_name",
 244         { Columns => {} }
 245     );
 246
 247     for my $rec ( @{ $data } ) {
 248         my @vals;
 249         for my $fld ( @{ $table->{'fields'} } ) {
 250             my $val = $rec->{ $fld };
 251             if ( $table->{'types'}{ $fld } eq 'string' ) {
 252                 if ( defined $val ) {
 253                     $val =~ s/'/\\'/g;
 254                     $val = qq['$val']
 255                 }
 256                 else {
 257                     $val = qq[''];
 258                 }
 259             }
 260             else {
 261                 $val = defined $val ? $val : $mysql_loadfile ? '\N' : 'NULL';
 262             }
 263             push @vals, $val;
 264         }
 265
 266         if ( $mysql_loadfile ) {
 267             print $out_fh join("\t", @vals), "\n";
 268         }
 269         else {
 270             print "INSERT INTO $table_name (".
 271                 join(', ', @{ $table->{'fields'} }) .
 272                 ' VALUES (', join(', ', @vals), ");\n";
 273         }
 274     }
 275
 276     if ( $out_fh ) {
 277         print "LOAD DATA INFILE '$outfile' INTO TABLE $table_name ",
 278             "FIELDS OPTIONALLY ENCLOSED BY '\\'';\n";
 279         close $out_fh or die "Can't close filehandle: $!\n";
 280     }
 281     else {
 282         print "\n";
 283     }
 284 }
 285 EOF
 286 }
 287
 288 1;
 289
 290 # -------------------------------------------------------------------
 291 # To create a little flower is the labour of ages.
 292 # William Blake
 293 # -------------------------------------------------------------------
 294
 295 =pod
 296
 297 =head1 AUTHOR
 298
 299 Ken Y. Clark E<lt>kclark@cpan.orgE<gt>.
 300
 301 =cut