No versions in use statements - encourages shit like autorequires
[dbsrgits/SQL-Translator.git] / lib / SQL / Translator.pm
index a50fa5f..988e117 100644 (file)
 package SQL::Translator;
 
-# ----------------------------------------------------------------------
-# $Id: Translator.pm,v 1.41 2003-08-20 22:19:14 kycl4rk Exp $
-# ----------------------------------------------------------------------
-# Copyright (C) 2003 Ken Y. Clark <kclark@cpan.org>,
-#                    darren chamberlain <darren@cpan.org>,
-#                    Chris Mungall <cjm@fruitfly.org>
-#
-# This program is free software; you can redistribute it and/or
-# modify it under the terms of the GNU General Public License as
-# published by the Free Software Foundation; version 2.
-#
-# This program is distributed in the hope that it will be useful, but
-# WITHOUT ANY WARRANTY; without even the implied warranty of
-# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
-# General Public License for more details.
-#
-# You should have received a copy of the GNU General Public License
-# along with this program; if not, write to the Free Software
-# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
-# 02111-1307  USA
-# -------------------------------------------------------------------
-
-use strict;
-use vars qw( $VERSION $REVISION $DEFAULT_SUB $DEBUG $ERROR );
-use base 'Class::Base';
+use Moo;
+our ( $DEFAULT_SUB, $DEBUG, $ERROR );
 
-require 5.004;
-
-$VERSION  = '0.02';
-$REVISION = sprintf "%d.%02d", q$Revision: 1.41 $ =~ /(\d+)\.(\d+)/;
+our $VERSION  = '0.11013_02';
 $DEBUG    = 0 unless defined $DEBUG;
 $ERROR    = "";
 
-use Carp qw(carp);
+use Carp qw(carp croak);
 
-use Class::Base;
+use Data::Dumper;
+use File::Find;
 use File::Spec::Functions qw(catfile);
 use File::Basename qw(dirname);
 use IO::Dir;
+use Sub::Quote qw(quote_sub);
+use SQL::Translator::Producer;
 use SQL::Translator::Schema;
+use SQL::Translator::Utils qw(throw ex2err carp_ro);
 
-# ----------------------------------------------------------------------
-# The default behavior is to "pass through" values (note that the
-# SQL::Translator instance is the first value ($_[0]), and the stuff
-# to be parsed is the second value ($_[1])
-# ----------------------------------------------------------------------
 $DEFAULT_SUB = sub { $_[0]->schema } unless defined $DEFAULT_SUB;
 
-# ----------------------------------------------------------------------
-# init([ARGS])
-#   The constructor.
-#
-#   new takes an optional hash of arguments.  These arguments may
-#   include a parser, specified with the keys "parser" or "from",
-#   and a producer, specified with the keys "producer" or "to".
-#
-#   The values that can be passed as the parser or producer are
-#   given directly to the parser or producer methods, respectively.
-#   See the appropriate method description below for details about
-#   what each expects/accepts.
-# ----------------------------------------------------------------------
-sub init {
-    my ( $self, $config ) = @_;
-    #
-    # Set the parser and producer.
-    #
+with qw(
+    SQL::Translator::Role::Debug
+    SQL::Translator::Role::Error
+    SQL::Translator::Role::BuildArgs
+);
+
+around BUILDARGS => sub {
+    my $orig = shift;
+    my $self = shift;
+    my $config = $self->$orig(@_);
+
     # If a 'parser' or 'from' parameter is passed in, use that as the
     # parser; if a 'producer' or 'to' parameter is passed in, use that
     # as the producer; both default to $DEFAULT_SUB.
-    #
-    $self->parser  ($config->{'parser'}   || $config->{'from'} || $DEFAULT_SUB);
-    $self->producer($config->{'producer'} || $config->{'to'}   || $DEFAULT_SUB);
+    $config->{parser} ||= $config->{from} if defined $config->{from};
+    $config->{producer} ||= $config->{to} if defined $config->{to};
 
-       #
-       # Set up callbacks for formatting of pk,fk,table,package names in producer
-       #
-       $self->format_table_name($config->{'format_table_name'});
-       $self->format_package_name($config->{'format_package_name'});
-       $self->format_fk_name($config->{'format_fk_name'});
-       $self->format_pk_name($config->{'format_pk_name'});
+    $config->{filename} ||= $config->{file} if defined $config->{file};
 
-    #
-    # Set the parser_args and producer_args
-    #
-    for my $pargs ( qw[ parser_args producer_args ] ) {
-        $self->$pargs( $config->{$pargs} ) if defined $config->{ $pargs };
-    }
+    my $quote;
+    if (defined $config->{quote_identifiers}) {
+      $quote = $config->{quote_identifiers};
 
-    #
-    # Set the data source, if 'filename' or 'file' is provided.
-    #
-    $config->{'filename'} ||= $config->{'file'} || "";
-    $self->filename( $config->{'filename'} ) if $config->{'filename'};
-
-    #
-    # Finally, if there is a 'data' parameter, use that in 
-    # preference to filename and file
-    #
-    if ( my $data = $config->{'data'} ) {
-        $self->data( $data );
+      for (qw/quote_table_names quote_field_names/) {
+        carp "Ignoring deprecated parameter '$_', since 'quote_identifiers' is supplied"
+          if defined $config->{$_}
+      }
     }
+    # Legacy one set the other is not
+    elsif (
+      defined $config->{'quote_table_names'}
+        xor
+      defined $config->{'quote_field_names'}
+    ) {
+      if (defined $config->{'quote_table_names'}) {
+        carp "Explicitly disabling the deprecated 'quote_table_names' implies disabling 'quote_identifiers' which in turn implies disabling 'quote_field_names'"
+          unless $config->{'quote_table_names'};
+        $quote = $config->{'quote_table_names'} ? 1 : 0;
+      }
+      else {
+        carp "Explicitly disabling the deprecated 'quote_field_names' implies disabling 'quote_identifiers' which in turn implies disabling 'quote_table_names'"
+          unless $config->{'quote_field_names'};
+        $quote = $config->{'quote_field_names'} ? 1 : 0;
+      }
+    }
+    # Legacy both are set
+    elsif(defined $config->{'quote_table_names'}) {
+      croak 'Setting quote_table_names and quote_field_names to conflicting values is no longer supported'
+        if ($config->{'quote_table_names'} xor $config->{'quote_field_names'});
 
-    #
-    # Set various other options.
-    #
-    $self->{'debug'} = defined $config->{'debug'} ? $config->{'debug'} : $DEBUG;
-
-    $self->add_drop_table( $config->{'add_drop_table'} );
-    
-    $self->no_comments( $config->{'no_comments'} );
+      $quote = $config->{'quote_table_names'} ? 1 : 0;
+    }
 
-    $self->show_warnings( $config->{'show_warnings'} );
+    $config->{quote_identifiers} = $quote if defined $quote;
 
-    $self->trace( $config->{'trace'} );
+    return $config;
+};
 
-    $self->validate( $config->{'validate'} );
+sub BUILD {
+    my ($self) = @_;
+    # Make sure all the tool-related stuff is set up
+    foreach my $tool (qw(producer parser)) {
+        $self->$tool($self->$tool);
+    }
+}
 
-    return $self;
+has $_ => (
+    is => 'rw',
+    default => quote_sub(q{ 0 }),
+    coerce => quote_sub(q{ $_[0] ? 1 : 0 }),
+) foreach qw(add_drop_table no_comments show_warnings trace validate);
+
+# quote_identifiers is on by default, use a 0-but-true as indicator
+# so we can allow individual producers to change the default
+has quote_identifiers => (
+    is => 'rw',
+    default => quote_sub(q{ '0E0' }),
+    coerce => quote_sub(q{ $_[0] || 0 }),
+);
+
+sub quote_table_names {
+    (@_ > 1 and ($_[1] xor $_[0]->quote_identifiers) )
+        ? croak 'Using quote_table_names as a setter is no longer supported'
+        : $_[0]->quote_identifiers;
 }
 
-# ----------------------------------------------------------------------
-# add_drop_table([$bool])
-# ----------------------------------------------------------------------
-sub add_drop_table {
-    my $self = shift;
-    if ( defined (my $arg = shift) ) {
-        $self->{'add_drop_table'} = $arg ? 1 : 0;
-    }
-    return $self->{'add_drop_table'} || 0;
+sub quote_field_names {
+    (@_ > 1 and ($_[1] xor $_[0]->quote_identifiers) )
+        ? croak 'Using quote_field_names as a setter is no longer supported'
+        : $_[0]->quote_identifiers;
 }
 
-# ----------------------------------------------------------------------
-# no_comments([$bool])
-# ----------------------------------------------------------------------
-sub no_comments {
-    my $self = shift;
-    my $arg  = shift;
-    if ( defined $arg ) {
-        $self->{'no_comments'} = $arg ? 1 : 0;
+after quote_identifiers => sub {
+    if (@_ > 1) {
+        # synchronize for old code reaching directly into guts
+        $_[0]->{quote_table_names}
+            = $_[0]->{quote_field_names}
+                = $_[1] ? 1 : 0;
     }
-    return $self->{'no_comments'} || 0;
-}
+};
 
+has producer => ( is => 'rw', default => sub { $DEFAULT_SUB } );
 
-# ----------------------------------------------------------------------
-# producer([$producer_spec])
-#
-# Get or set the producer for the current translator.
-# ----------------------------------------------------------------------
-sub producer {
-    my $self = shift;
+around producer => sub {
+    my $orig = shift;
+    shift->_tool({
+        orig => $orig,
+        name => 'producer',
+        path => "SQL::Translator::Producer",
+        default_sub => "produce",
+    }, @_);
+};
 
-    # producer as a mutator
-    if (@_) {
-        my $producer = shift;
+has producer_type => ( is => 'rwp', init_arg => undef );
 
-        # Passed a module name (string containing "::")
-        if ($producer =~ /::/) {
-            my $func_name;
+around producer_type => carp_ro('producer_type');
 
-            # Module name was passed directly
-            # We try to load the name; if it doesn't load, there's
-            # a possibility that it has a function name attached to
-            # it.
-            if (load($producer)) {
-                $func_name = "produce";
-            } 
+has producer_args => ( is => 'rw', default => quote_sub(q{ +{} }) );
 
-            # Module::function was passed
-            else {
-                # Passed Module::Name::function; try to recover
-                my @func_parts = split /::/, $producer;
-                $func_name = pop @func_parts;
-                $producer = join "::", @func_parts;
-
-                # If this doesn't work, then we have a legitimate
-                # problem.
-                load($producer) or die "Can't load $producer: $@";
-            }
+around producer_args => sub {
+    my $orig = shift;
+    shift->_args($orig, @_);
+};
 
-            # get code reference and assign
-            $self->{'producer'} = \&{ "$producer\::$func_name" };
-            $self->{'producer_type'} = $producer;
-            $self->debug("Got producer: $producer\::$func_name\n");
-        } 
+has parser => ( is => 'rw', default => sub { $DEFAULT_SUB }  );
 
-        # passed an anonymous subroutine reference
-        elsif (isa($producer, 'CODE')) {
-            $self->{'producer'} = $producer;
-            $self->{'producer_type'} = "CODE";
-            $self->debug("Got producer: code ref\n");
-        } 
+around parser => sub {
+    my $orig = shift;
+    shift->_tool({
+        orig => $orig,
+        name => 'parser',
+        path => "SQL::Translator::Parser",
+        default_sub => "parse",
+    }, @_);
+};
 
-        # passed a string containing no "::"; relative package name
-        else {
-            $producer =~ s/-/::/g;
-            my $Pp = sprintf "SQL::Translator::Producer::$producer";
-            load($Pp) or die "Can't load $Pp: $@";
-            $self->{'producer'} = \&{ "$Pp\::produce" };
-            $self->{'producer_type'} = $Pp;
-            $self->debug("Got producer: $Pp\n");
-        }
+has parser_type => ( is => 'rwp', init_arg => undef );
 
-        # At this point, $self->{'producer'} contains a subroutine
-        # reference that is ready to run
+around parser_type => carp_ro('parser_type');
 
-        # Anything left?  If so, it's producer_args
-        $self->producer_args(@_) if (@_);
-    }
+has parser_args => ( is => 'rw', default => quote_sub(q{ +{} }) );
 
-    return $self->{'producer'};
+around parser_args => sub {
+    my $orig = shift;
+    shift->_args($orig, @_);
 };
 
-# ----------------------------------------------------------------------
-# producer_type()
-#
-# producer_type is an accessor that allows producer subs to get
-# information about their origin.  This is poptentially important;
-# since all producer subs are called as subroutine references, there is
-# no way for a producer to find out which package the sub lives in
-# originally, for example.
-# ----------------------------------------------------------------------
-sub producer_type { $_[0]->{'producer_type'} }
-
-# ----------------------------------------------------------------------
-# producer_args([\%args])
-#
-# Arbitrary name => value pairs of paramters can be passed to a
-# producer using this method.
-#
-# If the first argument passed in is undef, then the hash of arguments
-# is cleared; all subsequent elements are added to the hash of name,
-# value pairs stored as producer_args.
-# ----------------------------------------------------------------------
-sub producer_args {
-    my $self = shift;
-    return $self->_args("producer", @_);
-}
-
-# ----------------------------------------------------------------------
-# parser([$parser_spec])
-# ----------------------------------------------------------------------
-sub parser {
-    my $self = shift;
-
-    # parser as a mutator
-    if (@_) {
-        my $parser = shift;
-
-        # Passed a module name (string containing "::")
-        if ($parser =~ /::/) {
-            my $func_name;
-
-            # Module name was passed directly
-            # We try to load the name; if it doesn't load, there's
-            # a possibility that it has a function name attached to
-            # it.
-            if (load($parser)) {
-                $func_name = "parse";
+has filters => (
+    is => 'rw',
+    default => quote_sub(q{ [] }),
+    coerce => sub {
+        my @filters;
+        # Set. Convert args to list of [\&code,@args]
+        foreach (@{$_[0]||[]}) {
+            my ($filt,@args) = ref($_) eq "ARRAY" ? @$_ : $_;
+            if ( isa($filt,"CODE") ) {
+                push @filters, [$filt,@args];
+                next;
             }
-
-            # Module::function was passed
             else {
-                # Passed Module::Name::function; try to recover
-                my @func_parts = split /::/, $parser;
-                $func_name = pop @func_parts;
-                $parser = join "::", @func_parts;
-
-                # If this doesn't work, then we have a legitimate
-                # problem.
-                load($parser) or die "Can't load $parser: $@";
-            } 
-
-            # get code reference and assign
-            $self->{'parser'} = \&{ "$parser\::$func_name" };
-            $self->{'parser_type'} = $parser;
-            $self->debug("Got parser: $parser\::$func_name\n");
+                __PACKAGE__->debug("Adding $filt filter. Args:".Dumper(\@args)."\n");
+                $filt = _load_sub("$filt\::filter", "SQL::Translator::Filter")
+                    || throw(__PACKAGE__->error);
+                push @filters, [$filt,@args];
+            }
         }
+        return \@filters;
+    },
+);
 
-        # passed an anonymous subroutine reference
-        elsif ( isa( $parser, 'CODE' ) ) {
-            $self->{'parser'}      = $parser;
-            $self->{'parser_type'} = "CODE";
-            $self->debug("Got parser: code ref\n");
-        } 
-
-        # passed a string containing no "::"; relative package name
-        else {
-            $parser =~ s/-/::/g;
-            my $Pp = "SQL::Translator::Parser::$parser";
-            load( $Pp ) or die "Can't load $Pp: $@";
-            $self->{'parser'}      = \&{ "$Pp\::parse" };
-            $self->{'parser_type'} = $Pp;
-            $self->debug("Got parser: $Pp\n");
-        } 
-
-        #
-        # At this point, $self->{'parser'} contains a subroutine
-        # reference that is ready to run
-        #
-        $self->parser_args( @_ ) if (@_);
-    }
-
-    return $self->{'parser'};
-}
-
-# ----------------------------------------------------------------------
-sub parser_type { $_[0]->{'parser_type'} }
-
-sub parser_args {
+around filters => sub {
+    my $orig = shift;
     my $self = shift;
-    return $self->_args("parser", @_);
-}
-
-sub show_warnings {
-    my $self = shift;
-    my $arg  = shift;
-    if ( defined $arg ) {
-        $self->{'show_warnings'} = $arg ? 1 : 0;
-    }
-    return $self->{'show_warnings'} || 0;
-}
-
+    return @{$self->$orig([@{$self->$orig}, @_])} if @_;
+    return @{$self->$orig};
+};
 
-# filename - get or set the filename
-sub filename {
-    my $self = shift;
-    if (@_) {
+has filename => (
+    is => 'rw',
+    isa => sub {
         my $filename = shift;
         if (-d $filename) {
-            my $msg = "Cannot use directory '$filename' as input source";
-            return $self->error($msg);
-       } elsif (ref($filename) eq 'ARRAY') {
-           $self->{'filename'} = $filename;
-           $self->debug("Got array of files: ".join(', ',@$filename)."\n");
-        } elsif (-f _ && -r _) {
-            $self->{'filename'} = $filename;
-            $self->debug("Got filename: '$self->{'filename'}'\n");
-        } else {
-            my $msg = "Cannot use '$filename' as input source: ".
-                      "file does not exist or is not readable.";
-            return $self->error($msg);
+            throw("Cannot use directory '$filename' as input source");
+        } elsif (not -f _ && -r _) {
+            throw("Cannot use '$filename' as input source: ".
+                  "file does not exist or is not readable.");
         }
-    }
-
-    $self->{'filename'};
-}
-
-# ----------------------------------------------------------------------
-# data([$data])
-#
-# if $self->{'data'} is not set, but $self->{'filename'} is, then
-# $self->{'filename'} is opened and read, with the results put into
-# $self->{'data'}.
-# ----------------------------------------------------------------------
-sub data {
-    my $self = shift;
-
-    # Set $self->{'data'} based on what was passed in.  We will
-    # accept a number of things; do our best to get it right.
-    if (@_) {
+    },
+);
+
+around filename => \&ex2err;
+
+has data => (
+    is => 'rw',
+    builder => 1,
+    lazy => 1,
+    coerce => sub {
+        # Set $self->data based on what was passed in.  We will
+        # accept a number of things; do our best to get it right.
         my $data = shift;
-        if (isa($data, "SCALAR")) {
-            $self->{'data'} =  $data;
+        if (isa($data, 'ARRAY')) {
+            $data = join '', @$data;
         }
-        else {
-            if (isa($data, 'ARRAY')) {
-                $data = join '', @$data;
-            }
-            elsif (isa($data, 'GLOB')) {
-                local $/;
-                $data = <$data>;
-            }
-            elsif (! ref $data && @_) {
-                $data = join '', $data, @_;
-            }
-            $self->{'data'} = \$data;
+        elsif (isa($data, 'GLOB')) {
+            seek ($data, 0, 0) if eof ($data);
+            local $/;
+            $data = <$data>;
         }
+        return isa($data, 'SCALAR') ? $data : \$data;
+    },
+);
+
+around data => sub {
+    my $orig = shift;
+    my $self = shift;
+
+    if (@_ > 1 && !ref $_[0]) {
+        return $self->$orig(\join('', @_));
+    }
+    elsif (@_) {
+        return $self->$orig(@_);
     }
+    return ex2err($orig, $self);
+};
 
+sub _build_data {
+    my $self = shift;
     # If we have a filename but no data yet, populate.
-    if (not $self->{'data'} and my $filename = $self->filename) {
+    if (my $filename = $self->filename) {
         $self->debug("Opening '$filename' to get contents.\n");
-        local *FH;
         local $/;
         my $data;
 
-       my @files = ref($filename) eq 'ARRAY' ? @$filename : ($filename);
+        my @files = ref($filename) eq 'ARRAY' ? @$filename : ($filename);
 
-       foreach my $file (@files) {
-               unless (open FH, $file) {
-                   return $self->error("Can't read file '$file': $!");
-               }
+        foreach my $file (@files) {
+            open my $fh, '<', $file
+               or throw("Can't read file '$file': $!");
 
-               $data .= <FH>;
+            $data .= <$fh>;
 
-               unless (close FH) {
-                   return $self->error("Can't close file '$file': $!");
-               }
-       }
+            close $fh or throw("Can't close file '$file': $!");
+        }
 
-       $self->{'data'} = \$data;
+        return \$data;
     }
-
-    return $self->{'data'};
-}
-
-# ----------------------------------------------------------------------
-sub reset {
-#
-# Deletes the existing Schema object so that future calls to translate
-# don't append to the existing.
-#
-    my $self = shift;
-    $self->{'schema'} = undef;
-    return 1;
 }
 
-# ----------------------------------------------------------------------
-sub schema {
-#
-# Returns the SQL::Translator::Schema object
-#
-    my $self = shift;
-
-    unless ( defined $self->{'schema'} ) {
-        $self->{'schema'} = SQL::Translator::Schema->new;
-    }
+has schema => (
+    is => 'lazy',
+    init_arg => undef,
+    clearer => 'reset',
+    predicate => '_has_schema',
+);
 
-    return $self->{'schema'};
-}
+around schema => carp_ro('schema');
 
-# ----------------------------------------------------------------------
-sub trace {
+around reset => sub {
+    my $orig = shift;
     my $self = shift;
-    my $arg  = shift;
-    if ( defined $arg ) {
-        $self->{'trace'} = $arg ? 1 : 0;
-    }
-    return $self->{'trace'} || 0;
-}
+    $self->$orig(@_);
+    return 1
+};
+
+sub _build_schema { SQL::Translator::Schema->new(translator => shift) }
 
-# ----------------------------------------------------------------------
-# translate([source], [\%args])
-#
-# translate does the actual translation.  The main argument is the
-# source of the data to be translated, which can be a filename, scalar
-# reference, or glob reference.
-#
-# Alternatively, translate takes optional arguements, which are passed
-# to the appropriate places.  Most notable of these arguments are
-# parser and producer, which can be used to set the parser and
-# producer, respectively.  This is the applications last chance to set
-# these.
-#
-# translate returns a string.
-# ----------------------------------------------------------------------
 sub translate {
     my $self = shift;
     my ($args, $parser, $parser_type, $producer, $producer_type);
-    my ($parser_output, $producer_output);
+    my ($parser_output, $producer_output, @producer_output);
 
     # Parse arguments
-    if (@_ == 1) { 
+    if (@_ == 1) {
         # Passed a reference to a hash?
         if (isa($_[0], 'HASH')) {
             # yep, a hashref
@@ -526,9 +356,6 @@ sub translate {
     # Get the data.
     # ----------------------------------------------------------------
     my $data = $self->data;
-    unless (ref($data) eq 'SCALAR' and length $$data) {
-        return $self->error("Empty data file!");
-    }
 
     # ----------------------------------------------------------------
     # Local reference to the parser subroutine
@@ -549,13 +376,15 @@ sub translate {
     $producer_type = $self->producer_type;
 
     # ----------------------------------------------------------------
-    # Execute the parser, then execute the producer with that output.
+    # Execute the parser, the filters and then execute the producer.
     # Allowances are made for each piece to die, or fail to compile,
     # since the referenced subroutines could be almost anything.  In
     # the future, each of these might happen in a Safe environment,
     # depending on how paranoid we want to be.
     # ----------------------------------------------------------------
-    unless ( defined $self->{'schema'} ) {
+
+    # Run parser
+    unless ( $self->_has_schema ) {
         eval { $parser_output = $parser->($self, $$data) };
         if ($@ || ! $parser_output) {
             my $msg = sprintf "translate: Error with parser '%s': %s",
@@ -563,52 +392,47 @@ sub translate {
             return $self->error($msg);
         }
     }
+    $self->debug("Schema =\n", Dumper($self->schema), "\n");
 
+    # Validate the schema if asked to.
     if ($self->validate) {
         my $schema = $self->schema;
         return $self->error('Invalid schema') unless $schema->is_valid;
     }
 
-    eval { $producer_output = $producer->($self) };
-    if ($@ || ! $producer_output) {
-        my $msg = sprintf "translate: Error with producer '%s': %s",
-            $producer_type, ($@) ? $@ : " no results";
+    # Run filters
+    my $filt_num = 0;
+    foreach ($self->filters) {
+        $filt_num++;
+        my ($code,@args) = @$_;
+        eval { $code->($self->schema, @args) };
+        my $err = $@ || $self->error || 0;
+        return $self->error("Error with filter $filt_num : $err") if $err;
+    }
+
+    # Run producer
+    # Calling wantarray in the eval no work, wrong scope.
+    my $wantarray = wantarray ? 1 : 0;
+    eval {
+        if ($wantarray) {
+            @producer_output = $producer->($self);
+        } else {
+            $producer_output = $producer->($self);
+        }
+    };
+    if ($@ || !( $producer_output || @producer_output)) {
+        my $err = $@ || $self->error || "no results";
+        my $msg = "translate: Error with producer '$producer_type': $err";
         return $self->error($msg);
     }
 
-    return $producer_output;
+    return wantarray ? @producer_output : $producer_output;
 }
 
-# ----------------------------------------------------------------------
-# list_parsers()
-#
-# Hacky sort of method to list all available parsers.  This has
-# several problems:
-#
-#   - Only finds things in the SQL::Translator::Parser namespace
-#
-#   - Only finds things that are located in the same directory
-#     as SQL::Translator::Parser.  Yeck.
-#
-# This method will fail in several very likely cases:
-#
-#   - Parser modules in different namespaces
-#
-#   - Parser modules in the SQL::Translator::Parser namespace that
-#     have any XS componenets will be installed in
-#     arch_lib/SQL/Translator.
-#
-# ----------------------------------------------------------------------
 sub list_parsers {
     return shift->_list("parser");
 }
 
-# ----------------------------------------------------------------------
-# list_producers()
-#
-# See notes for list_parsers(), above; all the problems apply to
-# list_producers as well.
-# ----------------------------------------------------------------------
 sub list_producers {
     return shift->_list("producer");
 }
@@ -625,12 +449,7 @@ sub list_producers {
 # ----------------------------------------------------------------------
 sub _args {
     my $self = shift;
-    my $type = shift;
-    $type = "${type}_args" unless $type =~ /_args$/;
-
-    unless (defined $self->{$type} && isa($self->{$type}, 'HASH')) {
-        $self->{$type} = { };
-    }
+    my $orig = shift;
 
     if (@_) {
         # If the first argument is an explicit undef (remember, we
@@ -638,82 +457,210 @@ sub _args {
         # out the producer_args hash.
         if (! defined $_[0]) {
             shift @_;
-            %{$self->{$type}} = ();
+            $self->$orig({});
         }
 
         my $args = isa($_[0], 'HASH') ? shift : { @_ };
-        %{$self->{$type}} = (%{$self->{$type}}, %$args);
+        return $self->$orig({ %{$self->$orig}, %$args });
+    }
+
+    return $self->$orig;
+}
+
+# ----------------------------------------------------------------------
+# Does the get/set work for parser and producer. e.g.
+# return $self->_tool({
+#   name => 'producer',
+#   path => "SQL::Translator::Producer",
+#   default_sub => "produce",
+# }, @_);
+# ----------------------------------------------------------------------
+sub _tool {
+    my ($self,$args) = (shift, shift);
+    my $name = $args->{name};
+    my $orig = $args->{orig};
+    return $self->{$name} unless @_; # get accessor
+
+    my $path = $args->{path};
+    my $default_sub = $args->{default_sub};
+    my $tool = shift;
+
+    # passed an anonymous subroutine reference
+    if (isa($tool, 'CODE')) {
+        $self->$orig($tool);
+        $self->${\"_set_${name}_type"}("CODE");
+        $self->debug("Got $name: code ref\n");
     }
 
-    $self->{$type};
+    # Module name was passed directly
+    # We try to load the name; if it doesn't load, there's a
+    # possibility that it has a function name attached to it,
+    # so we give it a go.
+    else {
+        $tool =~ s/-/::/g if $tool !~ /::/;
+        my ($code,$sub);
+        ($code,$sub) = _load_sub("$tool\::$default_sub", $path);
+        unless ($code) {
+            if ( __PACKAGE__->error =~ m/Can't find module/ ) {
+                # Mod not found so try sub
+                ($code,$sub) = _load_sub("$tool", $path) unless $code;
+                die "Can't load $name subroutine '$tool' : ".__PACKAGE__->error
+                unless $code;
+            }
+            else {
+                die "Can't load $name '$tool' : ".__PACKAGE__->error;
+            }
+        }
+
+        # get code reference and assign
+        my (undef,$module,undef) = $sub =~ m/((.*)::)?(\w+)$/;
+        $self->$orig($code);
+        $self->${\"_set_$name\_type"}($sub eq "CODE" ? "CODE" : $module);
+        $self->debug("Got $name: $sub\n");
+    }
+
+    # At this point, $self->{$name} contains a subroutine
+    # reference that is ready to run
+
+    # Anything left?  If so, it's args
+    my $meth = "$name\_args";
+    $self->$meth(@_) if (@_);
+
+    return $self->{$name};
 }
 
 # ----------------------------------------------------------------------
 # _list($type)
 # ----------------------------------------------------------------------
 sub _list {
-    my $self = shift;
-    my $type = shift || return ();
+    my $self   = shift;
+    my $type   = shift || return ();
     my $uctype = ucfirst lc $type;
-    my %found;
 
+    #
+    # First find all the directories where SQL::Translator
+    # parsers or producers (the "type") appear to live.
+    #
     load("SQL::Translator::$uctype") or return ();
     my $path = catfile "SQL", "Translator", $uctype;
+    my @dirs;
     for (@INC) {
         my $dir = catfile $_, $path;
         $self->debug("_list_${type}s searching $dir\n");
         next unless -d $dir;
-
-        my $dh = IO::Dir->new($dir);
-        for (grep /\.pm$/, $dh->read) {
-            s/\.pm$//;
-            $found{ join "::", "SQL::Translator::$uctype", $_ } = 1;
-        }
+        push @dirs, $dir;
     }
 
-    return keys %found;
+    #
+    # Now use File::File::find to look recursively in those
+    # directories for all the *.pm files, then present them
+    # with the slashes turned into dashes.
+    #
+    my %found;
+    find(
+        sub {
+            if ( -f && m/\.pm$/ ) {
+                my $mod      =  $_;
+                   $mod      =~ s/\.pm$//;
+                my $cur_dir  = $File::Find::dir;
+                my $base_dir = quotemeta catfile 'SQL', 'Translator', $uctype;
+
+                #
+                # See if the current directory is below the base directory.
+                #
+                if ( $cur_dir =~ m/$base_dir(.*)/ ) {
+                    $cur_dir = $1;
+                    $cur_dir =~ s!^/!!;  # kill leading slash
+                    $cur_dir =~ s!/!-!g; # turn other slashes into dashes
+                }
+                else {
+                    $cur_dir = '';
+                }
+
+                $found{ join '-', map { $_ || () } $cur_dir, $mod } = 1;
+            }
+        },
+        @dirs
+    );
+
+    return sort { lc $a cmp lc $b } keys %found;
 }
 
 # ----------------------------------------------------------------------
-# load($module)
+# load(MODULE [,PATH[,PATH]...])
 #
 # Loads a Perl module.  Short circuits if a module is already loaded.
+#
+# MODULE - is the name of the module to load.
+#
+# PATH - optional list of 'package paths' to look for the module in. e.g
+# If you called load('Super::Foo' => 'My', 'Other') it will
+# try to load the mod Super::Foo then My::Super::Foo then Other::Super::Foo.
+#
+# Returns package name of the module actually loaded or false and sets error.
+#
+# Note, you can't load a name from the root namespace (ie one without '::' in
+# it), therefore a single word name without a path fails.
 # ----------------------------------------------------------------------
 sub load {
-    my $module = do { my $m = shift; $m =~ s[::][/]g; "$m.pm" };
-    return 1 if $INC{$module};
-
-    eval {
-        require $module;
-        $module->import(@_);
-    };
+    my $name = shift;
+    my @path;
+    push @path, "" if $name =~ /::/; # Empty path to check name on its own first
+    push @path, @_ if @_;
+
+    foreach (@path) {
+        my $module = $_ ? "$_\::$name" : $name;
+        my $file = $module; $file =~ s[::][/]g; $file .= ".pm";
+        __PACKAGE__->debug("Loading $name as $file\n");
+        return $module if $INC{$file}; # Already loaded
+
+        eval { require $file };
+        next if $@ =~ /Can't locate $file in \@INC/;
+        eval { $module->import() } unless $@;
+        return __PACKAGE__->error("Error loading $name as $module : $@")
+        if $@ && $@ !~ /"SQL::Translator::Producer" is not exported/;
+
+        return $module; # Module loaded ok
+    }
 
-    return __PACKAGE__->error($@) if ($@);
-    return 1;
+    return __PACKAGE__->error("Can't find module $name. Path:".join(",",@path));
 }
 
 # ----------------------------------------------------------------------
+# Load the sub name given (including package), optionally using a base package
+# path. Returns code ref and name of sub loaded, including its package.
+# (\&code, $sub) = load_sub( 'MySQL::produce', "SQL::Translator::Producer" );
+# (\&code, $sub) = load_sub( 'MySQL::produce', @path );
+# ----------------------------------------------------------------------
+sub _load_sub {
+    my ($tool, @path) = @_;
+
+    my (undef,$module,$func_name) = $tool =~ m/((.*)::)?(\w+)$/;
+    if ( my $module = load($module => @path) ) {
+        my $sub = "$module\::$func_name";
+        return wantarray ? ( \&{ $sub }, $sub ) : \&$sub;
+    }
+    return undef;
+}
+
 sub format_table_name {
     return shift->_format_name('_format_table_name', @_);
 }
 
-# ----------------------------------------------------------------------
 sub format_package_name {
     return shift->_format_name('_format_package_name', @_);
 }
 
-# ----------------------------------------------------------------------
 sub format_fk_name {
     return shift->_format_name('_format_fk_name', @_);
 }
 
-# ----------------------------------------------------------------------
 sub format_pk_name {
     return shift->_format_name('_format_pk_name', @_);
 }
 
 # ----------------------------------------------------------------------
-# The other format_*_name methods rely on this one.  It optionally 
+# The other format_*_name methods rely on this one.  It optionally
 # accepts a subroutine ref as the first argument (or uses an identity
 # sub if one isn't provided or it doesn't already exist), and applies
 # it to the rest of the arguments (if any).
@@ -733,26 +680,19 @@ sub _format_name {
     return @args ? $self->{$field}->(@args) : $self->{$field};
 }
 
-# ----------------------------------------------------------------------
-# isa($ref, $type)
-#
-# Calls UNIVERSAL::isa($ref, $type).  I think UNIVERSAL::isa is ugly,
-# but I like function overhead.
-# ----------------------------------------------------------------------
 sub isa($$) {
     my ($ref, $type) = @_;
     return UNIVERSAL::isa($ref, $type);
 }
 
-# ----------------------------------------------------------------------
-sub validate {
-    my ( $self, $arg ) = @_;
-    if ( defined $arg ) {
-        $self->{'validate'} = $arg ? 1 : 0;
-    }
-    return $self->{'validate'} || 0;
+sub version {
+    my $self = shift;
+    return $VERSION;
 }
 
+# Must come after all 'has' declarations
+around new => \&ex2err;
+
 1;
 
 # ----------------------------------------------------------------------
@@ -776,15 +716,17 @@ SQL::Translator - manipulate structured data definitions (SQL and more)
       # Print debug info
       debug               => 1,
       # Print Parse::RecDescent trace
-      trace               => 0, 
+      trace               => 0,
       # Don't include comments in output
-      no_comments         => 0, 
+      no_comments         => 0,
       # Print name mutations, conflicts
-      show_warnings       => 0, 
+      show_warnings       => 0,
       # Add "drop table" statements
-      add_drop_table      => 1, 
+      add_drop_table      => 1,
+      # to quote or not to quote, thats the question
+      quote_identifiers     => 1,
       # Validate schema object
-      validate            => 1, 
+      validate            => 1,
       # Make all table names CAPS in producers which support this option
       format_table_name   => sub {my $tablename = shift; return uc($tablename)},
       # Null-op formatting, only here for documentation's sake
@@ -797,13 +739,17 @@ SQL::Translator - manipulate structured data definitions (SQL and more)
       from       => 'MySQL',
       to         => 'Oracle',
       # Or an arrayref of filenames, i.e. [ $file1, $file2, $file3 ]
-      filename   => $file, 
+      filename   => $file,
   ) or die $translator->error;
 
   print $output;
 
 =head1 DESCRIPTION
 
+This documentation covers the API for SQL::Translator.  For a more general
+discussion of how to use the modules and scripts, please see
+L<SQL::Translator::Manual>.
+
 SQL::Translator is a group of Perl modules that converts
 vendor-specific SQL table definitions into other formats, such as
 other vendor-specific SQL, ER diagrams, documentation (POD and HTML),
@@ -842,6 +788,10 @@ producer_args
 
 =item *
 
+filters
+
+=item *
+
 filename / file
 
 =item *
@@ -858,6 +808,18 @@ add_drop_table
 
 =item *
 
+quote_identifiers
+
+=item *
+
+quote_table_names (DEPRECATED)
+
+=item *
+
+quote_field_names (DEPRECATED)
+
+=item *
+
 no_comments
 
 =item *
@@ -878,9 +840,23 @@ advantage is gained by passing options to the constructor.
 
 =head2 add_drop_table
 
-Toggles whether or not to add "DROP TABLE" statements just before the 
+Toggles whether or not to add "DROP TABLE" statements just before the
 create definitions.
 
+=head2 quote_identifiers
+
+Toggles whether or not to quote identifiers (table, column, constraint, etc.)
+with a quoting mechanism suitable for the chosen Producer. The default (true)
+is to quote them.
+
+=head2 quote_table_names
+
+DEPRECATED - A legacy proxy to L</quote_identifiers>
+
+=head2 quote_field_names
+
+DEPRECATED - A legacy proxy to L</quote_identifiers>
+
 =head2 no_comments
 
 Toggles whether to print comments in the output.  Accepts a true or false
@@ -891,10 +867,11 @@ value, returns the current value.
 The C<producer> method is an accessor/mutator, used to retrieve or
 define what subroutine is called to produce the output.  A subroutine
 defined as a producer will be invoked as a function (I<not a method>)
-and passed 2 parameters: its container C<SQL::Translator> instance and a
-data structure.  It is expected that the function transform the data
-structure to a string.  The C<SQL::Transformer> instance is provided for
-informational purposes; for example, the type of the parser can be
+and passed its container C<SQL::Translator> instance, which it should
+call the C<schema> method on, to get the C<SQL::Translator::Schema>
+generated by the parser.  It is expected that the function transform the
+schema structure to a string.  The C<SQL::Translator> instance is also useful
+for informational purposes; for example, the type of the parser can be
 retrieved using the C<parser_type> method, and the C<error> and
 C<debug> methods can be called when needed.
 
@@ -978,6 +955,56 @@ entirety of the data to be parsed.
 There is also C<parser_type> and C<parser_args>, which perform
 analogously to C<producer_type> and C<producer_args>
 
+=head2 filters
+
+Set or retreive the filters to run over the schema during the
+translation, before the producer creates its output. Filters are sub
+routines called, in order, with the schema object to filter as the 1st
+arg and a hash of options (passed as a list) for the rest of the args.
+They are free to do whatever they want to the schema object, which will be
+handed to any following filters, then used by the producer.
+
+Filters are set as an array, which gives the order they run in.
+Like parsers and producers, they can be defined by a module name, a
+module name relative to the SQL::Translator::Filter namespace, a module
+name and function name together or a reference to an anonymous subroutine.
+When using a module name a function called C<filter> will be invoked in
+that package to do the work.
+
+To pass args to the filter set it as an array ref with the 1st value giving
+the filter (name or sub) and the rest its args. e.g.
+
+ $tr->filters(
+     sub {
+        my $schema = shift;
+        # Do stuff to schema here!
+     },
+     DropFKeys,
+     [ "Names", table => 'lc' ],
+     [ "Foo",   foo => "bar", hello => "world" ],
+     [ "Filter5" ],
+ );
+
+Although you normally set them in the constructor, which calls
+through to filters. i.e.
+
+  my $translator  = SQL::Translator->new(
+      ...
+      filters => [
+          sub { ... },
+          [ "Names", table => 'lc' ],
+      ],
+      ...
+  );
+
+See F<t/36-filters.t> for more examples.
+
+Multiple set calls to filters are cumulative with new filters added to
+the end of the current list.
+
+Returns the filters as a list of array refs, the 1st value being a
+reference to the filter sub and the rest its args.
+
 =head2 show_warnings
 
 Toggles whether to print warnings of name conflicts, identifier
@@ -988,11 +1015,12 @@ current value.
 
 =head2 translate
 
-The C<translate> method calls the subroutines referenced by the
-C<parser> and C<producer> data members (described above).  It accepts
-as arguments a number of things, in key => value format, including
-(potentially) a parser and a producer (they are passed directly to the
-C<parser> and C<producer> methods).
+The C<translate> method calls the subroutine referenced by the
+C<parser> data member, then calls any C<filters> and finally calls
+the C<producer> sub routine (these members are described above).
+It accepts as arguments a number of things, in key => value format,
+including (potentially) a parser and a producer (they are passed
+directly to the C<parser> and C<producer> methods).
 
 Here is how the parameter list to C<translate> is parsed:
 
@@ -1069,15 +1097,23 @@ Turns on/off the tracing option of Parse::RecDescent.
 Whether or not to validate the schema object after parsing and before
 producing.
 
+=head2 version
+
+Returns the version of the SQL::Translator release.
+
 =head1 AUTHORS
 
-Ken Y. Clark, E<lt>kclark@cpan.orgE<gt>,
-darren chamberlain E<lt>darren@cpan.orgE<gt>, 
-Chris Mungall E<lt>cjm@fruitfly.orgE<gt>, 
-Allen Day E<lt>allenday@users.sourceforge.netE<gt>,
-Sam Angiuoli E<lt>angiuoli@users.sourceforge.netE<gt>,
-Ying Zhang E<lt>zyolive@yahoo.comE<gt>,
-Mike Mellilo E<lt>mmelillo@users.sourceforge.netE<gt>.
+See the included AUTHORS file:
+L<http://search.cpan.org/dist/SQL-Translator/AUTHORS>
+
+If you would like to contribute to the project, you can send patches
+to the developers mailing list:
+
+    sqlfairy-developers@lists.sourceforge.net
+
+Or send us a message (with your Sourceforge username) asking to be
+added to the project and what you'd like to contribute.
+
 
 =head1 COPYRIGHT
 
@@ -1097,7 +1133,12 @@ USA
 
 =head1 BUGS
 
-Please use http://rt.cpan.org/ for reporting bugs.
+Please use L<http://rt.cpan.org/> for reporting bugs.
+
+=head1 PRAISE
+
+If you find this module useful, please use
+L<http://cpanratings.perl.org/rate/?distribution=SQL-Translator> to rate it.
 
 =head1 SEE ALSO
 
@@ -1108,5 +1149,5 @@ L<Parse::RecDescent>,
 L<GD>,
 L<GraphViz>,
 L<Text::RecordParser>,
-L<Class::DBI>
+L<Class::DBI>,
 L<XML::Writer>.