Added some rules to better handle the output of DDL::Oracle, now saving
[dbsrgits/SQL-Translator.git] / lib / SQL / Translator / Parser / Oracle.pm
1 package SQL::Translator::Parser::Oracle;
2
3 # -------------------------------------------------------------------
4 # $Id: Oracle.pm,v 1.12 2003-09-26 21:03:28 kycl4rk Exp $
5 # -------------------------------------------------------------------
6 # Copyright (C) 2003 Ken Y. Clark <kclark@cpan.org>
7 #
8 # This program is free software; you can redistribute it and/or
9 # modify it under the terms of the GNU General Public License as
10 # published by the Free Software Foundation; version 2.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15 # General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with this program; if not, write to the Free Software
19 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
20 # 02111-1307  USA
21 # -------------------------------------------------------------------
22
23 =head1 NAME
24
25 SQL::Translator::Parser::Oracle - parser for Oracle
26
27 =head1 SYNOPSIS
28
29   use SQL::Translator;
30   use SQL::Translator::Parser::Oracle;
31
32   my $translator = SQL::Translator->new;
33   $translator->parser("SQL::Translator::Parser::Oracle");
34
35 =head1 DESCRIPTION
36
37 From http://www.ss64.com/ora/table_c.html:
38
39  CREATE [GLOBAL TEMPORARY] TABLE [schema.]table (tbl_defs,...)
40      [ON COMMIT {DELETE|PRESERVE} ROWS]
41          [storage_options | CLUSTER cluster_name (col1, col2,... )
42             | ORGANIZATION {HEAP [storage_options] 
43             | INDEX idx_organized_tbl_clause}]
44                [LOB_storage_clause][varray_clause][nested_storage_clause]
45                    partitioning_options
46                       [[NO]CACHE] [[NO]MONITORING] [PARALLEL parallel_clause]
47                          [ENABLE enable_clause | DISABLE disable_clause]
48                              [AS subquery]
49
50 tbl_defs:
51    column datatype [DEFAULT expr] [column_constraint(s)]
52    table_constraint
53    table_ref_constraint
54
55 storage_options:
56    PCTFREE int
57    PCTUSED int
58    INITTRANS int
59    MAXTRANS int
60    STORAGE storage_clause
61    TABLESPACE tablespace
62    [LOGGING|NOLOGGING]
63
64 idx_organized_tbl_clause:
65    storage_option(s) [PCTTHRESHOLD int]
66      [COMPRESS int|NOCOMPRESS]
67          [ [INCLUDING column_name] OVERFLOW [storage_option(s)] ]
68
69 nested_storage_clause:
70    NESTED TABLE nested_item STORE AS storage_table
71       [RETURN AS {LOCATOR|VALUE} ]
72
73 partitioning_options:
74    Partition_clause {ENABLE|DISABLE} ROW MOVEMENT
75
76 Column Constraints
77 (http://www.ss64.com/ora/clause_constraint_col.html)
78
79    CONSTRAINT constrnt_name {UNIQUE|PRIMARY KEY} constrnt_state
80
81    CONSTRAINT constrnt_name CHECK(condition) constrnt_state
82
83    CONSTRAINT constrnt_name [NOT] NULL constrnt_state
84
85    CONSTRAINT constrnt_name REFERENCES [schema.]table[(column)]
86       [ON DELETE {CASCADE|SET NULL}] constrnt_state
87
88 constrnt_state   
89     [[NOT] DEFERRABLE] [INITIALLY {IMMEDIATE|DEFERRED}]
90        [RELY | NORELY] [USING INDEX using_index_clause]
91           [ENABLE|DISABLE] [VALIDATE|NOVALIDATE]
92               [EXCEPTIONS INTO [schema.]table]
93
94 =cut
95
96 use strict;
97 use vars qw[ $DEBUG $VERSION $GRAMMAR @EXPORT_OK ];
98 $VERSION = sprintf "%d.%02d", q$Revision: 1.12 $ =~ /(\d+)\.(\d+)/;
99 $DEBUG   = 0 unless defined $DEBUG;
100
101 use Data::Dumper;
102 use Parse::RecDescent;
103 use Exporter;
104 use base qw(Exporter);
105
106 @EXPORT_OK = qw(parse);
107
108 # Enable warnings within the Parse::RecDescent module.
109 $::RD_ERRORS = 1; # Make sure the parser dies when it encounters an error
110 $::RD_WARN   = 1; # Enable warnings. This will warn on unused rules &c.
111 $::RD_HINT   = 1; # Give out hints to help fix problems.
112
113 my $parser; 
114
115 $GRAMMAR = q!
116
117 { my ( %tables, $table_order, @table_comments ) }
118
119 #
120 # The "eofile" rule makes the parser fail if any "statement" rule
121 # fails.  Otherwise, the first successful match by a "statement" 
122 # won't cause the failure needed to know that the parse, as a whole,
123 # failed. -ky
124 #
125 startrule : statement(s) eofile { \%tables }
126
127 eofile : /^\Z/
128
129 statement : create
130     | table_comment
131     | comment_on_table
132     | comment_on_column
133     | alter
134     | drop
135     | <error>
136
137 alter : /alter/i WORD /[^;]+/ ';'
138     { @table_comments = () }
139
140 drop : /drop/i TABLE ';'
141
142 drop : /drop/i WORD(s) ';'
143     { @table_comments = () }
144
145 prompt : /prompt/i create_table table_name
146
147 create : prompt(?) create_table table_name '(' create_definition(s /,/) ')' table_option(s?) ';'
148     {
149         my $table_name                       = $item{'table_name'};
150         $tables{ $table_name }{'order'}      = ++$table_order;
151         $tables{ $table_name }{'table_name'} = $table_name;
152
153         if ( @table_comments ) {
154             $tables{ $table_name }{'comments'} = [ @table_comments ];
155             @table_comments = ();
156         }
157
158         my $i = 1;
159         my @constraints;
160         for my $definition ( @{ $item[5] } ) {
161             if ( $definition->{'type'} eq 'field' ) {
162                 my $field_name = $definition->{'name'};
163                 $tables{ $table_name }{'fields'}{ $field_name } = 
164                     { %$definition, order => $i };
165                 $i++;
166                                 
167                 for my $constraint ( @{ $definition->{'constraints'} || [] } ) {
168                     $constraint->{'fields'} = [ $field_name ];
169                     push @{ $tables{ $table_name }{'constraints'} }, 
170                         $constraint;
171                 }
172             }
173             elsif ( $definition->{'type'} eq 'constraint' ) {
174                 $definition->{'type'} = $definition->{'constraint_type'};
175                 push @{ $tables{ $table_name }{'constraints'} }, $definition;
176             }
177             else {
178                 push @{ $tables{ $table_name }{'indices'} }, $definition;
179             }
180         }
181
182         for my $option ( @{ $item[7] } ) {
183             push @{ $tables{ $table_name }{'table_options'} }, $option;
184         }
185
186         1;
187     }
188
189 create : /create/i /index/i WORD /on/i table_name parens_word_list ';'
190     {
191         my $table_name = $item[5];
192         push @{ $tables{ $table_name }{'indices'} }, {
193             name   => $item[3],
194             type   => 'normal',
195             fields => $item[6][0],
196         };
197     }
198
199 # Create anything else (e.g., domain, function, etc.)
200 create : /create/i WORD /[^;]+/ ';'
201     { @table_comments = () }
202
203 global_temporary: /global/i /temporary/i
204
205 table_name : NAME '.' NAME
206     { $item[3] }
207     | NAME 
208     { $item[1] }
209
210 create_definition : field
211     | table_constraint
212     | <error>
213
214 table_comment : comment
215     {
216         my $comment = $item[1];
217         $return     = $comment;
218         push @table_comments, $comment;
219     }
220
221 comment : /^\s*(?:#|-{2}).*\n/
222     {
223         my $comment =  $item[1];
224         $comment    =~ s/^\s*(#|-{2})\s*//;
225         $comment    =~ s/\s*$//;
226         $return     = $comment;
227     }
228
229 comment : /\/\*/ /[^\*]+/ /\*\// 
230     {
231         my $comment = $item[2];
232         $comment    =~ s/^\s*|\s*$//g;
233         $return = $comment;
234     }
235
236 comment_on_table : /comment/i /on/i /table/i table_name /is/i comment_phrase ';'
237     {
238         push @{ $tables{ $item{'table_name'} }{'comments'} }, $item{'comment_phrase'};
239     }
240
241 comment_on_column : /comment/i /on/i /column/i column_name /is/i comment_phrase ';'
242     {
243         my $table_name = $item[4]->{'table'};
244         my $field_name = $item[4]->{'field'};
245         push @{ $tables{ $table_name }{'fields'}{ $field_name }{'comments'} }, 
246             $item{'comment_phrase'};
247     }
248
249 column_name : NAME '.' NAME
250     { $return = { table => $item[1], field => $item[3] } }
251
252 comment_phrase : /'.*?'/ 
253     { 
254         my $val = $item[1];
255         $val =~ s/^'|'$//g;
256         $return = $val;
257     }
258
259 field : comment(s?) field_name data_type field_meta(s?) comment(s?)
260     {
261         my ( $is_pk, $default, @constraints );
262         my $null = 1;
263         for my $meta ( @{ $item[4] } ) {
264             if ( $meta->{'type'} eq 'default' ) {
265                 $default = $meta;
266                 next;
267             }
268             elsif ( $meta->{'type'} eq 'not_null' ) {
269                 $null = 0;
270                 next;
271             }
272             elsif ( $meta->{'type'} eq 'primary_key' ) {
273                 $is_pk = 1;
274             }
275
276             push @constraints, $meta if $meta->{'supertype'} eq 'constraint';
277         }
278
279         my @comments = ( @{ $item[1] }, @{ $item[5] } );
280
281         $return = { 
282             type           => 'field',
283             name           => $item{'field_name'}, 
284             data_type      => $item{'data_type'}{'type'},
285             size           => $item{'data_type'}{'size'},
286             null           => $null,
287             default        => $default->{'value'},
288             is_primary_key => $is_pk,
289             constraints    => [ @constraints ],
290             comments       => [ @comments ],
291         } 
292     }
293     | <error>
294
295 field_name : NAME
296
297 data_type : ora_data_type parens_value_list(?)
298     { 
299         $return  = { 
300             type => $item[1],
301             size => $item[2][0] || '',
302         } 
303     }
304
305 column_constraint : constraint_name(?) column_constraint_type 
306 #constraint_state(s /,/)
307     {
308         my $desc       = $item{'column_constraint_type'};
309         my $type       = $desc->{'type'};
310         my $fields     = $desc->{'fields'}     || [];
311         my $expression = $desc->{'expression'} || '';
312
313         $return              =  {
314             supertype        => 'constraint',
315             name             => $item{'constraint_name(?)'}[0] || '',
316             type             => $type,
317             expression       => $type eq 'check' ? $expression : '',
318             deferrable       => $item{'deferrable'},
319             deferred         => $item{'deferred'},
320             reference_table  => $desc->{'reference_table'},
321             reference_fields => $desc->{'reference_fields'},
322 #            match_type       => $desc->{'match_type'},
323 #            on_update_do     => $desc->{'on_update_do'},
324         } 
325     }
326
327 constraint_name : /constraint/i NAME { $item[2] }
328
329 column_constraint_type : /not null/i { $return = { type => 'not_null' } }
330     | /null/ 
331         { $return = { type => 'null' } }
332     | /unique/ 
333         { $return = { type => 'unique' } }
334     | /primary key/i 
335         { $return = { type => 'primary_key' } }
336     | /check/i '(' /[^)]+/ ')' 
337         { $return = { type => 'check', expression => $item[2] } }
338     | /references/i table_name parens_word_list(?) on_delete_do(?) 
339     {
340         $return              =  {
341             type             => 'foreign_key',
342             reference_table  => $item[2],
343             reference_fields => $item[3][0],
344 #            match_type       => $item[4][0],
345             on_delete_do     => $item[5][0],
346         }
347     }
348
349 #constraint_state : deferrable { $return = { type => $item[1] } }
350 #    | deferred { $return = { type => $item[1] } }
351 #    | /(no)?rely/ { $return = { type => $item[1] } }
352 #    | /using/i /index/i using_index_clause 
353 #        { $return = { type => 'using_index', index => $item[3] }
354 #    | (dis)?enable { $return = { type => $item[1] } }
355 #    | (no)?validate { $return = { type => $item[1] } }
356 #    | /exceptions/i /into/i table_name 
357 #        { $return = { type => 'exceptions_into', table => $item[3] } }
358
359 deferrable : /not/i /deferrable/i 
360     { $return = 'not_deferrable' }
361     | /deferrable/i 
362     { $return = 'deferrable' }
363
364 deferred : /initially/i /(deferred|immediate)/i { $item[2] }
365
366 ora_data_type :
367     /(n?varchar2|varchar)/i { $return = 'varchar2' }
368     |
369     /n?char/i { $return = 'character' }
370     |
371         /n?dec/i { $return = 'decimal' }
372         |
373     /number/i { $return = 'number' }
374     |
375     /(pls_integer|binary_integer)/i { $return = 'integer' }
376     |
377     /interval\s+day/i { $return = 'interval_day' }
378     |
379     /interval\s+year/i { $return = 'interval_year' }
380     |
381     /long\s+raw/i { $return = 'long_raw' }
382     |
383     /(long|date|timestamp|raw|rowid|urowid|mlslabel|clob|nclob|blob|bfile)/i { $item[1] }
384
385 parens_value_list : '(' VALUE(s /,/) ')'
386     { $item[2] }
387
388 parens_word_list : '(' WORD(s /,/) ')'
389     { $item[2] }
390
391 field_meta : default_val
392     | column_constraint
393
394 default_val  : /default/i /(?:')?[\w\d.-]*(?:')?/ 
395     { 
396         my $val =  $item[2];
397         $val    =~ s/'//g if defined $val; 
398         $return =  {
399             supertype => 'constraint',
400             type      => 'default',
401             value     => $val,
402         }
403     }
404
405 create_table : /create/i global_temporary(?) /table/i
406
407 table_option : /organization/i WORD
408     {
409         $return = { 'ORGANIZATION' => $item[2] }
410     }
411
412 table_option : /nomonitoring/i
413     {
414         $return = { 'NOMONITORING' => undef }
415     }
416
417 table_option : /parallel/i '(' key_value(s) ')'
418     {
419         $return = { 'PARALLEL' => $item[3] }
420     }
421
422 key_value : WORD VALUE
423     {
424         $return = { $item[1], $item[2] }
425     }
426
427 table_option : /[^;]+/
428
429 table_constraint : comment(s?) constraint_name(?) table_constraint_type deferrable(?) deferred(?) comment(s?)
430     {
431         my $desc       = $item{'table_constraint_type'};
432         my $type       = $desc->{'type'};
433         my $fields     = $desc->{'fields'};
434         my $expression = $desc->{'expression'};
435         my @comments   = ( @{ $item[1] }, @{ $item[-1] } );
436
437         $return              =  {
438             name             => $item{'constraint_name(?)'}[0] || '',
439             type             => 'constraint',
440             constraint_type  => $type,
441             fields           => $type ne 'check' ? $fields : [],
442             expression       => $type eq 'check' ? $expression : '',
443             deferrable       => $item{'deferrable(?)'},
444             deferred         => $item{'deferred(?)'},
445             reference_table  => $desc->{'reference_table'},
446             reference_fields => $desc->{'reference_fields'},
447 #            match_type       => $desc->{'match_type'}[0],
448             on_delete_do     => $desc->{'on_delete_do'},
449             on_update_do     => $desc->{'on_update_do'},
450             comments         => [ @comments ],
451         } 
452     }
453
454 table_constraint_type : /primary key/i '(' NAME(s /,/) ')' 
455     { 
456         $return = {
457             type   => 'primary_key',
458             fields => $item[3],
459         }
460     }
461     |
462     /unique/i '(' NAME(s /,/) ')' 
463     { 
464         $return    =  {
465             type   => 'unique',
466             fields => $item[3],
467         }
468     }
469     |
470     /check/ '(' /(.+)/ ')'
471     {
472         $return        =  {
473             type       => 'check',
474             expression => $item[3],
475         }
476     }
477     |
478     /foreign key/i '(' NAME(s /,/) ')' /references/i table_name parens_word_list(?) on_delete_do(?)
479     {
480         $return              =  {
481             type             => 'foreign_key',
482             fields           => $item[3],
483             reference_table  => $item[6],
484             reference_fields => $item[7][0],
485             match_type       => $item[8][0],
486             on_delete_do     => $item[9][0],
487             on_update_do     => $item[10][0],
488         }
489     }
490
491 on_delete_do : /on delete/i WORD(s)
492     { $item[2] }
493
494 WORD : /\w+/
495
496 NAME : /\w+/ { $item[1] }
497
498 TABLE : /table/i
499
500 VALUE   : /[-+]?\.?\d+(?:[eE]\d+)?/
501     { $item[1] }
502     | /'.*?'/   # XXX doesn't handle embedded quotes
503     { $item[1] }
504     | /NULL/
505     { 'NULL' }
506
507 !;
508
509 # -------------------------------------------------------------------
510 sub parse {
511     my ( $translator, $data ) = @_;
512     $parser ||= Parse::RecDescent->new($GRAMMAR);
513
514     local $::RD_TRACE = $translator->trace ? 1 : undef;
515     local $DEBUG      = $translator->debug;
516
517     unless (defined $parser) {
518         return $translator->error("Error instantiating Parse::RecDescent ".
519             "instance: Bad grammer");
520     }
521
522     my $result = $parser->startrule($data);
523     die "Parse failed.\n" unless defined $result;
524     warn Dumper($result) if $DEBUG;
525
526     my $schema = $translator->schema;
527     my @tables = sort { 
528         $result->{ $a }->{'order'} <=> $result->{ $b }->{'order'}
529     } keys %{ $result };
530
531     for my $table_name ( @tables ) {
532         my $tdata    =  $result->{ $table_name };
533         my $table    =  $schema->add_table( 
534             name     => $tdata->{'table_name'},
535             comments => $tdata->{'comments'},
536         ) or die $schema->error;
537
538         $table->options( $tdata->{'table_options'} );
539
540 #        for my $opt ( @{ $tdata->{'table_options'} || [] } ) {
541 #            $table->options( $opt );
542 #        }
543
544         my @fields = sort { 
545             $tdata->{'fields'}->{$a}->{'order'} 
546             <=>
547             $tdata->{'fields'}->{$b}->{'order'}
548         } keys %{ $tdata->{'fields'} };
549
550         for my $fname ( @fields ) {
551             my $fdata = $tdata->{'fields'}{ $fname };
552             my $field = $table->add_field(
553                 name              => $fdata->{'name'},
554                 data_type         => $fdata->{'data_type'},
555                 size              => $fdata->{'size'},
556                 default_value     => $fdata->{'default'},
557                 is_auto_increment => $fdata->{'is_auto_inc'},
558                 is_nullable       => $fdata->{'null'},
559                 comments          => $fdata->{'comments'},
560             ) or die $table->error;
561
562             for my $cdata ( @{ $fdata->{'constraints'} } ) {
563                 next unless $cdata->{'type'} eq 'foreign_key';
564                 $cdata->{'fields'} ||= [ $field->name ];
565                 push @{ $tdata->{'constraints'} }, $cdata;
566             }
567         }
568
569         for my $idata ( @{ $tdata->{'indices'} || [] } ) {
570             my $index  =  $table->add_index(
571                 name   => $idata->{'name'},
572                 type   => uc $idata->{'type'},
573                 fields => $idata->{'fields'},
574             ) or die $table->error;
575         }
576
577         for my $cdata ( @{ $tdata->{'constraints'} || [] } ) {
578             my $constraint       =  $table->add_constraint(
579                 name             => $cdata->{'name'},
580                 type             => $cdata->{'type'},
581                 fields           => $cdata->{'fields'},
582                 reference_table  => $cdata->{'reference_table'},
583                 reference_fields => $cdata->{'reference_fields'},
584                 match_type       => $cdata->{'match_type'} || '',
585                 on_delete        => $cdata->{'on_delete_do'},
586                 on_update        => $cdata->{'on_update_do'},
587             ) or die $table->error;
588         }
589     }
590
591     return 1;
592 }
593
594 1;
595
596 # -------------------------------------------------------------------
597 # Something there is that doesn't love a wall.
598 # Robert Frost
599 # -------------------------------------------------------------------
600
601 =pod
602
603 =head1 AUTHOR
604
605 Ken Y. Clark E<lt>kclark@cpan.orgE<gt>.
606
607 =head1 SEE ALSO
608
609 perl(1), Parse::RecDescent.
610
611 =cut