d9b6168731af0a1643650e8cd5ae3c6407124fb0
[dbsrgits/SQL-Translator.git] / lib / SQL / Translator / Parser / Oracle.pm
1 package SQL::Translator::Parser::Oracle;
2
3 # -------------------------------------------------------------------
4 # Copyright (C) 2002-2009 SQLFairy Authors
5 #
6 # This program is free software; you can redistribute it and/or
7 # modify it under the terms of the GNU General Public License as
8 # published by the Free Software Foundation; version 2.
9 #
10 # This program is distributed in the hope that it will be useful, but
11 # WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 # General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
18 # 02111-1307  USA
19 # -------------------------------------------------------------------
20
21 =head1 NAME
22
23 SQL::Translator::Parser::Oracle - parser for Oracle
24
25 =head1 SYNOPSIS
26
27   use SQL::Translator;
28   use SQL::Translator::Parser::Oracle;
29
30   my $translator = SQL::Translator->new;
31   $translator->parser("SQL::Translator::Parser::Oracle");
32
33 =head1 DESCRIPTION
34
35 From http://www.ss64.com/ora/table_c.html:
36
37  CREATE [GLOBAL TEMPORARY] TABLE [schema.]table (tbl_defs,...)
38      [ON COMMIT {DELETE|PRESERVE} ROWS]
39          [storage_options | CLUSTER cluster_name (col1, col2,... )
40             | ORGANIZATION {HEAP [storage_options] 
41             | INDEX idx_organized_tbl_clause}]
42                [LOB_storage_clause][varray_clause][nested_storage_clause]
43                    partitioning_options
44                       [[NO]CACHE] [[NO]MONITORING] [PARALLEL parallel_clause]
45                          [ENABLE enable_clause | DISABLE disable_clause]
46                              [AS subquery]
47
48 tbl_defs:
49    column datatype [DEFAULT expr] [column_constraint(s)]
50    table_ref_constraint
51
52 storage_options:
53    PCTFREE int
54    PCTUSED int
55    INITTRANS int
56    MAXTRANS int
57    STORAGE storage_clause
58    TABLESPACE tablespace
59    [LOGGING|NOLOGGING]
60
61 idx_organized_tbl_clause:
62    storage_option(s) [PCTTHRESHOLD int]
63      [COMPRESS int|NOCOMPRESS]
64          [ [INCLUDING column_name] OVERFLOW [storage_option(s)] ]
65
66 nested_storage_clause:
67    NESTED TABLE nested_item STORE AS storage_table
68       [RETURN AS {LOCATOR|VALUE} ]
69
70 partitioning_options:
71    Partition_clause {ENABLE|DISABLE} ROW MOVEMENT
72
73 Column Constraints
74 (http://www.ss64.com/ora/clause_constraint_col.html)
75
76    CONSTRAINT constrnt_name {UNIQUE|PRIMARY KEY} constrnt_state
77
78    CONSTRAINT constrnt_name CHECK(condition) constrnt_state
79
80    CONSTRAINT constrnt_name [NOT] NULL constrnt_state
81
82    CONSTRAINT constrnt_name REFERENCES [schema.]table[(column)]
83       [ON DELETE {CASCADE|SET NULL}] constrnt_state
84
85 constrnt_state   
86     [[NOT] DEFERRABLE] [INITIALLY {IMMEDIATE|DEFERRED}]
87        [RELY | NORELY] [USING INDEX using_index_clause]
88           [ENABLE|DISABLE] [VALIDATE|NOVALIDATE]
89               [EXCEPTIONS INTO [schema.]table]
90
91 Note that probably not all of the above syntax is supported, but the grammar 
92 was altered to better handle the syntax created by DDL::Oracle.
93
94 =cut
95
96 use strict;
97 use vars qw[ $DEBUG $VERSION $GRAMMAR @EXPORT_OK ];
98 $VERSION = '1.99';
99 $DEBUG   = 0 unless defined $DEBUG;
100
101 use Data::Dumper;
102 use Parse::RecDescent;
103 use Exporter;
104 use base qw(Exporter);
105
106 @EXPORT_OK = qw(parse);
107
108 # Enable warnings within the Parse::RecDescent module.
109 $::RD_ERRORS = 1; # Make sure the parser dies when it encounters an error
110 $::RD_WARN   = 1; # Enable warnings. This will warn on unused rules &c.
111 $::RD_HINT   = 1; # Give out hints to help fix problems.
112
113 $GRAMMAR = q`
114
115 { my ( %tables, %indices, %constraints, $table_order, @table_comments, %views, $view_order, %procedures, $proc_order ) }
116
117 #
118 # The "eofile" rule makes the parser fail if any "statement" rule
119 # fails.  Otherwise, the first successful match by a "statement" 
120 # won't cause the failure needed to know that the parse, as a whole,
121 # failed. -ky
122 #
123 startrule : statement(s) eofile 
124     { 
125         $return = {
126             tables      => \%tables,
127             indices     => \%indices,
128             constraints => \%constraints,
129             views       => \%views,
130             procedures  => \%procedures,
131         };
132     }
133
134 eofile : /^\Z/
135
136 statement : remark
137         | run
138     | prompt
139     | create
140     | table_comment
141     | comment_on_table
142     | comment_on_column
143     | alter
144     | drop
145     | <error>
146
147 alter : /alter/i WORD /[^;]+/ ';'
148     { @table_comments = () }
149
150 drop : /drop/i TABLE ';'
151
152 drop : /drop/i WORD(s) ';'
153     { @table_comments = () }
154
155 create : create_table table_name '(' create_definition(s /,/) ')' table_option(s?) ';'
156     {
157         my $table_name                       = $item{'table_name'};
158         $tables{ $table_name }{'order'}      = ++$table_order;
159         $tables{ $table_name }{'table_name'} = $table_name;
160
161         if ( @table_comments ) {
162             $tables{ $table_name }{'comments'} = [ @table_comments ];
163             @table_comments = ();
164         }
165
166         my $i = 1;
167         my @constraints;
168         for my $definition ( @{ $item[4] } ) {
169             if ( $definition->{'type'} eq 'field' ) {
170                 my $field_name = $definition->{'name'};
171                 $tables{ $table_name }{'fields'}{ $field_name } = 
172                     { %$definition, order => $i };
173                 $i++;
174                                 
175                 for my $constraint ( @{ $definition->{'constraints'} || [] } ) {
176                     $constraint->{'fields'} = [ $field_name ];
177                     push @{ $tables{ $table_name }{'constraints'} }, 
178                         $constraint;
179                 }
180             }
181             elsif ( $definition->{'type'} eq 'constraint' ) {
182                 $definition->{'type'} = $definition->{'constraint_type'};
183                 push @{ $tables{ $table_name }{'constraints'} }, $definition;
184             }
185             else {
186                 push @{ $tables{ $table_name }{'indices'} }, $definition;
187             }
188         }
189
190         for my $option ( @{ $item[6] } ) {
191             push @{ $tables{ $table_name }{'table_options'} }, $option;
192         }
193
194         1;
195     }
196
197 create : create_index index_name /on/i table_name index_expr table_option(?) ';'
198     {
199         my $table_name = $item[4];
200         if ( $item[1] ) {
201             push @{ $constraints{ $table_name } }, {
202                 name   => $item[2],
203                 type   => 'unique',
204                 fields => $item[5],
205             };
206         }
207         else {
208             push @{ $indices{ $table_name } }, {
209                 name   => $item[2],
210                 type   => 'normal',
211                 fields => $item[5],
212             };
213         }
214     }
215
216 index_expr: parens_word_list
217         { $item[1] }
218         | '(' WORD parens_word_list ')'
219         {
220                 my $arg_list = join(",", @{$item[3]});
221                 $return = "$item[2]($arg_list)";
222         }
223
224 create : /create/i /or replace/i /procedure/i table_name not_end m#^/$#im
225         {
226                 @table_comments = ();
227         my $proc_name = $item[4];
228         # Hack to strip owner from procedure name
229         $proc_name =~ s#.*\.##;
230         my $owner = '';
231         my $sql = "$item[1] $item[2] $item[3] $item[4] $item[5]";
232         
233         $procedures{ $proc_name }{'order'}  = ++$proc_order;
234         $procedures{ $proc_name }{'name'}   = $proc_name;
235         $procedures{ $proc_name }{'owner'}  = $owner;
236         $procedures{ $proc_name }{'sql'}    = $sql;
237         }
238
239 not_end: m#.*?(?=^/$)#ism
240
241 create : /create/i /or replace/i /force/i /view/i table_name not_delimiter ';'
242         {
243                 @table_comments = ();
244         my $view_name = $item[5];
245         # Hack to strip owner from view name
246         $view_name =~ s#.*\.##;
247         my $sql = "$item[1] $item[2] $item[3] $item[4] $item[5] $item[6] $item[7]";
248         
249         $views{ $view_name }{'order'}  = ++$view_order;
250         $views{ $view_name }{'name'}   = $view_name;
251         $views{ $view_name }{'sql'}    = $sql;
252         }
253
254 not_delimiter: /.*?(?=;)/is
255
256 # Create anything else (e.g., domain, function, etc.)
257 create : ...!create_table ...!create_index /create/i WORD /[^;]+/ ';'
258     { @table_comments = () }
259
260 create_index : /create/i UNIQUE(?) /index/i
261         { $return = @{$item[2]} }
262
263 index_name : NAME '.' NAME
264     { $item[3] }
265     | NAME 
266     { $item[1] }
267
268 global_temporary: /global/i /temporary/i
269
270 table_name : NAME '.' NAME
271     { $item[3] }
272     | NAME 
273     { $item[1] }
274
275 create_definition : field
276     | table_constraint
277     | <error>
278
279 table_comment : comment
280     {
281         my $comment = $item[1];
282         $return     = $comment;
283         push @table_comments, $comment;
284     }
285
286 comment : /^\s*(?:#|-{2}).*\n/
287     {
288         my $comment =  $item[1];
289         $comment    =~ s/^\s*(#|-{2})\s*//;
290         $comment    =~ s/\s*$//;
291         $return     = $comment;
292     }
293
294 comment : /\/\*/ /[^\*]+/ /\*\// 
295     {
296         my $comment = $item[2];
297         $comment    =~ s/^\s*|\s*$//g;
298         $return = $comment;
299     }
300
301 remark : /^REM\s+.*\n/
302
303 run : /^(RUN|\/)\s+.*\n/
304
305 prompt : /prompt/i /(table|index|sequence|trigger)/i ';'
306
307 prompt : /prompt\s+create\s+.*\n/i
308
309 comment_on_table : /comment/i /on/i /table/i table_name /is/i comment_phrase ';'
310     {
311         push @{ $tables{ $item{'table_name'} }{'comments'} }, $item{'comment_phrase'};
312     }
313
314 comment_on_column : /comment/i /on/i /column/i column_name /is/i comment_phrase ';'
315     {
316         my $table_name = $item[4]->{'table'};
317         my $field_name = $item[4]->{'field'};
318         push @{ $tables{ $table_name }{'fields'}{ $field_name }{'comments'} }, 
319             $item{'comment_phrase'};
320     }
321
322 column_name : NAME '.' NAME
323     { $return = { table => $item[1], field => $item[3] } }
324
325 comment_phrase : /'.*?'/ 
326     { 
327         my $val = $item[1];
328         $val =~ s/^'|'$//g;
329         $return = $val;
330     }
331
332 field : comment(s?) field_name data_type field_meta(s?) comment(s?)
333     {
334         my ( $is_pk, $default, @constraints );
335         my $null = 1;
336         for my $meta ( @{ $item[4] } ) {
337             if ( $meta->{'type'} eq 'default' ) {
338                 $default = $meta;
339                 next;
340             }
341             elsif ( $meta->{'type'} eq 'not_null' ) {
342                 $null = 0;
343                 next;
344             }
345             elsif ( $meta->{'type'} eq 'primary_key' ) {
346                 $is_pk = 1;
347             }
348
349             push @constraints, $meta if $meta->{'supertype'} eq 'constraint';
350         }
351
352         my @comments = ( @{ $item[1] }, @{ $item[5] } );
353
354         $return = { 
355             type           => 'field',
356             name           => $item{'field_name'}, 
357             data_type      => $item{'data_type'}{'type'},
358             size           => $item{'data_type'}{'size'},
359             null           => $null,
360             default        => $default->{'value'},
361             is_primary_key => $is_pk,
362             constraints    => [ @constraints ],
363             comments       => [ @comments ],
364         } 
365     }
366     | <error>
367
368 field_name : NAME
369
370 data_type : ora_data_type data_size(?)
371     { 
372         $return  = { 
373             type => $item[1],
374             size => $item[2][0] || '',
375         } 
376     }
377     
378 data_size : '(' VALUE(s /,/) data_size_modifier(?) ')'
379     { $item[2] } 
380
381 data_size_modifier: /byte/i
382         | /char/i
383
384 column_constraint : constraint_name(?) column_constraint_type constraint_state(s?)
385     {
386         my $desc       = $item{'column_constraint_type'};
387         my $type       = $desc->{'type'};
388         my $fields     = $desc->{'fields'}     || [];
389         my $expression = $desc->{'expression'} || '';
390
391         $return              =  {
392             supertype        => 'constraint',
393             name             => $item{'constraint_name(?)'}[0] || '',
394             type             => $type,
395             expression       => $type eq 'check' ? $expression : '',
396             deferrable       => $item{'deferrable'},
397             deferred         => $item{'deferred'},
398             reference_table  => $desc->{'reference_table'},
399             reference_fields => $desc->{'reference_fields'},
400 #            match_type       => $desc->{'match_type'},
401 #            on_update        => $desc->{'on_update'},
402         } 
403     }
404
405 constraint_name : /constraint/i NAME { $item[2] }
406
407 column_constraint_type : /not\s+null/i { $return = { type => 'not_null' } }
408     | /unique/i
409         { $return = { type => 'unique' } }
410     | /primary\s+key/i 
411         { $return = { type => 'primary_key' } }
412     | /check/i '(' /[^)]+/ ')' 
413         { $return = { type => 'check', expression => $item[3] } }
414     | /references/i table_name parens_word_list(?) on_delete(?) 
415     {
416         $return              =  {
417             type             => 'foreign_key',
418             reference_table  => $item[2],
419             reference_fields => $item[3][0],
420 #            match_type       => $item[4][0],
421             on_delete     => $item[5][0],
422         }
423     }
424
425 constraint_state : deferrable { $return = { type => $item[1] } }
426     | deferred { $return = { type => $item[1] } }
427     | /(no)?rely/i { $return = { type => $item[1] } }
428 #    | /using/i /index/i using_index_clause 
429 #        { $return = { type => 'using_index', index => $item[3] } }
430     | /(dis|en)able/i { $return = { type => $item[1] } }
431     | /(no)?validate/i { $return = { type => $item[1] } }
432     | /exceptions/i /into/i table_name 
433         { $return = { type => 'exceptions_into', table => $item[3] } }
434
435 deferrable : /not/i /deferrable/i 
436     { $return = 'not_deferrable' }
437     | /deferrable/i 
438     { $return = 'deferrable' }
439
440 deferred : /initially/i /(deferred|immediate)/i { $item[2] }
441
442 ora_data_type :
443     /(n?varchar2|varchar)/i { $return = 'varchar2' }
444     |
445     /n?char/i { $return = 'character' }
446     |
447         /n?dec/i { $return = 'decimal' }
448         |
449     /number/i { $return = 'number' }
450     |
451     /integer/i { $return = 'integer' }
452     |
453     /(pls_integer|binary_integer)/i { $return = 'integer' }
454     |
455     /interval\s+day/i { $return = 'interval day' }
456     |
457     /interval\s+year/i { $return = 'interval year' }
458     |
459     /long\s+raw/i { $return = 'long raw' }
460     |
461     /(long|date|timestamp|raw|rowid|urowid|mlslabel|clob|nclob|blob|bfile|float|double)/i { $item[1] }
462
463 parens_value_list : '(' VALUE(s /,/) ')'
464     { $item[2] }
465
466 parens_word_list : '(' WORD(s /,/) ')'
467     { $item[2] }
468
469 field_meta : default_val
470     | column_constraint
471
472 default_val  : /default/i /(?:')?[\w\d.-]*(?:')?/ 
473     { 
474         my $val =  $item[2];
475         $val    =~ s/'//g if defined $val; 
476         $return =  {
477             supertype => 'constraint',
478             type      => 'default',
479             value     => $val,
480         }
481     }
482     | /null/i
483     {
484         $return =  {
485             supertype => 'constraint',
486             type      => 'default',
487             value     => 'NULL',
488         }
489     }
490
491 create_table : /create/i global_temporary(?) /table/i
492
493 table_option : /organization/i WORD
494     {
495         $return = { 'ORGANIZATION' => $item[2] }
496     }
497
498 table_option : /nomonitoring/i
499     {
500         $return = { 'NOMONITORING' => undef }
501     }
502
503 table_option : /parallel/i '(' key_value(s) ')'
504     {
505         $return = { 'PARALLEL' => $item[3] }
506     }
507
508 key_value : WORD VALUE
509     {
510         $return = { $item[1], $item[2] }
511     }
512
513 table_option : /[^;]+/
514
515 table_constraint : comment(s?) constraint_name(?) table_constraint_type deferrable(?) deferred(?) constraint_state(s?) comment(s?)
516     {
517         my $desc       = $item{'table_constraint_type'};
518         my $type       = $desc->{'type'};
519         my $fields     = $desc->{'fields'};
520         my $expression = $desc->{'expression'};
521         my @comments   = ( @{ $item[1] }, @{ $item[-1] } );
522
523         $return              =  {
524             name             => $item{'constraint_name(?)'}[0] || '',
525             type             => 'constraint',
526             constraint_type  => $type,
527             fields           => $type ne 'check' ? $fields : [],
528             expression       => $type eq 'check' ? $expression : '',
529             deferrable       => $item{'deferrable(?)'},
530             deferred         => $item{'deferred(?)'},
531             reference_table  => $desc->{'reference_table'},
532             reference_fields => $desc->{'reference_fields'},
533 #            match_type       => $desc->{'match_type'}[0],
534             on_delete        => $desc->{'on_delete'} || $desc->{'on_delete_do'},
535             on_update        => $desc->{'on_update'} || $desc->{'on_update_do'},
536             comments         => [ @comments ],
537         } 
538     }
539
540 table_constraint_type : /primary key/i '(' NAME(s /,/) ')'
541     { 
542         $return = {
543             type   => 'primary_key',
544             fields => $item[3],
545         }
546     }
547     |
548     /unique/i '(' NAME(s /,/) ')' 
549     { 
550         $return    =  {
551             type   => 'unique',
552             fields => $item[3],
553         }
554     }
555     |
556     /check/ '(' /(.+)/ ')'
557     {
558         $return        =  {
559             type       => 'check',
560             expression => $item[3],
561         }
562     }
563     |
564     /foreign key/i '(' NAME(s /,/) ')' /references/i table_name parens_word_list(?) on_delete(?)
565     {
566         $return              =  {
567             type             => 'foreign_key',
568             fields           => $item[3],
569             reference_table  => $item[6],
570             reference_fields => $item[7][0],
571 #            match_type       => $item[8][0],
572             on_delete     => $item[8][0],
573 #            on_update     => $item[9][0],
574         }
575     }
576
577 on_delete : /on delete/i WORD(s)
578     { join(' ', @{$item[2]}) }
579
580 UNIQUE : /unique/i { $return = 1 }
581
582 WORD : /\w+/
583
584 NAME : /\w+/ { $item[1] }
585
586 TABLE : /table/i
587
588 VALUE   : /[-+]?\.?\d+(?:[eE]\d+)?/
589     { $item[1] }
590     | /'.*?'/   # XXX doesn't handle embedded quotes
591     { $item[1] }
592     | /NULL/
593     { 'NULL' }
594
595 `;
596
597 # -------------------------------------------------------------------
598 sub parse {
599     my ( $translator, $data ) = @_;
600     my $parser = Parse::RecDescent->new($GRAMMAR);
601
602     local $::RD_TRACE = $translator->trace ? 1 : undef;
603     local $DEBUG      = $translator->debug;
604
605     unless (defined $parser) {
606         return $translator->error("Error instantiating Parse::RecDescent ".
607             "instance: Bad grammer");
608     }
609
610     my $result = $parser->startrule( $data );
611     die "Parse failed.\n" unless defined $result;
612     if ( $DEBUG ) {
613         warn "Parser results =\n", Dumper($result), "\n";
614     }
615
616     my $schema      = $translator->schema;
617     my $indices     = $result->{'indices'};
618     my $constraints = $result->{'constraints'};
619     my @tables      = sort { 
620         $result->{'tables'}{ $a }{'order'} 
621         <=> 
622         $result->{'tables'}{ $b }{'order'}
623     } keys %{ $result->{'tables'} };
624
625     for my $table_name ( @tables ) {
626         my $tdata    =  $result->{'tables'}{ $table_name };
627         next unless $tdata->{'table_name'};
628         my $table    =  $schema->add_table( 
629             name     => $tdata->{'table_name'},
630             comments => $tdata->{'comments'},
631         ) or die $schema->error;
632
633         $table->options( $tdata->{'table_options'} );
634
635         my @fields = sort { 
636             $tdata->{'fields'}->{$a}->{'order'} 
637             <=>
638             $tdata->{'fields'}->{$b}->{'order'}
639         } keys %{ $tdata->{'fields'} };
640
641         for my $fname ( @fields ) {
642             my $fdata = $tdata->{'fields'}{ $fname };
643             my $field = $table->add_field(
644                 name              => $fdata->{'name'},
645                 data_type         => $fdata->{'data_type'},
646                 size              => $fdata->{'size'},
647                 default_value     => $fdata->{'default'},
648                 is_auto_increment => $fdata->{'is_auto_inc'},
649                 is_nullable       => $fdata->{'null'},
650                 comments          => $fdata->{'comments'},
651             ) or die $table->error;
652         }
653
654         push @{ $tdata->{'indices'} }, @{ $indices->{ $table_name } || [] };
655         push @{ $tdata->{'constraints'} }, 
656              @{ $constraints->{ $table_name } || [] };
657
658         for my $idata ( @{ $tdata->{'indices'} || [] } ) {
659             my $index  =  $table->add_index(
660                 name   => $idata->{'name'},
661                 type   => uc $idata->{'type'},
662                 fields => $idata->{'fields'},
663             ) or die $table->error;
664         }
665
666         for my $cdata ( @{ $tdata->{'constraints'} || [] } ) {
667             my $constraint       =  $table->add_constraint(
668                 name             => $cdata->{'name'},
669                 type             => $cdata->{'type'},
670                 fields           => $cdata->{'fields'},
671                 reference_table  => $cdata->{'reference_table'},
672                 reference_fields => $cdata->{'reference_fields'},
673                 match_type       => $cdata->{'match_type'} || '',
674                 on_delete        => $cdata->{'on_delete'} || $cdata->{'on_delete_do'},
675                 on_update        => $cdata->{'on_update'} || $cdata->{'on_update_do'},
676             ) or die $table->error;
677         }
678     }
679     
680     my @procedures = sort { 
681         $result->{procedures}->{ $a }->{'order'} <=> $result->{procedures}->{ $b }->{'order'}
682     } keys %{ $result->{procedures} };
683     foreach my $proc_name (@procedures) {
684         $schema->add_procedure(
685                 name  => $proc_name,
686                 owner => $result->{procedures}->{$proc_name}->{owner},
687                 sql   => $result->{procedures}->{$proc_name}->{sql},
688                 );
689     }
690
691     my @views = sort { 
692         $result->{views}->{ $a }->{'order'} <=> $result->{views}->{ $b }->{'order'}
693     } keys %{ $result->{views} };
694     foreach my $view_name (keys %{ $result->{views} }) {
695         $schema->add_view(
696                 name => $view_name,
697                 sql  => $result->{views}->{$view_name}->{sql},
698                 );
699     }
700
701     return 1;
702 }
703
704 1;
705
706 # -------------------------------------------------------------------
707 # Something there is that doesn't love a wall.
708 # Robert Frost
709 # -------------------------------------------------------------------
710
711 =pod
712
713 =head1 AUTHOR
714
715 Ken Y. Clark E<lt>kclark@cpan.orgE<gt>.
716
717 =head1 SEE ALSO
718
719 SQL::Translator, Parse::RecDescent, DDL::Oracle.
720
721 =cut