0bfa58967a22a8862d717affd5876bb7078fc497
[dbsrgits/DBIx-Class-Schema-Loader.git] / lib / DBIx / Class / Schema / Loader / DBI.pm
1 package DBIx::Class::Schema::Loader::DBI;
2
3 use strict;
4 use warnings;
5 use base qw/DBIx::Class::Schema::Loader::Base/;
6 use mro 'c3';
7 use Try::Tiny;
8 use List::Util 'any';
9 use Carp::Clan qw/^DBIx::Class/;
10 use namespace::clean;
11 use DBIx::Class::Schema::Loader::Table ();
12
13 our $VERSION = '0.07048_01';
14
15 __PACKAGE__->mk_group_accessors('simple', qw/
16     _disable_pk_detection
17     _disable_uniq_detection
18     _disable_fk_detection
19     _passwords
20     quote_char
21     name_sep
22 /);
23
24 =head1 NAME
25
26 DBIx::Class::Schema::Loader::DBI - DBIx::Class::Schema::Loader DBI Implementation.
27
28 =head1 SYNOPSIS
29
30 See L<DBIx::Class::Schema::Loader::Base>
31
32 =head1 DESCRIPTION
33
34 This is the base class for L<DBIx::Class::Schema::Loader::Base> classes for
35 DBI-based storage backends, and implements the common functionality between them.
36
37 See L<DBIx::Class::Schema::Loader::Base> for the available options.
38
39 =head1 METHODS
40
41 =head2 new
42
43 Overlays L<DBIx::Class::Schema::Loader::Base/new> to do some DBI-specific
44 things.
45
46 =cut
47
48 sub new {
49     my $self = shift->next::method(@_);
50
51     # rebless to vendor-specific class if it exists and loads and we're not in a
52     # custom class.
53     if (not $self->loader_class) {
54         my $driver = $self->dbh->{Driver}->{Name};
55
56         my $subclass = 'DBIx::Class::Schema::Loader::DBI::' . $driver;
57         if ((not $self->isa($subclass)) && $self->load_optional_class($subclass)) {
58             bless $self, $subclass;
59             $self->_rebless;
60             Class::C3::reinitialize() if $] < 5.009005;
61         }
62     }
63
64     # Set up the default quoting character and name separators
65     $self->quote_char($self->_build_quote_char);
66     $self->name_sep($self->_build_name_sep);
67
68     $self->_setup;
69
70     return $self;
71 }
72
73 sub _build_quote_char {
74     my $self = shift;
75
76     my $quote_char = $self->dbh->get_info(29)
77         || $self->schema->storage->sql_maker->quote_char
78         || q{"};
79
80     # For our usage as regex matches, concatenating multiple quote_char
81     # values works fine (e.g. s/[\Q<>\E]// if quote_char was [ '<', '>' ])
82     if (ref $quote_char eq 'ARRAY') {
83         $quote_char = join '', @$quote_char;
84     }
85
86     return $quote_char;
87 }
88
89 sub _build_name_sep {
90     my $self = shift;
91     return $self->dbh->get_info(41)
92         || $self->schema->storage->sql_maker->name_sep
93         || '.';
94 }
95
96 # Override this in vendor modules to do things at the end of ->new()
97 sub _setup { }
98
99 # Override this in vendor module to load a subclass if necessary
100 sub _rebless { }
101
102 sub _system_schemas {
103     return ('information_schema');
104 }
105
106 sub _system_tables {
107     return ();
108 }
109
110 sub _dbh_tables {
111     my $self = shift;
112
113     return $self->dbh->tables(undef, @_);
114 }
115
116 # default to be overridden in subclasses if necessary
117 sub _supports_db_schema { 1 }
118
119 # Returns an array of table objects
120 sub _tables_list {
121     my ($self) = @_;
122
123     my @tables;
124
125     my $qt  = qr/[\Q$self->{quote_char}\E"'`\[\]]/;
126     my $nqt = qr/[^\Q$self->{quote_char}\E"'`\[\]]/;
127     my $ns  = qr/[\Q$self->{name_sep}\E]/;
128     my $nns = qr/[^\Q$self->{name_sep}\E]/;
129
130     foreach my $schema (@{ $self->db_schema || [undef] }) {
131         my @raw_table_names = $self->_dbh_tables($schema);
132
133         TABLE: foreach my $raw_table_name (@raw_table_names) {
134             my $quoted = $raw_table_name =~ /^$qt/;
135
136             # These regexes are not entirely correct, but hopefully they will work
137             # in most cases. RT reports welcome.
138             my ($schema_name, $table_name1, $table_name2) = $quoted ?
139                 $raw_table_name =~ /^(?:${qt}(${nqt}+?)${qt}${ns})?(?:${qt}(.+?)${qt}|(${nns}+))\z/
140                 :
141                 $raw_table_name =~ /^(?:(${nns}+?)${ns})?(?:${qt}(.+?)${qt}|(${nns}+))\z/;
142
143             my $table_name = $table_name1 || $table_name2;
144
145             foreach my $system_schema ($self->_system_schemas) {
146                 if ($schema_name) {
147                     my $matches = 0;
148
149                     if (ref $system_schema) {
150                         $matches = 1
151                             if $schema_name =~ $system_schema
152                                 && $schema  !~ $system_schema;
153                     }
154                     else {
155                         $matches = 1
156                             if $schema_name eq $system_schema
157                                 && $schema  ne $system_schema;
158                     }
159
160                     next TABLE if $matches;
161                 }
162             }
163
164             foreach my $system_table ($self->_system_tables) {
165                 my $matches = 0;
166
167                 if (ref $system_table) {
168                     $matches = 1 if $table_name =~ $system_table;
169                 }
170                 else {
171                     $matches = 1 if $table_name eq $system_table
172                 }
173
174                 next TABLE if $matches;
175             }
176
177             $schema_name ||= $schema;
178
179             my $table = DBIx::Class::Schema::Loader::Table->new(
180                 loader => $self,
181                 name   => $table_name,
182                 schema => $schema_name,
183                 ($self->_supports_db_schema ? () : (
184                     ignore_schema => 1
185                 )),
186             );
187
188             push @tables, $table;
189         }
190     }
191
192     return $self->_filter_tables(\@tables);
193 }
194
195 sub _recurse_constraint {
196     my ($constraint, @parts) = @_;
197
198     my $name = shift @parts;
199
200     # If there are any parts left, the constraint must be an arrayref
201     croak "depth of constraint/exclude array does not match length of moniker_parts"
202         unless !!@parts == !!(ref $constraint eq 'ARRAY');
203
204     # if ths is the last part, use the constraint directly
205     return $name =~ $constraint unless @parts;
206
207     # recurse into the first matching subconstraint
208     foreach (@{$constraint}) {
209         my ($re, $sub) = @{$_};
210         return _recurse_constraint($sub, @parts)
211             if $name =~ $re;
212     }
213     return 0;
214 }
215
216 sub _check_constraint {
217     my ($include, $constraint, @tables) = @_;
218
219     return @tables unless defined $constraint;
220
221     return grep { !$include xor _recurse_constraint($constraint, @{$_}) } @tables
222         if ref $constraint eq 'ARRAY';
223
224     return grep { !$include xor /$constraint/ } @tables;
225 }
226
227
228
229 # apply constraint/exclude and ignore bad tables and views
230 sub _filter_tables {
231     my ($self, $tables) = @_;
232
233     my @tables = @$tables;
234     my @filtered_tables;
235
236     @tables = _check_constraint(1, $self->constraint, @tables);
237     @tables = _check_constraint(0, $self->exclude, @tables);
238
239     TABLE: for my $table (@tables) {
240         try {
241             local $^W = 0; # for ADO
242             my $sth = $self->_sth_for($table, undef, \'1 = 0');
243             $sth->execute;
244             1;
245         }
246         catch {
247             warn "Bad table or view '$table', ignoring: $_\n";
248             0;
249         } or next TABLE;
250
251         push @filtered_tables, $table;
252     }
253
254     return @filtered_tables;
255 }
256
257 =head2 load
258
259 We override L<DBIx::Class::Schema::Loader::Base/load> here to hook in our localized settings for C<$dbh> error handling.
260
261 =cut
262
263 sub load {
264     my $self = shift;
265
266     local $self->dbh->{RaiseError} = 1;
267     local $self->dbh->{PrintError} = 0;
268
269     $self->next::method(@_);
270 }
271
272 sub _sth_for {
273     my ($self, $table, $fields, $where) = @_;
274
275     my $sth = $self->dbh->prepare($self->schema->storage->sql_maker
276         ->select(\$table->sql_name, $fields || \'*', $where));
277
278     return $sth;
279 }
280
281 # Returns an arrayref of column names
282 sub _table_columns {
283     my ($self, $table) = @_;
284
285     my $sth = $self->_sth_for($table, undef, \'1 = 0');
286     $sth->execute;
287
288     my $retval = [ map $self->_lc($_), @{$sth->{NAME}} ];
289
290     $sth->finish;
291
292     return $retval;
293 }
294
295 # Returns arrayref of pk col names
296 sub _table_pk_info {
297     my ($self, $table) = @_;
298
299     return [] if $self->_disable_pk_detection;
300
301     my @primary = try {
302         $self->dbh->primary_key('', $table->schema, $table->name);
303     }
304     catch {
305         warn "Cannot find primary keys for this driver: $_";
306         $self->_disable_pk_detection(1);
307         return ();
308     };
309
310     return [] if not @primary;
311
312     @primary = map { $self->_lc($_) } @primary;
313     s/[\Q$self->{quote_char}\E]//g for @primary;
314
315     return \@primary;
316 }
317
318 # Override this for vendor-specific uniq info
319 sub _table_uniq_info {
320     my ($self, $table) = @_;
321
322     return [] if $self->_disable_uniq_detection;
323
324     if (not $self->dbh->can('statistics_info')) {
325         warn "No UNIQUE constraint information can be gathered for this driver";
326         $self->_disable_uniq_detection(1);
327         return [];
328     }
329
330     my %indices;
331     my $sth = $self->dbh->statistics_info(undef, $table->schema, $table->name, 1, 1);
332     while(my $row = $sth->fetchrow_hashref) {
333         # skip table-level stats, conditional indexes, and any index missing
334         #  critical fields
335         next if $row->{TYPE} eq 'table'
336             || defined $row->{FILTER_CONDITION}
337             || !$row->{INDEX_NAME}
338             || !defined $row->{ORDINAL_POSITION};
339
340         $indices{$row->{INDEX_NAME}}[$row->{ORDINAL_POSITION}] = $self->_lc($row->{COLUMN_NAME} || '');
341     }
342     $sth->finish;
343
344     my @retval;
345     foreach my $index_name (sort keys %indices) {
346         my (undef, @cols) = @{$indices{$index_name}};
347         # skip indexes with missing column names (e.g. expression indexes)
348         next unless @cols == grep $_, @cols;
349         push(@retval, [ $index_name => \@cols ]);
350     }
351
352     return \@retval;
353 }
354
355 sub _table_comment {
356     my ($self, $table) = @_;
357     my $dbh = $self->dbh;
358
359     my $comments_table = $table->clone;
360     $comments_table->name($self->table_comments_table);
361
362     my ($comment) =
363         (exists $self->_tables->{$comments_table->sql_name} || undef)
364         && try { $dbh->selectrow_array(<<"EOF") };
365 SELECT comment_text
366 FROM @{[ $comments_table->sql_name ]}
367 WHERE table_name = @{[ $dbh->quote($table->name) ]}
368 EOF
369
370     # Failback: try the REMARKS column on table_info
371     if (!$comment) {
372         my $info = $self->_dbh_table_info( $dbh, $table );
373         $comment = $info->{REMARKS} if $info;
374     }
375
376     return $comment;
377 }
378
379 sub _column_comment {
380     my ($self, $table, $column_number, $column_name) = @_;
381     my $dbh = $self->dbh;
382
383     my $comments_table = $table->clone;
384     $comments_table->name($self->column_comments_table);
385
386     my ($comment) =
387         (exists $self->_tables->{$comments_table->sql_name} || undef)
388         && try { $dbh->selectrow_array(<<"EOF") };
389 SELECT comment_text
390 FROM @{[ $comments_table->sql_name ]}
391 WHERE table_name = @{[ $dbh->quote($table->name) ]}
392 AND column_name = @{[ $dbh->quote($column_name) ]}
393 EOF
394
395     # Failback: try the REMARKS column on column_info
396     if (!$comment && $dbh->can('column_info')) {
397         if (my $sth = try { $self->_dbh_column_info( $dbh, undef, $table->schema, $table->name, $column_name ) }) {
398             my $info = $sth->fetchrow_hashref();
399             $comment = $info->{REMARKS};
400         }
401     }
402
403     return $comment;
404 }
405
406 # Find relationships
407 sub _table_fk_info {
408     my ($self, $table) = @_;
409
410     return [] if $self->_disable_fk_detection;
411
412     my $sth = try {
413         $self->dbh->foreign_key_info( '', '', '',
414                                 '', ($table->schema || ''), $table->name );
415     }
416     catch {
417         warn "Cannot introspect relationships for this driver: $_";
418         $self->_disable_fk_detection(1);
419         return undef;
420     };
421
422     return [] if !$sth;
423
424     my %rels;
425
426     my @rules = (
427         'CASCADE',
428         'RESTRICT',
429         'SET NULL',
430         'NO ACTION',
431         'SET DEFAULT',
432     );
433
434     my $i = 1; # for unnamed rels, which hopefully have only 1 column ...
435     REL: while(my $raw_rel = $sth->fetchrow_arrayref) {
436         my $uk_scm  = $raw_rel->[1];
437         my $uk_tbl  = $raw_rel->[2];
438         my $uk_col  = $self->_lc($raw_rel->[3]);
439         my $fk_scm  = $raw_rel->[5];
440         my $fk_col  = $self->_lc($raw_rel->[7]);
441         my $key_seq = $raw_rel->[8] - 1;
442         my $relid   = ($raw_rel->[11] || ( "__dcsld__" . $i++ ));
443
444         my $update_rule = $raw_rel->[9];
445         my $delete_rule = $raw_rel->[10];
446
447         $update_rule = $rules[$update_rule] if defined $update_rule;
448         $delete_rule = $rules[$delete_rule] if defined $delete_rule;
449
450         my $is_deferrable = $raw_rel->[13];
451
452         ($is_deferrable = $is_deferrable == 7 ? 0 : 1)
453             if defined $is_deferrable;
454
455         foreach my $var ($uk_scm, $uk_tbl, $uk_col, $fk_scm, $fk_col, $relid) {
456             $var =~ s/[\Q$self->{quote_char}\E]//g if defined $var;
457         }
458
459         if ($self->db_schema && $self->db_schema->[0] ne '%'
460             && (not any { $_ eq $uk_scm } @{ $self->db_schema })) {
461
462             next REL;
463         }
464
465         $rels{$relid}{tbl} ||= DBIx::Class::Schema::Loader::Table->new(
466             loader => $self,
467             name   => $uk_tbl,
468             schema => $uk_scm,
469             ($self->_supports_db_schema ? () : (
470                 ignore_schema => 1
471             )),
472         );
473
474         $rels{$relid}{attrs}{on_delete}     = $delete_rule if $delete_rule;
475         $rels{$relid}{attrs}{on_update}     = $update_rule if $update_rule;
476         $rels{$relid}{attrs}{is_deferrable} = $is_deferrable if defined $is_deferrable;
477
478         # Add this data IN ORDER
479         $rels{$relid}{rcols}[$key_seq] = $uk_col;
480         $rels{$relid}{lcols}[$key_seq] = $fk_col;
481     }
482     $sth->finish;
483
484     my @rels;
485     foreach my $relid (keys %rels) {
486         push(@rels, {
487             remote_columns => [ grep defined, @{ $rels{$relid}{rcols} } ],
488             local_columns  => [ grep defined, @{ $rels{$relid}{lcols} } ],
489             remote_table   => $rels{$relid}->{tbl},
490             (exists $rels{$relid}{attrs} ?
491                 (attrs => $rels{$relid}{attrs})
492                 :
493                 ()
494             ),
495             _constraint_name => $relid,
496         });
497     }
498
499     return \@rels;
500 }
501
502 # ported in from DBIx::Class::Storage::DBI:
503 sub _columns_info_for {
504     my ($self, $table) = @_;
505
506     my $dbh = $self->schema->storage->dbh;
507
508     my %result;
509
510     if (my $sth = try { $self->_dbh_column_info($dbh, undef, $table->schema, $table->name, '%' ) }) {
511         COL_INFO: while (my $info = try { $sth->fetchrow_hashref } catch { +{} }) {
512             next COL_INFO unless %$info;
513
514             my $column_info = {};
515             $column_info->{data_type}     = lc $info->{TYPE_NAME};
516
517             my $size = $info->{COLUMN_SIZE};
518
519             if (defined $size && defined $info->{DECIMAL_DIGITS}) {
520                 $column_info->{size} = [$size, $info->{DECIMAL_DIGITS}];
521             }
522             elsif (defined $size) {
523                 $column_info->{size} = $size;
524             }
525
526             $column_info->{is_nullable}   = $info->{NULLABLE} ? 1 : 0;
527             $column_info->{default_value} = $info->{COLUMN_DEF} if defined $info->{COLUMN_DEF};
528             my $col_name = $info->{COLUMN_NAME};
529             $col_name =~ s/^\"(.*)\"$/$1/;
530
531             my $extra_info = $self->_extra_column_info(
532                 $table, $col_name, $column_info, $info
533             ) || {};
534             $column_info = { %$column_info, %$extra_info };
535
536             $result{$col_name} = $column_info;
537         }
538         $sth->finish;
539     }
540
541     my $sth = $self->_sth_for($table, undef, \'1 = 0');
542     $sth->execute;
543
544     my @columns = @{ $sth->{NAME} };
545
546     COL: for my $i (0 .. $#columns) {
547         next COL if %{ $result{ $columns[$i] }||{} };
548
549         my $column_info = {};
550         $column_info->{data_type} = lc $sth->{TYPE}[$i];
551
552         my $size = $sth->{PRECISION}[$i];
553
554         if (defined $size && defined $sth->{SCALE}[$i]) {
555             $column_info->{size} = [$size, $sth->{SCALE}[$i]];
556         }
557         elsif (defined $size) {
558             $column_info->{size} = $size;
559         }
560
561         $column_info->{is_nullable} = $sth->{NULLABLE}[$i] ? 1 : 0;
562
563         if ($column_info->{data_type} =~ m/^(.*?)\((.*?)\)$/) {
564             $column_info->{data_type} = $1;
565             $column_info->{size}    = $2;
566         }
567
568         my $extra_info = $self->_extra_column_info($table, $columns[$i], $column_info, $sth) || {};
569         $column_info = { %$column_info, %$extra_info };
570
571         $result{ $columns[$i] } = $column_info;
572     }
573     $sth->finish;
574
575     foreach my $col (keys %result) {
576         my $colinfo = $result{$col};
577         my $type_num = $colinfo->{data_type};
578         my $type_name;
579         if (defined $type_num && $type_num =~ /^-?\d+\z/ && $dbh->can('type_info')) {
580             my $type_name = $self->_dbh_type_info_type_name($type_num);
581             $colinfo->{data_type} = lc $type_name if $type_name;
582         }
583     }
584
585     # check for instances of the same column name with different case in preserve_case=0 mode
586     if (not $self->preserve_case) {
587         my %lc_colnames;
588
589         foreach my $col (keys %result) {
590             push @{ $lc_colnames{lc $col} }, $col;
591         }
592
593         if (keys %lc_colnames != keys %result) {
594             my @offending_colnames = map @$_, grep @$_ > 1, values %lc_colnames;
595
596             my $offending_colnames = join ", ", map "'$_'", @offending_colnames;
597
598             croak "columns $offending_colnames in table @{[ $table->sql_name ]} collide in preserve_case=0 mode. preserve_case=1 mode required";
599         }
600
601         # apply lowercasing
602         my %lc_result;
603
604         while (my ($col, $info) = each %result) {
605             $lc_result{ $self->_lc($col) } = $info;
606         }
607
608         %result = %lc_result;
609     }
610
611     return \%result;
612 }
613
614 # Need to override this for the buggy Firebird ODBC driver.
615 sub _dbh_type_info_type_name {
616     my ($self, $type_num) = @_;
617
618     # We wrap it in a try block for MSSQL+DBD::Sybase, which can have issues.
619     # TODO investigate further
620     my $type_info = try { $self->dbh->type_info($type_num) };
621
622     return $type_info ? $type_info->{TYPE_NAME} : undef;
623 }
624
625 # do not use this, override _columns_info_for instead
626 sub _extra_column_info {}
627
628 # override to mask warnings if needed
629 sub _dbh_table_info {
630     my ($self, $dbh, $table) = (shift, shift, shift);
631
632     return undef if !$dbh->can('table_info');
633     my $sth = $dbh->table_info(undef, $table->schema, $table->name);
634     while (my $info = $sth->fetchrow_hashref) {
635         next if !$self->_table_info_matches($table, $info);
636         return $info;
637     }
638     return undef;
639 }
640
641 sub _table_info_matches {
642     my ($self, $table, $info) = @_;
643
644     no warnings 'uninitialized';
645     return $info->{TABLE_SCHEM} eq $table->schema
646         && $info->{TABLE_NAME}  eq $table->name;
647 }
648
649 # override to mask warnings if needed (see mysql)
650 sub _dbh_column_info {
651     my ($self, $dbh) = (shift, shift);
652
653     return $dbh->column_info(@_);
654 }
655
656 # If a coderef uses DBI->connect, this should get its connect info.
657 sub _try_infer_connect_info_from_coderef {
658     my ($self, $code) = @_;
659
660     my ($dsn, $user, $pass, $params);
661
662     no warnings 'redefine';
663
664     local *DBI::connect = sub {
665         (undef, $dsn, $user, $pass, $params) = @_;
666     };
667
668     $code->();
669
670     return ($dsn, $user, $pass, $params);
671 }
672
673 sub dbh {
674     my $self = shift;
675
676     return $self->schema->storage->dbh;
677 }
678
679 sub _table_is_view {
680     my ($self, $table) = @_;
681
682     my $info = $self->_dbh_table_info($self->dbh, $table)
683         or return 0;
684     return $info->{TABLE_TYPE} eq 'VIEW';
685 }
686
687 =head1 SEE ALSO
688
689 L<DBIx::Class::Schema::Loader>
690
691 =head1 AUTHORS
692
693 See L<DBIx::Class::Schema::Loader/AUTHORS>.
694
695 =head1 LICENSE
696
697 This library is free software; you can redistribute it and/or modify it under
698 the same terms as Perl itself.
699
700 =cut
701
702 1;
703 # vim:et sts=4 sw=4 tw=0: