Porting/corelist.pl

   1 #!perl
   2 # Generates info for Module::CoreList from this perl tree
   3 # run this from the root of a perl tree, using the perl built in that tree.
   4 #
   5 # Data is on STDOUT.
   6 #
   7 # With an optional arg specifying the root of a CPAN mirror, outputs the
   8 # %upstream and %bug_tracker hashes too.
   9
  10 use 5.010001; # needs Parse::CPAN::Meta
  11
  12 use strict;
  13 use warnings;
  14 use File::Find;
  15 use ExtUtils::MM_Unix;
  16 use lib "Porting";
  17 use Maintainers qw(%Modules files_to_modules);
  18 use File::Spec;
  19
  20
  21 my %lines;
  22 my %module_to_file;
  23 my %modlist;
  24
  25 die "usage: $0 [ cpan-mirror/ ]\n" unless @ARGV <= 1;
  26 my $cpan = shift;
  27
  28 if (! -f 'MANIFEST') {
  29     die "Must be run from the root of a clean perl tree\n"
  30 }
  31
  32 if ($cpan) {
  33     my $modlistfile
  34         = File::Spec->catfile($cpan, 'modules', '02packages.details.txt');
  35     open my $fh, '<', $modlistfile or die "Couldn't open $modlistfile: $!";
  36
  37     {
  38         local $/ = "\n\n";
  39         die "Incompatible modlist format"
  40             unless <$fh> =~ /^Columns: +package name, version, path/m;
  41     }
  42
  43     # Converting the file to a hash is about 5 times faster than a regexp flat
  44     # lookup.
  45     while (<$fh>) {
  46         next unless /^([A-Za-z_:0-9]+) +[-0-9.undefHASHVERSIONvsetwhenloadingbogus]+ +(\S+)/;
  47         $modlist{$1} = $2;
  48     }
  49 }
  50
  51 find(sub {
  52     /(\.pm|_pm\.PL)$/ or return;
  53     /PPPort\.pm$/ and return;
  54     my $module = $File::Find::name;
  55     $module =~ /\b(demo|t|private)\b/ and return; # demo or test modules
  56     my $version = MM->parse_version($_);
  57     defined $version or $version = 'undef';
  58     $version =~ /\d/ and $version = "'$version'";
  59     # some heuristics to figure out the module name from the file name
  60     $module =~ s{^(lib|(win32/|vms/|symbian/)?ext)/}{}
  61         and $1 ne 'lib'
  62         and ( $module =~ s{\b(\w+)/\1\b}{$1},
  63               $module =~ s{^B/O}{O},
  64               $module =~ s{^Devel-PPPort}{Devel},
  65               $module =~ s{^Encode/encoding}{encoding},
  66               $module =~ s{^IPC-SysV/}{IPC/},
  67               $module =~ s{^MIME-Base64/QuotedPrint}{MIME/QuotedPrint},
  68               $module =~ s{^(?:DynaLoader|Errno|Opcode)/}{},
  69             );
  70     $module =~ s{/}{::}g;
  71     $module =~ s{-}{::}g;
  72     $module =~ s{^.*::lib::}{};
  73     $module =~ s/(\.pm|_pm\.PL)$//;
  74     $lines{$module} = $version;
  75     $module_to_file{$module} = $File::Find::name;
  76 }, 'lib', 'ext', 'vms/ext', 'symbian/ext');
  77
  78 -e 'configpm' and $lines{Config} = 'undef';
  79
  80 if (open my $ucdv, "<", "lib/unicore/version") {
  81     chomp (my $ucd = <$ucdv>);
  82     $lines{Unicode} = "'$ucd'";
  83     close $ucdv;
  84     }
  85
  86 sub display_hash {
  87     my ($hash) = @_;
  88 }
  89
  90 print "    $] => {\n";
  91 printf "\t%-24s=> $lines{$_},\n", "'$_'" foreach sort keys %lines;
  92 print "    },\n";
  93
  94 exit unless %modlist;
  95
  96 # We have to go through this two stage lookup, given how Maintainers.pl keys its
  97 # data by "Module", which is really a dist.
  98 my $file_to_M = files_to_modules(values %module_to_file);
  99
 100 my %module_to_upstream;
 101 my %module_to_dist;
 102 my %dist_to_meta_YAML;
 103 while (my ($module, $file) = each %module_to_file) {
 104     my $M = $file_to_M->{$file};
 105     next unless $M;
 106     next if $Modules{$M}{MAINTAINER} eq 'p5p';
 107     $module_to_upstream{$module} = $Modules{$M}{UPSTREAM};
 108     next if defined $module_to_upstream{$module} &&
 109         $module_to_upstream{$module} =~ /^(?:blead|first-come)$/;
 110     my $dist = $modlist{$module};
 111     unless ($dist) {
 112         warn "Can't find a distribution for $module";
 113         next;
 114     }
 115     $module_to_dist{$module} = $dist;
 116
 117     next if exists $dist_to_meta_YAML{$dist};
 118
 119     $dist_to_meta_YAML{$dist} = undef;
 120
 121     # Like it or lump it, this has to be Unix format.
 122     my $meta_YAML_path = "$cpan/authors/id/$dist";
 123     $meta_YAML_path =~ s/(?:tar\.gz|zip)$/meta/ or die "$meta_YAML_path";
 124     unless (-e $meta_YAML_path) {
 125         warn "$meta_YAML_path does not exist for $module";
 126         # I tried code to open the tarballs with Archive::Tar to find and
 127         # extract META.yml, but only Text-Tabs+Wrap-2006.1117.tar.gz had one,
 128         # so it's not worth including.
 129         next;
 130     }
 131     require Parse::CPAN::Meta;
 132     $dist_to_meta_YAML{$dist} = Parse::CPAN::Meta::LoadFile($meta_YAML_path);
 133 }
 134
 135 print "\n%upstream = (\n";
 136 foreach my $module (sort keys %module_to_upstream) {
 137     my $upstream = defined $module_to_upstream{$module}
 138         ? "'$module_to_upstream{$module}'" : 'undef';
 139     printf "    %-24s=> $upstream,\n", "'$module'";
 140 }
 141 print ");\n";
 142
 143 print "\n%bug_tracker = (\n";
 144 foreach my $module (sort keys %module_to_upstream) {
 145     my $upstream = defined $module_to_upstream{$module};
 146     next if defined $upstream
 147         and $upstream eq 'blead' || $upstream eq 'first-come';
 148
 149     my $bug_tracker;
 150
 151     my $dist = $module_to_dist{$module};
 152     $bug_tracker = $dist_to_meta_YAML{$dist}->{resources}{bugtracker}
 153         if $dist;
 154
 155     $bug_tracker = defined $bug_tracker ? "'$bug_tracker'" : 'undef';
 156     next if $bug_tracker eq "'http://rt.perl.org/perlbug/'";
 157     printf "    %-24s=> $bug_tracker,\n", "'$module'";
 158 }
 159 print ");\n";