autodoc.pl

   1 #!/usr/bin/perl -w
   2
   3 require 5.003;  # keep this compatible, an old perl is all we may have before
   4                 # we build the new one
   5
   6 BEGIN {
   7   push @INC, 'lib';
   8   require 'regen_lib.pl';
   9 }
  10
  11 use strict;
  12
  13 #
  14 # See database of global and static function prototypes in embed.fnc
  15 # This is used to generate prototype headers under various configurations,
  16 # export symbols lists for different platforms, and macros to provide an
  17 # implicit interpreter context argument.
  18 #
  19
  20 open IN, "embed.fnc" or die $!;
  21
  22 # walk table providing an array of components in each line to
  23 # subroutine, printing the result
  24 sub walk_table (&@) {
  25     my $function = shift;
  26     seek IN, 0, 0;              # so we may restart
  27     while (<IN>) {
  28         chomp;
  29         next if /^:/;
  30         while (s|\\\s*$||) {
  31             $_ .= <IN>;
  32             chomp;
  33         }
  34         s/\s+$//;
  35         my @args;
  36         if (/^\s*(#|$)/) {
  37             @args = $_;
  38         }
  39         else {
  40             @args = split /\s*\|\s*/, $_;
  41         }
  42         s/\b(NN|NULLOK)\b\s+//g for @args;
  43         $function->(@args);
  44     }
  45 }
  46
  47 my %apidocs;
  48 my %gutsdocs;
  49 my %docfuncs;
  50 my %seenfuncs;
  51
  52 my $curheader = "Unknown section";
  53
  54 sub autodoc ($$) { # parse a file and extract documentation info
  55     my($fh,$file) = @_;
  56     my($in, $doc, $line);
  57 FUNC:
  58     while (defined($in = <$fh>)) {
  59         if ($in=~ /^=head1 (.*)/) {
  60             $curheader = $1;
  61             next FUNC;
  62         }
  63         $line++;
  64         if ($in =~ /^=for\s+apidoc\s+(.*?)\s*\n/) {
  65             my $proto = $1;
  66             $proto = "||$proto" unless $proto =~ /\|/;
  67             my($flags, $ret, $name, @args) = split /\|/, $proto;
  68             my $docs = "";
  69 DOC:
  70             while (defined($doc = <$fh>)) {
  71                 $line++;
  72                 last DOC if $doc =~ /^=\w+/;
  73                 if ($doc =~ m:^\*/$:) {
  74                     warn "=cut missing? $file:$line:$doc";;
  75                     last DOC;
  76                 }
  77                 $docs .= $doc;
  78             }
  79             $docs = "\n$docs" if $docs and $docs !~ /^\n/;
  80             if ($flags =~ /m/) {
  81                 if ($flags =~ /A/) {
  82                     $apidocs{$curheader}{$name} = [$flags, $docs, $ret, $file, @args];
  83                 }
  84                 else {
  85                     $gutsdocs{$curheader}{$name} = [$flags, $docs, $ret, $file, @args];
  86                 }
  87             }
  88             else {
  89                 $docfuncs{$name} = [$flags, $docs, $ret, $file, $curheader, @args];
  90             }
  91             if (defined $doc) {
  92                 if ($doc =~ /^=(?:for|head)/) {
  93                     $in = $doc;
  94                     redo FUNC;
  95                 }
  96             } else {
  97                 warn "$file:$line:$in";
  98             }
  99         }
 100     }
 101 }
 102
 103 sub docout ($$$) { # output the docs for one function
 104     my($fh, $name, $docref) = @_;
 105     my($flags, $docs, $ret, $file, @args) = @$docref;
 106     $name =~ s/\s*$//;
 107
 108     $docs .= "NOTE: this function is experimental and may change or be
 109 removed without notice.\n\n" if $flags =~ /x/;
 110     $docs .= "NOTE: the perl_ form of this function is deprecated.\n\n"
 111         if $flags =~ /p/;
 112
 113     print $fh "=item $name\nX<$name>\n$docs";
 114
 115     if ($flags =~ /U/) { # no usage
 116         # nothing
 117     } elsif ($flags =~ /s/) { # semicolon ("dTHR;")
 118         print $fh "\t\t$name;\n\n";
 119     } elsif ($flags =~ /n/) { # no args
 120         print $fh "\t$ret\t$name\n\n";
 121     } else { # full usage
 122         print $fh "\t$ret\t$name";
 123         print $fh "(" . join(", ", @args) . ")";
 124         print $fh "\n\n";
 125     }
 126     print $fh "=for hackers\nFound in file $file\n\n";
 127 }
 128
 129 sub readonly_header (*) {
 130     my $fh = shift;
 131     print $fh <<"_EOH_";
 132 -*- buffer-read-only: t -*-
 133
 134 !!!!!!!   DO NOT EDIT THIS FILE   !!!!!!!
 135 This file is built by $0 extracting documentation from the C source
 136 files.
 137
 138 _EOH_
 139 }
 140
 141 sub readonly_footer (*) {
 142     my $fh = shift;
 143     print $fh <<'_EOF_';
 144 =cut
 145
 146  ex: set ro:
 147 _EOF_
 148 }
 149
 150 my $file;
 151 # glob() picks up docs from extra .c or .h files that may be in unclean
 152 # development trees.
 153 my $MANIFEST = do {
 154   local ($/, *FH);
 155   open FH, "MANIFEST" or die "Can't open MANIFEST: $!";
 156   <FH>;
 157 };
 158
 159 for $file (($MANIFEST =~ /^(\S+\.c)\t/gm), ($MANIFEST =~ /^(\S+\.h)\t/gm)) {
 160     open F, "< $file" or die "Cannot open $file for docs: $!\n";
 161     $curheader = "Functions in file $file\n";
 162     autodoc(\*F,$file);
 163     close F or die "Error closing $file: $!\n";
 164 }
 165
 166 safer_unlink "pod/perlapi.pod";
 167 my $doc = safer_open("pod/perlapi.pod");
 168
 169 walk_table {    # load documented functions into appropriate hash
 170     if (@_ > 1) {
 171         my($flags, $retval, $func, @args) = @_;
 172         return "" unless $flags =~ /d/;
 173         $func =~ s/\t//g; $flags =~ s/p//; # clean up fields from embed.pl
 174         $retval =~ s/\t//;
 175         my $docref = delete $docfuncs{$func};
 176         $seenfuncs{$func} = 1;
 177         if ($docref and @$docref) {
 178             if ($flags =~ /A/) {
 179                 $docref->[0].="x" if $flags =~ /M/;
 180                 $apidocs{$docref->[4]}{$func} =
 181                     [$docref->[0] . 'A', $docref->[1], $retval, $docref->[3],
 182                         @args];
 183             } else {
 184                 $gutsdocs{$docref->[4]}{$func} =
 185                     [$docref->[0], $docref->[1], $retval, $docref->[3], @args];
 186             }
 187         }
 188         else {
 189             warn "no docs for $func\n" unless $seenfuncs{$func};
 190         }
 191     }
 192 };
 193
 194 for (sort keys %docfuncs) {
 195     # Have you used a full for apidoc or just a func name?
 196     # Have you used Ap instead of Am in the for apidoc?
 197     warn "Unable to place $_!\n";
 198 }
 199
 200 readonly_header($doc);
 201
 202 print $doc <<'_EOB_';
 203 =head1 NAME
 204
 205 perlapi - autogenerated documentation for the perl public API
 206
 207 =head1 DESCRIPTION
 208 X<Perl API> X<API> X<api>
 209
 210 This file contains the documentation of the perl public API generated by
 211 embed.pl, specifically a listing of functions, macros, flags, and variables
 212 that may be used by extension writers.  The interfaces of any functions that
 213 are not listed here are subject to change without notice.  For this reason,
 214 blindly using functions listed in proto.h is to be avoided when writing
 215 extensions.
 216
 217 Note that all Perl API global variables must be referenced with the C<PL_>
 218 prefix.  Some macros are provided for compatibility with the older,
 219 unadorned names, but this support may be disabled in a future release.
 220
 221 Perl was originally written to handle US-ASCII only (that is characters
 222 whose ordinal numbers are in the range 0 - 127).
 223 And documentation and comments may still use the term ASCII, when
 224 sometimes in fact the entire range from 0 - 255 is meant.
 225
 226 Note that Perl can be compiled and run under EBCDIC (See L<perlebcdic>)
 227 or ASCII.  Most of the documentation (and even comments in the code)
 228 ignore the EBCDIC possibility.
 229 For almost all purposes the differences are transparent.
 230 As an example, under EBCDIC,
 231 instead of UTF-8, UTF-EBCDIC is used to encode Unicode strings, and so
 232 whenever this documentation refers to C<utf8>
 233 (and variants of that name, including in function names),
 234 it also (essentially transparently) means C<UTF-EBCDIC>.
 235 But the ordinals of characters differ between ASCII, EBCDIC, and
 236 the UTF- encodings, and a string encoded in UTF-EBCDIC may occupy more bytes
 237 than in UTF-8.
 238
 239 Also, on some EBCDIC machines, functions that are documented as operating on
 240 US-ASCII (or Basic Latin in Unicode terminology) may in fact operate on all
 241 256 characters in the EBCDIC range, not just the subset corresponding to
 242 US-ASCII.
 243
 244 The listing below is alphabetical, case insensitive.
 245
 246 _EOB_
 247
 248 my $key;
 249 # case insensitive sort, with fallback for determinacy
 250 for $key (sort { uc($a) cmp uc($b) || $a cmp $b } keys %apidocs) {
 251     my $section = $apidocs{$key};
 252     print $doc "\n=head1 $key\n\n=over 8\n\n";
 253     # Again, fallback for determinacy
 254     for my $key (sort { uc($a) cmp uc($b) || $a cmp $b } keys %$section) {
 255         docout($doc, $key, $section->{$key});
 256     }
 257     print $doc "\n=back\n";
 258 }
 259
 260 print $doc <<'_EOE_';
 261
 262 =head1 AUTHORS
 263
 264 Until May 1997, this document was maintained by Jeff Okamoto
 265 <okamoto@corp.hp.com>.  It is now maintained as part of Perl itself.
 266
 267 With lots of help and suggestions from Dean Roehrich, Malcolm Beattie,
 268 Andreas Koenig, Paul Hudson, Ilya Zakharevich, Paul Marquess, Neil
 269 Bowers, Matthew Green, Tim Bunce, Spider Boardman, Ulrich Pfeifer,
 270 Stephen McCamant, and Gurusamy Sarathy.
 271
 272 API Listing originally by Dean Roehrich <roehrich@cray.com>.
 273
 274 Updated to be autogenerated from comments in the source by Benjamin Stuhl.
 275
 276 =head1 SEE ALSO
 277
 278 perlguts(1), perlxs(1), perlxstut(1), perlintern(1)
 279
 280 _EOE_
 281
 282 readonly_footer($doc);
 283
 284 safer_close($doc);
 285
 286 safer_unlink "pod/perlintern.pod";
 287 my $guts = safer_open("pod/perlintern.pod");
 288 readonly_header($guts);
 289 print $guts <<'END';
 290 =head1 NAME
 291
 292 perlintern - autogenerated documentation of purely B<internal>
 293                  Perl functions
 294
 295 =head1 DESCRIPTION
 296 X<internal Perl functions> X<interpreter functions>
 297
 298 This file is the autogenerated documentation of functions in the
 299 Perl interpreter that are documented using Perl's internal documentation
 300 format but are not marked as part of the Perl API. In other words,
 301 B<they are not for use in extensions>!
 302
 303 END
 304
 305 for $key (sort { uc($a) cmp uc($b); } keys %gutsdocs) {
 306     my $section = $gutsdocs{$key};
 307     print $guts "\n=head1 $key\n\n=over 8\n\n";
 308     for my $key (sort { uc($a) cmp uc($b); } keys %$section) {
 309         docout($guts, $key, $section->{$key});
 310     }
 311     print $guts "\n=back\n";
 312 }
 313
 314 print $guts <<'END';
 315
 316 =head1 AUTHORS
 317
 318 The autodocumentation system was originally added to the Perl core by
 319 Benjamin Stuhl. Documentation is by whoever was kind enough to
 320 document their functions.
 321
 322 =head1 SEE ALSO
 323
 324 perlguts(1), perlapi(1)
 325
 326 END
 327 readonly_footer($guts);
 328
 329 safer_close($guts);