collapse threading doc changes as suggested by Nicholas, adding in notes on the addit...
[p5sagit/p5-mst-13.2.git] / pod / perlfaq3.pod
1 =head1 NAME
2
3 perlfaq3 - Programming Tools
4
5 =head1 DESCRIPTION
6
7 This section of the FAQ answers questions related to programmer tools
8 and programming support.
9
10 =head2 How do I do (anything)?
11
12 Have you looked at CPAN (see L<perlfaq2>)?  The chances are that
13 someone has already written a module that can solve your problem.
14 Have you read the appropriate manpages?  Here's a brief index:
15
16         Basics          perldata, perlvar, perlsyn, perlop, perlsub
17         Execution       perlrun, perldebug
18         Functions       perlfunc
19         Objects         perlref, perlmod, perlobj, perltie
20         Data Structures perlref, perllol, perldsc
21         Modules         perlmod, perlmodlib, perlsub
22         Regexes         perlre, perlfunc, perlop, perllocale
23         Moving to perl5 perltrap, perl
24         Linking w/C     perlxstut, perlxs, perlcall, perlguts, perlembed
25         Various         http://www.cpan.org/misc/olddoc/FMTEYEWTK.tgz
26                         (not a man-page but still useful, a collection
27                          of various essays on Perl techniques)
28
29 A crude table of contents for the Perl manpage set is found in L<perltoc>.
30
31 =head2 How can I use Perl interactively?
32
33 The typical approach uses the Perl debugger, described in the
34 C<perldebug(1)> manpage, on an "empty" program, like this:
35
36     perl -de 42
37
38 Now just type in any legal Perl code, and it will be immediately
39 evaluated.  You can also examine the symbol table, get stack
40 backtraces, check variable values, set breakpoints, and other
41 operations typically found in symbolic debuggers.
42
43 =head2 Is there a Perl shell?
44
45 The C<psh> (Perl sh) is currently at version 1.8. The Perl Shell is a shell
46 that combines the interactive nature of a Unix shell with the power of
47 Perl. The goal is a full featured shell that behaves as expected for
48 normal shell activity and uses Perl syntax and functionality for
49 control-flow statements and other things. You can get C<psh> at
50 http://sourceforge.net/projects/psh/ .
51
52 C<Zoidberg> is a similar project and provides a shell written in perl,
53 configured in perl and operated in perl. It is intended as a login shell
54 and development environment. It can be found at
55 http://pardus-larus.student.utwente.nl/~pardus/projects/zoidberg/
56 or your local CPAN mirror.
57
58 The C<Shell.pm> module (distributed with Perl) makes Perl try commands
59 which aren't part of the Perl language as shell commands.  C<perlsh> from
60 the source distribution is simplistic and uninteresting, but may still
61 be what you want.
62
63 =head2 How do I find which modules are installed on my system?
64
65 From the command line, you can use the C<cpan> command's C<-l> switch:
66
67         $ cpan -l
68
69 You can also use C<cpan>'s C<-a> switch to create an autobundle file
70 that C<CPAN.pm> understands and can use to re-install every module:
71
72         $ cpan -a
73
74 Inside a Perl program, you can use the C<ExtUtils::Installed> module to
75 show all installed distributions, although it can take awhile to do
76 its magic.  The standard library which comes with Perl just shows up
77 as "Perl" (although you can get those with C<Module::CoreList>).
78
79         use ExtUtils::Installed;
80
81         my $inst    = ExtUtils::Installed->new();
82         my @modules = $inst->modules();
83
84 If you want a list of all of the Perl module filenames, you
85 can use C<File::Find::Rule>:
86
87         use File::Find::Rule;
88
89         my @files = File::Find::Rule->
90                 extras({follow => 1})->
91                 file()->
92                 name( '*.pm' )->
93                 in( @INC )
94                 ;
95
96 If you do not have that module, you can do the same thing
97 with C<File::Find> which is part of the standard library:
98
99         use File::Find;
100         my @files;
101
102         find(
103             {
104                 wanted => sub {
105                     push @files, $File::Find::fullname
106                         if -f $File::Find::fullname && /\.pm$/
107                 },
108                 follow => 1,
109                 follow_skip => 2,
110             },
111             @INC
112         );
113
114         print join "\n", @files;
115
116 If you simply need to quickly check to see if a module is
117 available, you can check for its documentation.  If you can
118 read the documentation the module is most likely installed.
119 If you cannot read the documentation, the module might not
120 have any (in rare cases):
121
122         $ perldoc Module::Name
123
124 You can also try to include the module in a one-liner to see if
125 perl finds it:
126
127         $ perl -MModule::Name -e1
128
129 =head2 How do I debug my Perl programs?
130
131 (contributed by brian d foy)
132
133 Before you do anything else, you can help yourself by ensuring that
134 you let Perl tell you about problem areas in your code. By turning
135 on warnings and strictures, you can head off many problems before
136 they get too big. You can find out more about these in L<strict>
137 and L<warnings>.
138
139         #!/usr/bin/perl
140         use strict;
141         use warnings;
142
143 Beyond that, the simplest debugger is the C<print> function. Use it
144 to look at values as you run your program:
145
146         print STDERR "The value is [$value]\n";
147
148 The C<Data::Dumper> module can pretty-print Perl data structures:
149
150         use Data::Dumper qw( Dumper );
151         print STDERR "The hash is " . Dumper( \%hash ) . "\n";
152
153 Perl comes with an interactive debugger, which you can start with the
154 C<-d> switch. It's fully explained in L<perldebug>.
155
156 If you'd like a graphical user interface and you have C<Tk>, you can use
157 C<ptkdb>. It's on CPAN and available for free.
158
159 If you need something much more sophisticated and controllable, Leon
160 Brocard's C<Devel::ebug> (which you can call with the C<-D> switch as C<-Debug>)
161 gives you the programmatic hooks into everything you need to write your
162 own (without too much pain and suffering).
163
164 You can also use a commercial debugger such as Affrus (Mac OS X), Komodo
165 from Activestate (Windows and Mac OS X), or EPIC (most platforms).
166
167 =head2 How do I profile my Perl programs?
168
169 (contributed by brian d foy, updated Fri Jul 25 12:22:26 PDT 2008)
170
171 The C<Devel> namespace has several modules which you can use to
172 profile your Perl programs. The C<Devel::DProf> module comes with Perl
173 and you can invoke it with the C<-d> switch:
174
175         perl -d:DProf program.pl
176
177 After running your program under C<DProf>, you'll get a F<tmon.out> file
178 with the profile data. To look at the data, you can turn it into a
179 human-readable report with the C<dprofpp> program that comes with
180 C<Devel::DProf>.
181
182         dprofpp
183
184 You can also do the profiling and reporting in one step with the C<-p>
185 switch to C<dprofpp>:
186
187         dprofpp -p program.pl
188
189 The C<Devel::NYTProf> (New York Times Profiler) does both statement
190 and subroutine profiling. It's available from CPAN and you also invoke
191 it with the C<-d> switch:
192
193         perl -d:NYTProf some_perl.pl
194
195 Like C<DProf>, it creates a database of the profile information that you
196 can turn into reports. The C<nytprofhtml> command turns the data into
197 an HTML report similar to the C<Devel::Cover> report:
198
199         nytprofhtml
200
201 CPAN has several other profilers that you can invoke in the same
202 fashion. You might also be interested in using the C<Benchmark> to
203 measure and compare code snippets.
204
205 You can read more about profiling in I<Programming Perl>, chapter 20,
206 or I<Mastering Perl>, chapter 5.
207
208 L<perldebguts> documents creating a custom debugger if you need to
209 create a special sort of profiler. brian d foy describes the process
210 in I<The Perl Journal>, "Creating a Perl Debugger",
211 http://www.ddj.com/184404522 , and "Profiling in Perl"
212 http://www.ddj.com/184404580 .
213
214 Perl.com has two interesting articles on profiling: "Profiling Perl",
215 by Simon Cozens, http://www.perl.com/lpt/a/850 and "Debugging and
216 Profiling mod_perl Applications", by Frank Wiles,
217 http://www.perl.com/pub/a/2006/02/09/debug_mod_perl.html .
218
219 Randal L. Schwartz writes about profiling in "Speeding up Your Perl
220 Programs" for I<Unix Review>,
221 http://www.stonehenge.com/merlyn/UnixReview/col49.html , and "Profiling
222 in Template Toolkit via Overriding" for I<Linux Magazine>,
223 http://www.stonehenge.com/merlyn/LinuxMag/col75.html .
224
225 =head2 How do I cross-reference my Perl programs?
226
227 The C<B::Xref> module can be used to generate cross-reference reports
228 for Perl programs.
229
230     perl -MO=Xref[,OPTIONS] scriptname.plx
231
232 =head2 Is there a pretty-printer (formatter) for Perl?
233
234 C<Perltidy> is a Perl script which indents and reformats Perl scripts
235 to make them easier to read by trying to follow the rules of the
236 L<perlstyle>. If you write Perl scripts, or spend much time reading
237 them, you will probably find it useful.  It is available at
238 http://perltidy.sourceforge.net .
239
240 Of course, if you simply follow the guidelines in L<perlstyle>,
241 you shouldn't need to reformat.  The habit of formatting your code
242 as you write it will help prevent bugs.  Your editor can and should
243 help you with this.  The perl-mode or newer cperl-mode for emacs
244 can provide remarkable amounts of help with most (but not all)
245 code, and even less programmable editors can provide significant
246 assistance.  Tom Christiansen and many other VI users  swear by
247 the following settings in vi and its clones:
248
249     set ai sw=4
250     map! ^O {^M}^[O^T
251
252 Put that in your F<.exrc> file (replacing the caret characters
253 with control characters) and away you go.  In insert mode, ^T is
254 for indenting, ^D is for undenting, and ^O is for blockdenting--as
255 it were.  A more complete example, with comments, can be found at
256 http://www.cpan.org/authors/id/TOMC/scripts/toms.exrc.gz
257
258 The a2ps http://www-inf.enst.fr/%7Edemaille/a2ps/black+white.ps.gz does
259 lots of things related to generating nicely printed output of
260 documents.
261
262 =head2 Is there a ctags for Perl?
263
264 (contributed by brian d foy)
265
266 Ctags uses an index to quickly find things in source code, and many
267 popular editors support ctags for several different languages,
268 including Perl.
269
270 Exuberent ctags supports Perl: http://ctags.sourceforge.net/
271
272 You might also try pltags: http://www.mscha.com/pltags.zip
273
274 =head2 Is there an IDE or Windows Perl Editor?
275
276 Perl programs are just plain text, so any editor will do.
277
278 If you're on Unix, you already have an IDE--Unix itself.  The Unix
279 philosophy is the philosophy of several small tools that each do one
280 thing and do it well.  It's like a carpenter's toolbox.
281
282 If you want an IDE, check the following (in alphabetical order, not
283 order of preference):
284
285 =over 4
286
287 =item Eclipse
288
289 http://e-p-i-c.sf.net/
290
291 The Eclipse Perl Integration Project integrates Perl
292 editing/debugging with Eclipse.
293
294 =item Enginsite
295
296 http://www.enginsite.com/
297
298 Perl Editor by EngInSite is a complete integrated development
299 environment (IDE) for creating, testing, and  debugging  Perl scripts;
300 the tool runs on Windows 9x/NT/2000/XP or later.
301
302 =item Komodo
303
304 http://www.ActiveState.com/Products/Komodo/
305
306 ActiveState's cross-platform (as of October 2004, that's Windows, Linux,
307 and Solaris), multi-language IDE has Perl support, including a regular expression
308 debugger and remote debugging.
309
310 =item Notepad++
311
312 http://notepad-plus.sourceforge.net/
313
314 =item Open Perl IDE
315
316 http://open-perl-ide.sourceforge.net/
317
318 Open Perl IDE is an integrated development environment for writing
319 and debugging Perl scripts with ActiveState's ActivePerl distribution
320 under Windows 95/98/NT/2000.
321
322 =item OptiPerl
323
324 http://www.optiperl.com/
325
326 OptiPerl is a Windows IDE with simulated CGI environment, including
327 debugger and syntax highlighting editor.
328
329 =item Padre
330
331 http://padre.perlide.org/
332
333 Padre is cross-platform IDE for Perl written in Perl using wxWidgets to provide
334 a native look and feel. It's open source under the Artistic License.
335
336 =item PerlBuilder
337
338 http://www.solutionsoft.com/perl.htm
339
340 PerlBuilder is an integrated development environment for Windows that
341 supports Perl development.
342
343 =item visiPerl+
344
345 http://helpconsulting.net/visiperl/
346
347 From Help Consulting, for Windows.
348
349 =item Visual Perl
350
351 http://www.activestate.com/Products/Visual_Perl/
352
353 Visual Perl is a Visual Studio.NET plug-in from ActiveState.
354
355 =item Zeus
356
357 http://www.zeusedit.com/lookmain.html
358
359 Zeus for Window is another Win32 multi-language editor/IDE
360 that comes with support for Perl:
361
362 =back
363
364 For editors: if you're on Unix you probably have vi or a vi clone
365 already, and possibly an emacs too, so you may not need to download
366 anything. In any emacs the cperl-mode (M-x cperl-mode) gives you
367 perhaps the best available Perl editing mode in any editor.
368
369 If you are using Windows, you can use any editor that lets you work
370 with plain text, such as NotePad or WordPad. Word processors, such as
371 Microsoft Word or WordPerfect, typically do not work since they insert
372 all sorts of behind-the-scenes information, although some allow you to
373 save files as "Text Only". You can also download text editors designed
374 specifically for programming, such as Textpad (
375 http://www.textpad.com/ ) and UltraEdit ( http://www.ultraedit.com/ ),
376 among others.
377
378 If you are using MacOS, the same concerns apply. MacPerl (for Classic
379 environments) comes with a simple editor. Popular external editors are
380 BBEdit ( http://www.bbedit.com/ ) or Alpha (
381 http://www.his.com/~jguyer/Alpha/Alpha8.html ). MacOS X users can use
382 Unix editors as well.
383
384 =over 4
385
386 =item GNU Emacs
387
388 http://www.gnu.org/software/emacs/windows/ntemacs.html
389
390 =item MicroEMACS
391
392 http://www.microemacs.de/
393
394 =item XEmacs
395
396 http://www.xemacs.org/Download/index.html
397
398 =item Jed
399
400 http://space.mit.edu/~davis/jed/
401
402 =back
403
404 or a vi clone such as
405
406 =over 4
407
408 =item Elvis
409
410 ftp://ftp.cs.pdx.edu/pub/elvis/ http://www.fh-wedel.de/elvis/
411
412 =item Vile
413
414 http://dickey.his.com/vile/vile.html
415
416 =item Vim
417
418 http://www.vim.org/
419
420 =back
421
422 For vi lovers in general, Windows or elsewhere:
423
424         http://www.thomer.com/thomer/vi/vi.html
425
426 nvi ( http://www.bostic.com/vi/ , available from CPAN in src/misc/) is
427 yet another vi clone, unfortunately not available for Windows, but in
428 Unix platforms you might be interested in trying it out, firstly because
429 strictly speaking it is not a vi clone, it is the real vi, or the new
430 incarnation of it, and secondly because you can embed Perl inside it
431 to use Perl as the scripting language.  nvi is not alone in this,
432 though: at least also vim and vile offer an embedded Perl.
433
434 The following are Win32 multilanguage editor/IDEs that support Perl:
435
436 =over 4
437
438 =item Codewright
439
440 http://www.borland.com/codewright/
441
442 =item MultiEdit
443
444 http://www.MultiEdit.com/
445
446 =item SlickEdit
447
448 http://www.slickedit.com/
449
450 =item ConTEXT
451
452 http://www.contexteditor.org/
453
454 =back
455
456 There is also a toyedit Text widget based editor written in Perl
457 that is distributed with the Tk module on CPAN.  The ptkdb
458 ( http://ptkdb.sourceforge.net/ ) is a Perl/tk based debugger that
459 acts as a development environment of sorts.  Perl Composer
460 ( http://perlcomposer.sourceforge.net/ ) is an IDE for Perl/Tk
461 GUI creation.
462
463 In addition to an editor/IDE you might be interested in a more
464 powerful shell environment for Win32.  Your options include
465
466 =over 4
467
468 =item Bash
469
470 from the Cygwin package ( http://sources.redhat.com/cygwin/ )
471
472 =item Ksh
473
474 from the MKS Toolkit ( http://www.mkssoftware.com/ ), or the Bourne shell of
475 the U/WIN environment ( http://www.research.att.com/sw/tools/uwin/ )
476
477 =item Tcsh
478
479 ftp://ftp.astron.com/pub/tcsh/ , see also
480 http://www.primate.wisc.edu/software/csh-tcsh-book/
481
482 =item Zsh
483
484 http://www.zsh.org/
485
486 =back
487
488 MKS and U/WIN are commercial (U/WIN is free for educational and
489 research purposes), Cygwin is covered by the GNU General Public
490 License (but that shouldn't matter for Perl use).  The Cygwin, MKS,
491 and U/WIN all contain (in addition to the shells) a comprehensive set
492 of standard Unix toolkit utilities.
493
494 If you're transferring text files between Unix and Windows using FTP
495 be sure to transfer them in ASCII mode so the ends of lines are
496 appropriately converted.
497
498 On Mac OS the MacPerl Application comes with a simple 32k text editor
499 that behaves like a rudimentary IDE.  In contrast to the MacPerl Application
500 the MPW Perl tool can make use of the MPW Shell itself as an editor (with
501 no 32k limit).
502
503 =over 4
504
505 =item Affrus
506
507 is a full Perl development environment with full debugger support
508 ( http://www.latenightsw.com ).
509
510 =item Alpha
511
512 is an editor, written and extensible in Tcl, that nonetheless has
513 built in support for several popular markup and programming languages
514 including Perl and HTML ( http://www.his.com/~jguyer/Alpha/Alpha8.html ).
515
516 =item BBEdit and BBEdit Lite
517
518 are text editors for Mac OS that have a Perl sensitivity mode
519 ( http://web.barebones.com/ ).
520
521 =back
522
523 =head2 Where can I get Perl macros for vi?
524
525 For a complete version of Tom Christiansen's vi configuration file,
526 see http://www.cpan.org/authors/Tom_Christiansen/scripts/toms.exrc.gz ,
527 the standard benchmark file for vi emulators.  The file runs best with nvi,
528 the current version of vi out of Berkeley, which incidentally can be built
529 with an embedded Perl interpreter--see http://www.cpan.org/src/misc/ .
530
531 =head2 Where can I get perl-mode or cperl-mode for emacs?
532 X<emacs>
533
534 Since Emacs version 19 patchlevel 22 or so, there have been both a
535 perl-mode.el and support for the Perl debugger built in.  These should
536 come with the standard Emacs 19 distribution.
537
538 Note that the perl-mode of emacs will have fits with C<"main'foo">
539 (single quote), and mess up the indentation and highlighting.  You
540 are probably using C<"main::foo"> in new Perl code anyway, so this
541 shouldn't be an issue.
542
543 For CPerlMode, see http://www.emacswiki.org/cgi-bin/wiki/CPerlMode
544
545 =head2 How can I use curses with Perl?
546
547 The Curses module from CPAN provides a dynamically loadable object
548 module interface to a curses library.  A small demo can be found at the
549 directory http://www.cpan.org/authors/Tom_Christiansen/scripts/rep.gz ;
550 this program repeats a command and updates the screen as needed, rendering
551 B<rep ps axu> similar to B<top>.
552
553 =head2 How can I write a GUI (X, Tk, Gtk, etc.) in Perl?
554 X<GUI> X<Tk> X<Wx> X<WxWidgets> X<Gtk> X<Gtk2> X<CamelBones> X<Qt>
555
556 (contributed by Ben Morrow)
557
558 There are a number of modules which let you write GUIs in Perl. Most
559 GUI toolkits have a perl interface: an incomplete list follows.
560
561 =over 4
562
563 =item Tk
564
565 This works under Unix and Windows, and the current version doesn't
566 look half as bad under Windows as it used to. Some of the gui elements
567 still don't 'feel' quite right, though. The interface is very natural
568 and 'perlish', making it easy to use in small scripts that just need a
569 simple gui. It hasn't been updated in a while.
570
571 =item Wx
572
573 This is a Perl binding for the cross-platform wxWidgets toolkit
574 ( http://www.wxwidgets.org ). It works under Unix, Win32 and Mac OS X,
575 using native widgets (Gtk under Unix). The interface follows the C++
576 interface closely, but the documentation is a little sparse for someone
577 who doesn't know the library, mostly just referring you to the C++
578 documentation.
579
580 =item Gtk and Gtk2
581
582 These are Perl bindings for the Gtk toolkit ( http://www.gtk.org ). The
583 interface changed significantly between versions 1 and 2 so they have
584 separate Perl modules. It runs under Unix, Win32 and Mac OS X (currently
585 it requires an X server on Mac OS, but a 'native' port is underway), and
586 the widgets look the same on every plaform: i.e., they don't match the
587 native widgets. As with Wx, the Perl bindings follow the C API closely,
588 and the documentation requires you to read the C documentation to
589 understand it.
590
591 =item Win32::GUI
592
593 This provides access to most of the Win32 GUI widgets from Perl.
594 Obviously, it only runs under Win32, and uses native widgets. The Perl
595 interface doesn't really follow the C interface: it's been made more
596 Perlish, and the documentation is pretty good. More advanced stuff may
597 require familiarity with the C Win32 APIs, or reference to MSDN.
598
599 =item CamelBones
600
601 CamelBones ( http://camelbones.sourceforge.net ) is a Perl interface to
602 Mac OS X's Cocoa GUI toolkit, and as such can be used to produce native
603 GUIs on Mac OS X. It's not on CPAN, as it requires frameworks that
604 CPAN.pm doesn't know how to install, but installation is via the
605 standard OSX package installer. The Perl API is, again, very close to
606 the ObjC API it's wrapping, and the documentation just tells you how to
607 translate from one to the other.
608
609 =item Qt
610
611 There is a Perl interface to TrollTech's Qt toolkit, but it does not
612 appear to be maintained.
613
614 =item Athena
615
616 Sx is an interface to the Athena widget set which comes with X, but
617 again it appears not to be much used nowadays.
618
619 =back
620
621 =head2 How can I make my Perl program run faster?
622
623 The best way to do this is to come up with a better algorithm.  This
624 can often make a dramatic difference.  Jon Bentley's book
625 I<Programming Pearls> (that's not a misspelling!)  has some good tips
626 on optimization, too.  Advice on benchmarking boils down to: benchmark
627 and profile to make sure you're optimizing the right part, look for
628 better algorithms instead of microtuning your code, and when all else
629 fails consider just buying faster hardware.  You will probably want to
630 read the answer to the earlier question "How do I profile my Perl
631 programs?" if you haven't done so already.
632
633 A different approach is to autoload seldom-used Perl code.  See the
634 AutoSplit and AutoLoader modules in the standard distribution for
635 that.  Or you could locate the bottleneck and think about writing just
636 that part in C, the way we used to take bottlenecks in C code and
637 write them in assembler.  Similar to rewriting in C, modules that have
638 critical sections can be written in C (for instance, the PDL module
639 from CPAN).
640
641 If you're currently linking your perl executable to a shared
642 I<libc.so>, you can often gain a 10-25% performance benefit by
643 rebuilding it to link with a static libc.a instead.  This will make a
644 bigger perl executable, but your Perl programs (and programmers) may
645 thank you for it.  See the F<INSTALL> file in the source distribution
646 for more information.
647
648 The undump program was an ancient attempt to speed up Perl program by
649 storing the already-compiled form to disk.  This is no longer a viable
650 option, as it only worked on a few architectures, and wasn't a good
651 solution anyway.
652
653 =head2 How can I make my Perl program take less memory?
654
655 When it comes to time-space tradeoffs, Perl nearly always prefers to
656 throw memory at a problem.  Scalars in Perl use more memory than
657 strings in C, arrays take more than that, and hashes use even more.  While
658 there's still a lot to be done, recent releases have been addressing
659 these issues.  For example, as of 5.004, duplicate hash keys are
660 shared amongst all hashes using them, so require no reallocation.
661
662 In some cases, using substr() or vec() to simulate arrays can be
663 highly beneficial.  For example, an array of a thousand booleans will
664 take at least 20,000 bytes of space, but it can be turned into one
665 125-byte bit vector--a considerable memory savings.  The standard
666 Tie::SubstrHash module can also help for certain types of data
667 structure.  If you're working with specialist data structures
668 (matrices, for instance) modules that implement these in C may use
669 less memory than equivalent Perl modules.
670
671 Another thing to try is learning whether your Perl was compiled with
672 the system malloc or with Perl's builtin malloc.  Whichever one it
673 is, try using the other one and see whether this makes a difference.
674 Information about malloc is in the F<INSTALL> file in the source
675 distribution.  You can find out whether you are using perl's malloc by
676 typing C<perl -V:usemymalloc>.
677
678 Of course, the best way to save memory is to not do anything to waste
679 it in the first place. Good programming practices can go a long way
680 toward this:
681
682 =over 4
683
684 =item * Don't slurp!
685
686 Don't read an entire file into memory if you can process it line
687 by line. Or more concretely, use a loop like this:
688
689         #
690         # Good Idea
691         #
692         while (<FILE>) {
693            # ...
694         }
695
696 instead of this:
697
698         #
699         # Bad Idea
700         #
701         @data = <FILE>;
702         foreach (@data) {
703             # ...
704         }
705
706 When the files you're processing are small, it doesn't much matter which
707 way you do it, but it makes a huge difference when they start getting
708 larger.
709
710 =item * Use map and grep selectively
711
712 Remember that both map and grep expect a LIST argument, so doing this:
713
714         @wanted = grep {/pattern/} <FILE>;
715
716 will cause the entire file to be slurped. For large files, it's better
717 to loop:
718
719         while (<FILE>) {
720                 push(@wanted, $_) if /pattern/;
721         }
722
723 =item * Avoid unnecessary quotes and stringification
724
725 Don't quote large strings unless absolutely necessary:
726
727         my $copy = "$large_string";
728
729 makes 2 copies of $large_string (one for $copy and another for the
730 quotes), whereas
731
732         my $copy = $large_string;
733
734 only makes one copy.
735
736 Ditto for stringifying large arrays:
737
738         {
739         local $, = "\n";
740         print @big_array;
741         }
742
743 is much more memory-efficient than either
744
745         print join "\n", @big_array;
746
747 or
748
749         {
750         local $" = "\n";
751         print "@big_array";
752         }
753
754
755 =item * Pass by reference
756
757 Pass arrays and hashes by reference, not by value. For one thing, it's
758 the only way to pass multiple lists or hashes (or both) in a single
759 call/return. It also avoids creating a copy of all the contents. This
760 requires some judgement, however, because any changes will be propagated
761 back to the original data. If you really want to mangle (er, modify) a
762 copy, you'll have to sacrifice the memory needed to make one.
763
764 =item * Tie large variables to disk.
765
766 For "big" data stores (i.e. ones that exceed available memory) consider
767 using one of the DB modules to store it on disk instead of in RAM. This
768 will incur a penalty in access time, but that's probably better than
769 causing your hard disk to thrash due to massive swapping.
770
771 =back
772
773 =head2 Is it safe to return a reference to local or lexical data?
774
775 Yes. Perl's garbage collection system takes care of this so
776 everything works out right.
777
778     sub makeone {
779         my @a = ( 1 .. 10 );
780         return \@a;
781     }
782
783     for ( 1 .. 10 ) {
784         push @many, makeone();
785     }
786
787     print $many[4][5], "\n";
788
789     print "@many\n";
790
791 =head2 How can I free an array or hash so my program shrinks?
792
793 (contributed by Michael Carman)
794
795 You usually can't. Memory allocated to lexicals (i.e. my() variables)
796 cannot be reclaimed or reused even if they go out of scope. It is
797 reserved in case the variables come back into scope. Memory allocated
798 to global variables can be reused (within your program) by using
799 undef() and/or delete().
800
801 On most operating systems, memory allocated to a program can never be
802 returned to the system. That's why long-running programs sometimes re-
803 exec themselves. Some operating systems (notably, systems that use
804 mmap(2) for allocating large chunks of memory) can reclaim memory that
805 is no longer used, but on such systems, perl must be configured and
806 compiled to use the OS's malloc, not perl's.
807
808 In general, memory allocation and de-allocation isn't something you can
809 or should be worrying about much in Perl.
810
811 See also "How can I make my Perl program take less memory?"
812
813 =head2 How can I make my CGI script more efficient?
814
815 Beyond the normal measures described to make general Perl programs
816 faster or smaller, a CGI program has additional issues.  It may be run
817 several times per second.  Given that each time it runs it will need
818 to be re-compiled and will often allocate a megabyte or more of system
819 memory, this can be a killer.  Compiling into C B<isn't going to help
820 you> because the process start-up overhead is where the bottleneck is.
821
822 There are two popular ways to avoid this overhead.  One solution
823 involves running the Apache HTTP server (available from
824 http://www.apache.org/ ) with either of the mod_perl or mod_fastcgi
825 plugin modules.
826
827 With mod_perl and the Apache::Registry module (distributed with
828 mod_perl), httpd will run with an embedded Perl interpreter which
829 pre-compiles your script and then executes it within the same address
830 space without forking.  The Apache extension also gives Perl access to
831 the internal server API, so modules written in Perl can do just about
832 anything a module written in C can.  For more on mod_perl, see
833 http://perl.apache.org/
834
835 With the FCGI module (from CPAN) and the mod_fastcgi
836 module (available from http://www.fastcgi.com/ ) each of your Perl
837 programs becomes a permanent CGI daemon process.
838
839 Both of these solutions can have far-reaching effects on your system
840 and on the way you write your CGI programs, so investigate them with
841 care.
842
843 See http://www.cpan.org/modules/by-category/15_World_Wide_Web_HTML_HTTP_CGI/ .
844
845 =head2 How can I hide the source for my Perl program?
846
847 Delete it. :-) Seriously, there are a number of (mostly
848 unsatisfactory) solutions with varying levels of "security".
849
850 First of all, however, you I<can't> take away read permission, because
851 the source code has to be readable in order to be compiled and
852 interpreted.  (That doesn't mean that a CGI script's source is
853 readable by people on the web, though--only by people with access to
854 the filesystem.)  So you have to leave the permissions at the socially
855 friendly 0755 level.
856
857 Some people regard this as a security problem.  If your program does
858 insecure things and relies on people not knowing how to exploit those
859 insecurities, it is not secure.  It is often possible for someone to
860 determine the insecure things and exploit them without viewing the
861 source.  Security through obscurity, the name for hiding your bugs
862 instead of fixing them, is little security indeed.
863
864 You can try using encryption via source filters (Starting from Perl
865 5.8 the Filter::Simple and Filter::Util::Call modules are included in
866 the standard distribution), but any decent programmer will be able to
867 decrypt it.  You can try using the byte code compiler and interpreter
868 described later in L<perlfaq3>, but the curious might still be able to
869 de-compile it. You can try using the native-code compiler described
870 later, but crackers might be able to disassemble it.  These pose
871 varying degrees of difficulty to people wanting to get at your code,
872 but none can definitively conceal it (true of every language, not just
873 Perl).
874
875 It is very easy to recover the source of Perl programs.  You simply
876 feed the program to the perl interpreter and use the modules in
877 the B:: hierarchy.  The B::Deparse module should be able to
878 defeat most attempts to hide source.  Again, this is not
879 unique to Perl.
880
881 If you're concerned about people profiting from your code, then the
882 bottom line is that nothing but a restrictive license will give you
883 legal security.  License your software and pepper it with threatening
884 statements like "This is unpublished proprietary software of XYZ Corp.
885 Your access to it does not give you permission to use it blah blah
886 blah."  We are not lawyers, of course, so you should see a lawyer if
887 you want to be sure your license's wording will stand up in court.
888
889 =head2 How can I compile my Perl program into byte code or C?
890
891 (contributed by brian d foy)
892
893 In general, you can't do this.  There are some things that may work
894 for your situation though.  People usually ask this question
895 because they want to distribute their works without giving away
896 the source code, and most solutions trade disk space for convenience.
897 You probably won't see much of a speed increase either, since most
898 solutions simply bundle a Perl interpreter in the final product
899 (but see L<How can I make my Perl program run faster?>).
900
901 The Perl Archive Toolkit ( http://par.perl.org/ ) is Perl's
902 analog to Java's JAR.  It's freely available and on CPAN (
903 http://search.cpan.org/dist/PAR/ ).
904
905 There are also some commercial products that may work for you, although
906 you have to buy a license for them.
907
908 The Perl Dev Kit ( http://www.activestate.com/Products/Perl_Dev_Kit/ )
909 from ActiveState can "Turn your Perl programs into ready-to-run
910 executables for HP-UX, Linux, Solaris and Windows."
911
912 Perl2Exe ( http://www.indigostar.com/perl2exe.htm ) is a command line
913 program for converting perl scripts to executable files.  It targets both
914 Windows and Unix platforms.
915
916 =head2 How can I get C<#!perl> to work on [MS-DOS,NT,...]?
917
918 For OS/2 just use
919
920     extproc perl -S -your_switches
921
922 as the first line in C<*.cmd> file (C<-S> due to a bug in cmd.exe's
923 "extproc" handling).  For DOS one should first invent a corresponding
924 batch file and codify it in C<ALTERNATE_SHEBANG> (see the
925 F<dosish.h> file in the source distribution for more information).
926
927 The Win95/NT installation, when using the ActiveState port of Perl,
928 will modify the Registry to associate the C<.pl> extension with the
929 perl interpreter.  If you install another port, perhaps even building
930 your own Win95/NT Perl from the standard sources by using a Windows port
931 of gcc (e.g., with cygwin or mingw32), then you'll have to modify
932 the Registry yourself.  In addition to associating C<.pl> with the
933 interpreter, NT people can use: C<SET PATHEXT=%PATHEXT%;.PL> to let them
934 run the program C<install-linux.pl> merely by typing C<install-linux>.
935
936 Under "Classic" MacOS, a perl program will have the appropriate Creator and
937 Type, so that double-clicking them will invoke the MacPerl application.
938 Under Mac OS X, clickable apps can be made from any C<#!> script using Wil
939 Sanchez' DropScript utility: http://www.wsanchez.net/software/ .
940
941 I<IMPORTANT!>: Whatever you do, PLEASE don't get frustrated, and just
942 throw the perl interpreter into your cgi-bin directory, in order to
943 get your programs working for a web server.  This is an EXTREMELY big
944 security risk.  Take the time to figure out how to do it correctly.
945
946 =head2 Can I write useful Perl programs on the command line?
947
948 Yes.  Read L<perlrun> for more information.  Some examples follow.
949 (These assume standard Unix shell quoting rules.)
950
951     # sum first and last fields
952     perl -lane 'print $F[0] + $F[-1]' *
953
954     # identify text files
955     perl -le 'for(@ARGV) {print if -f && -T _}' *
956
957     # remove (most) comments from C program
958     perl -0777 -pe 's{/\*.*?\*/}{}gs' foo.c
959
960     # make file a month younger than today, defeating reaper daemons
961     perl -e '$X=24*60*60; utime(time(),time() + 30 * $X,@ARGV)' *
962
963     # find first unused uid
964     perl -le '$i++ while getpwuid($i); print $i'
965
966     # display reasonable manpath
967     echo $PATH | perl -nl -072 -e '
968         s![^/+]*$!man!&&-d&&!$s{$_}++&&push@m,$_;END{print"@m"}'
969
970 OK, the last one was actually an Obfuscated Perl Contest entry. :-)
971
972 =head2 Why don't Perl one-liners work on my DOS/Mac/VMS system?
973
974 The problem is usually that the command interpreters on those systems
975 have rather different ideas about quoting than the Unix shells under
976 which the one-liners were created.  On some systems, you may have to
977 change single-quotes to double ones, which you must I<NOT> do on Unix
978 or Plan9 systems.  You might also have to change a single % to a %%.
979
980 For example:
981
982     # Unix (including Mac OS X)
983     perl -e 'print "Hello world\n"'
984
985     # DOS, etc.
986     perl -e "print \"Hello world\n\""
987
988     # Mac Classic
989     print "Hello world\n"
990      (then Run "Myscript" or Shift-Command-R)
991
992     # MPW
993     perl -e 'print "Hello world\n"'
994
995     # VMS
996     perl -e "print ""Hello world\n"""
997
998 The problem is that none of these examples are reliable: they depend on the
999 command interpreter.  Under Unix, the first two often work. Under DOS,
1000 it's entirely possible that neither works.  If 4DOS was the command shell,
1001 you'd probably have better luck like this:
1002
1003   perl -e "print <Ctrl-x>"Hello world\n<Ctrl-x>""
1004
1005 Under the Mac, it depends which environment you are using.  The MacPerl
1006 shell, or MPW, is much like Unix shells in its support for several
1007 quoting variants, except that it makes free use of the Mac's non-ASCII
1008 characters as control characters.
1009
1010 Using qq(), q(), and qx(), instead of "double quotes", 'single
1011 quotes', and `backticks`, may make one-liners easier to write.
1012
1013 There is no general solution to all of this.  It is a mess.
1014
1015 [Some of this answer was contributed by Kenneth Albanowski.]
1016
1017 =head2 Where can I learn about CGI or Web programming in Perl?
1018
1019 For modules, get the CGI or LWP modules from CPAN.  For textbooks,
1020 see the two especially dedicated to web stuff in the question on
1021 books.  For problems and questions related to the web, like "Why
1022 do I get 500 Errors" or "Why doesn't it run from the browser right
1023 when it runs fine on the command line", see the troubleshooting
1024 guides and references in L<perlfaq9> or in the CGI MetaFAQ:
1025
1026         http://www.perl.org/CGI_MetaFAQ.html
1027
1028 =head2 Where can I learn about object-oriented Perl programming?
1029
1030 A good place to start is L<perltoot>, and you can use L<perlobj>,
1031 L<perlboot>, L<perltoot>, L<perltooc>, and L<perlbot> for reference.
1032
1033 A good book on OO on Perl is the "Object-Oriented Perl"
1034 by Damian Conway from Manning Publications, or "Intermediate Perl"
1035 by Randal Schwartz, brian d foy, and Tom Phoenix from O'Reilly Media.
1036
1037 =head2 Where can I learn about linking C with Perl?
1038
1039 If you want to call C from Perl, start with L<perlxstut>,
1040 moving on to L<perlxs>, L<xsubpp>, and L<perlguts>.  If you want to
1041 call Perl from C, then read L<perlembed>, L<perlcall>, and
1042 L<perlguts>.  Don't forget that you can learn a lot from looking at
1043 how the authors of existing extension modules wrote their code and
1044 solved their problems.
1045
1046 You might not need all the power of XS. The Inline::C module lets
1047 you put C code directly in your Perl source. It handles all the
1048 magic to make it work. You still have to learn at least some of
1049 the perl API but you won't have to deal with the complexity of the
1050 XS support files.
1051
1052 =head2 I've read perlembed, perlguts, etc., but I can't embed perl in my C program; what am I doing wrong?
1053
1054 Download the ExtUtils::Embed kit from CPAN and run `make test'.  If
1055 the tests pass, read the pods again and again and again.  If they
1056 fail, see L<perlbug> and send a bug report with the output of
1057 C<make test TEST_VERBOSE=1> along with C<perl -V>.
1058
1059 =head2 When I tried to run my script, I got this message. What does it mean?
1060
1061 A complete list of Perl's error messages and warnings with explanatory
1062 text can be found in L<perldiag>. You can also use the splain program
1063 (distributed with Perl) to explain the error messages:
1064
1065     perl program 2>diag.out
1066     splain [-v] [-p] diag.out
1067
1068 or change your program to explain the messages for you:
1069
1070     use diagnostics;
1071
1072 or
1073
1074     use diagnostics -verbose;
1075
1076 =head2 What's MakeMaker?
1077
1078 (contributed by brian d foy)
1079
1080 The C<ExtUtils::MakeMaker> module, better known simply as "MakeMaker",
1081 turns a Perl script, typically called C<Makefile.PL>, into a Makefile.
1082 The Unix tool C<make> uses this file to manage dependencies and actions
1083 to process and install a Perl distribution.
1084
1085 =head1 AUTHOR AND COPYRIGHT
1086
1087 Copyright (c) 1997-2010 Tom Christiansen, Nathan Torkington, and
1088 other authors as noted. All rights reserved.
1089
1090 This documentation is free; you can redistribute it and/or modify it
1091 under the same terms as Perl itself.
1092
1093 Irrespective of its distribution, all code examples here are in the public
1094 domain.  You are permitted and encouraged to use this code and any
1095 derivatives thereof in your own programs for fun or for profit as you
1096 see fit.  A simple comment in the code giving credit to the FAQ would
1097 be courteous but is not required.