[ID 20010525.001] Pod typo nits fixed
[p5sagit/p5-mst-13.2.git] / pod / perltodo.pod
1 =head1 NAME
2
3 perltodo - Perl TO-DO List
4
5 =head1 DESCRIPTION
6
7 This is a list of wishes for Perl.  Send updates to
8 I<perl5-porters@perl.org>.  If you want to work on any of these
9 projects, be sure to check the perl5-porters archives for past ideas,
10 flames, and propaganda.  This will save you time and also prevent you
11 from implementing something that Larry has already vetoed.  One set
12 of archives may be found at:
13
14     http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/
15
16 =head1 To do during 5.6.x
17
18 =head2 Support for I/O disciplines
19
20 C<perlio> provides this, but the interface could be a lot more
21 straightforward.
22
23 =head2 Eliminate need for "use utf8";
24
25 While the C<utf8> pragma is autoloaded when necessary, it's still needed
26 for things like Unicode characters in a source file. The UTF8 hint can
27 always be set to true, but it needs to be set to false when F<utf8.pm>
28 is being compiled. (To stop Perl trying to autoload the C<utf8>
29 pragma...)
30
31 =head2 Autoload byte.pm
32
33 When the lexer sees, for instance, C<bytes::length>, it should
34 automatically load the C<bytes> pragma.
35
36 =head2 Make "\u{XXXX}" et al work
37
38 Danger, Will Robinson! Discussing the semantics of C<"\x{F00}">,
39 C<"\xF00"> and C<"\U{F00}"> on P5P I<will> lead to a long and boring
40 flamewar.
41
42 =head2 Overloadable regex assertions
43
44 This may or may not be possible with the current regular expression
45 engine. The idea is that, for instance, C<\b> needs to be
46 algorithmically computed if you're dealing with Thai text. Hence, the
47 B<\b> assertion wants to be overloaded by a function.
48
49 =head2 Unicode collation and normalization
50
51 Simon Cozens promises to work on this.
52
53     Collation?     http://www.unicode.org/unicode/reports/tr10/
54     Normalization? http://www.unicode.org/unicode/reports/tr15/
55
56 =head2 Unicode case mappings 
57
58     Case Mappings? http://www.unicode.org/unicode/reports/tr21/
59
60 =head2 Unicode regular expression character classes
61
62 They have some tricks Perl doesn't yet implement.
63
64         http://www.unicode.org/unicode/reports/tr18/
65
66 =head2 use Thread for iThreads
67
68 Artur Bergman's C<iThreads> module is a start on this, but needs to
69 be more mature.
70
71 =head2 Work out exit/die semantics for threads
72
73 =head2 Typed lexicals for compiler
74
75 =head2 Compiler workarounds for Win32
76
77 =head2 AUTOLOADing in the compiler
78
79 =head2 Fixing comppadlist when compiling
80
81 =head2 Cleaning up exported namespace
82
83 =head2 Complete signal handling
84
85 Add C<PERL_ASYNC_CHECK> to opcodes which loop; replace C<sigsetjmp> with
86 C<sigjmp>; check C<wait> for signal safety.
87
88 =head2 Out-of-source builds
89
90 This was done for 5.6.0, but needs reworking for 5.7.x
91
92 =head2 POSIX realtime support
93
94 POSIX 1003.1 1996 Edition support--realtime stuff: POSIX semaphores,
95 message queues, shared memory, realtime clocks, timers, signals (the
96 metaconfig units mostly already exist for these)
97
98 =head2 UNIX98 support
99
100 Reader-writer locks, realtime/asynchronous IO
101
102 =head2 IPv6 Support
103
104 There are non-core modules, such as C<Net::IPv6>, but these will need
105 integrating when IPv6 actually starts to really happen.  See RFC 2292
106 and RFC 2553.
107
108 =head2 Long double conversion
109
110 Floating point formatting is still causing some weird test failures.
111
112 =head2 Locales
113
114 Locales and Unicode interact with each other in unpleasant ways.
115 One possible solution would be to adopt/support ICU:
116
117         http://oss.software.ibm.com/developerworks/opensource/icu/project/
118
119 =head2 Thread-safe regexes
120
121 The regular expression engine is currently non-threadsafe.
122
123 =head2 Arithmetic on non-Arabic numerals
124
125 C<[1234567890]> aren't the only numerals any more.
126
127 =head2 POSIX Unicode character classes
128
129 ([=a=] for equivalance classes, [.ch.] for collation.)
130 These are dependent on Unicode normalization and collation.
131
132 =head2 Factoring out common suffices/prefices in regexps (trie optimization)
133
134 Currently, the user has to optimize C<foo|far> and C<foo|goo> into
135 C<f(?:oo|ar)> and C<[fg]oo> by hand; this could be done automatically.
136
137 =head2 Security audit shipped utilities
138
139 All the code we ship with Perl needs to be sensible about temporary file
140 handling, locking, input validation, and so on.
141
142 =head2 Custom opcodes
143
144 Have a way to introduce user-defined opcodes without the subroutine call
145 overhead of an XSUB; the user should be able to create PP code. Simon
146 Cozens has some ideas on this.
147
148 =head2 spawnvp() on Win32
149
150 Win32 has problems spawning processes, particularly when the arguments
151 to the child process contain spaces, quotes or tab characters.
152
153 =head2 DLL Versioning
154
155 Windows needs a way to know what version of a XS or C<libperl> DLL it's
156 loading.
157
158 =head2 Introduce @( and @)
159
160 C<$(> may return "foo bar baz". Unfortunately, since groups can
161 theoretically have spaces in their names, this could be one, two or
162 three groups.
163
164 =head2 Floating point handling
165
166 C<NaN> and C<inf> support is particularly troublesome.
167 (fp_classify(), fp_class(), fp_class_d(), class(), isinf(),
168 isfinite(), finite(), isnormal(), unordered(), <ieeefp.h>,
169 <fp_class.h> (there are metaconfig units for all these) (I think),
170 fp_setmask(), fp_getmask(), fp_setround(), fp_getround()
171 (no metaconfig units yet for these).  Don't forget finitel(), fp_classl(),
172 fp_class_l(), (yes, both do, unfortunately, exist), and unorderedl().)
173
174 As of Perl 5.6.1 is a Perl macro, Perl_isnan().
175
176 =head2 IV/UV preservation
177
178 Nicholas Clark has done a lot of work on this, but work is continuing.
179 C<+>, C<-> and C<*> work, but guards need to be in place for C<%>, C</>,
180 C<&>, C<oct>, C<hex> and C<pack>.
181
182 =head2 Replace pod2html with something using Pod::Parser
183
184 The CPAN module C<Malik::Pod::Html> may be a more suitable basis for a
185 C<pod2html> convertor; the current one duplicates the functionality
186 abstracted in C<Pod::Parser>, which makes updating the POD language
187 difficult.
188
189 =head2 Automate module testing on CPAN
190
191 When a new Perl is being beta tested, porters have to manually grab
192 their favourite CPAN modules and test them - this should be done
193 automatically.
194
195 =head2 sendmsg and recvmsg
196
197 We have all the other BSD socket functions but these. There are
198 metaconfig units for these functions which can be added. To avoid these
199 being new opcodes, a solution similar to the way C<sockatmark> was added
200 would be preferable. (Autoload the C<IO::whatever> module.)
201
202 =head2 Rewrite perlre documentation
203
204 The new-style patterns need full documentation, and the whole document
205 needs to be a lot clearer.
206
207 =head2 Convert example code to IO::Handle filehandles
208
209 =head2 Document Win32 choices
210
211 =head2 Check new modules
212
213 =head2 Make roffitall find pods and libs itself
214
215 Simon Cozens has done some work on this but it needs a rethink.
216
217 =head1 To do at some point
218
219 These are ideas that have been regularly tossed around, that most
220 people believe should be done maybe during 5.8.x
221
222 =head2 Remove regular expression recursion
223
224 Because the regular expression engine is recursive, badly designed
225 expressions can lead to lots of recursion filling up the stack. Ilya
226 claims that it is easy to convert the engine to being iterative, but
227 this has still not yet been done. There may be a regular expression
228 engine hit squad meeting at TPC5.
229
230 =head2 Memory leaks after failed eval
231
232 Perl will leak memory if you C<eval "hlagh hlagh hlagh hlagh">. This is
233 partially because it attempts to build up an op tree for that code and
234 doesn't properly free it. The same goes for non-syntactically-correct
235 regular expressions. Hugo looked into this, but decided it needed a
236 mark-and-sweep GC implementation. 
237
238 Alan notes that: The basic idea was to extend the parser token stack
239 (C<YYSTYPE>) to include a type field so we knew what sort of thing each
240 element of the stack was.  The F<<perly.c> code would then have to be
241 postprocessed to record the type of each entry on the stack as it was
242 created, and the parser patched so that it could unroll the stack
243 properly on error.
244
245 This is possible to do, but would be pretty messy to implement, as it
246 would rely on even more sed hackery in F<perly.fixer>.
247
248 =head2 pack "(stuff)*"
249
250 That's to say, C<pack "(sI)40"> would be the same as C<pack "sI"x40>
251
252 =head2 bitfields in pack
253
254 =head2 Cross compilation
255
256 Make Perl buildable with a cross-compiler. This will play havoc with
257 Configure, which needs to how how the target system will respond to
258 its tests; maybe C<microperl> will be a good starting point here.
259 (Indeed, Bart Schuller reports that he compiled up C<microperl> for
260 the Agenda PDA and it works fine.)  A really big spanner in the works
261 is the bootstrapping build process of Perl: if the filesystem the
262 target systems sees is not the same what the build host sees, various
263 input, output, and (Perl) library files need to be copied back and forth.
264
265 =head2 Perl preprocessor / macros
266
267 Source filters help with this, but do not get us all the way. For
268 instance, it should be possible to implement the C<??> operator somehow;
269 source filters don't (quite) cut it.
270
271 =head2 Perl lexer in Perl
272
273 Damian Conway is planning to work on this, but it hasn't happened yet.
274
275 =head2 Using POSIX calls internally
276
277 When faced with a BSD vs. SySV -style interface to some library or
278 system function, perl's roots show in that it typically prefers the BSD
279 interface (but falls back to the SysV one).  One example is getpgrp().
280 Other examples include C<memcpy> vs. C<bcopy>.  There are others, mostly in
281 F<<pp_sys.c>.
282
283 Mostly, this item is a suggestion for which way to start a journey into
284 an C<#ifdef> forest.  It is not primarily a suggestion to eliminate any of
285 the C<#ifdef> forests.
286
287 POSIX calls are perhaps more likely to be portable to unexpected
288 architectures. They are also perhaps more likely to be actively
289 maintained by a current vendor.  They are also perhaps more likely to be
290 available in thread-safe versions, if appropriate.
291
292 =head2 -i rename file when changed
293
294 It's only necessary to rename a file when inplace editing when the file
295 has changed. Detecting a change is perhaps the difficult bit.
296
297 =head2 All ARGV input should act like E<lt>E<gt>
298
299 =head2 Support for rerunning debugger
300
301 There should be a way of restarting the debugger on demand.
302
303 =head2 my sub foo { }
304
305 The basic principle is sound, but there are problems with the semantics
306 of self-referential and mutually referential lexical subs: how to
307 declare the subs?
308
309 =head2 One-pass global destruction
310
311 Sweeping away all the allocated memory in one go is a laudable goal, but
312 it's difficult and in most cases, it's easier to let the memory get
313 freed by exiting.
314
315 =head2 Rewrite regexp parser
316
317 There has been talk recently of rewriting the regular expression parser
318 to produce an optree instead of a chain of opcodes; it's unclear whether
319 or not this would be a win. 
320
321 =head2 Cache recently used regexps
322
323 This is to speed up 
324
325     for my $re (@regexps) {
326         $matched++ if /$re/
327     }
328
329 C<qr//> already gives us a way of saving compiled regexps, but it should
330 be done automatically.
331
332 =head2 Re-entrant functions
333
334 Add configure probes for C<_r> forms of system calls and fit them to the
335 core. Unfortunately, calling conventions for these functions and not
336 standardised.
337
338 =head2 Cross-compilation support
339
340 Bart Schuller reports that using C<microperl> and a cross-compiler, he
341 got Perl working on the Agenda PDA. However, one cannot build a full
342 Perl because Configure needs to get the results for the target platform,
343 for the host.
344
345 =head2 Bit-shifting bitvectors
346
347 Given:
348
349     vec($v, 1000, 1) = 1;
350
351 One should be able to do
352
353     $v <<= 1;
354
355 and have the 999'th bit set.
356
357 Currently if you try with shift bitvectors you shift the NV/UV, instead
358 of the bits in the PV.  Not very logical.
359
360 =head2 debugger pragma
361
362 The debugger is implemented in Perl in F<perl5db.pl>; turning it into a
363 pragma should be easy, but making it work lexically might be more
364 difficult. Fiddling with C<$^P> would be necessary.
365
366 =head2 use less pragma
367
368 Identify areas where speed/memory tradeoffs can be made and have a hint
369 to switch between them.
370
371 =head2 switch structures
372
373 Although we have C<Switch.pm> in core, Larry points to the dormant
374 C<nswitch> and C<cswitch> ops in F<pp.c>; using these opcodes would be
375 much faster.
376
377 =head2 Cache eval tree
378
379 =head2 rcatmaybe
380
381 =head2 Shrink opcode tables
382
383 =head2 Optimize away @_
384
385 Look at the "reification" code in C<av.c>
386
387 =head2 Prototypes versus indirect objects
388
389 Currently, indirect object syntax bypasses prototype checks.
390
391 =head2 Install HMTL
392
393 HTML versions of the documentation need to be installed by default; a
394 call to C<installhtml> from C<installperl> may be all that's necessary.
395
396 =head2 Prototype method calls
397
398 =head2 Return context prototype declarations
399
400 =head2 magic_setisa
401
402 =head2 Garbage collection
403
404 There have been persistent mumblings about putting a mark-and-sweep
405 garbage detector into Perl; Alan Burlison has some ideas about this.
406
407 =head2 IO tutorial
408
409 Mark-Jason Dominus has the beginnings of one of these.
410
411 =head2 pack/unpack tutorial
412
413 Simon Cozens has the beginnings of one of these.
414
415 =head2 Rewrite perldoc
416
417 There are a few suggestions for what to do with C<perldoc>: maybe a
418 full-text search, an index function, locating pages on a particular
419 high-level subject, and so on.
420
421 =head2 Install .3p manpages
422
423 This is a bone of contention; we can create C<.3p> manpages for each
424 built-in function, but should we install them by default? Tcl does this,
425 and it clutters up C<apropos>.
426
427 =head2 Unicode tutorial
428
429 Simon Cozens promises to do this before he gets old.
430
431 =head2 Update POSIX.pm for 1003.1-2
432
433 =head2 Retargetable installation
434
435 Allow C<@INC> to be changed after Perl is built.
436
437 =head2 POSIX emulation on non-POSIX systems
438
439 Make C<POSIX.pm> behave as POSIXly as possible everywhere, meaning we
440 have to implement POSIX equivalents for some functions if necessary.
441
442 =head2 Rename Win32 headers
443
444 =head2 Finish off lvalue functions
445
446 They don't work in the debugger, and they don't work for list or hash
447 slices.
448
449 =head2 Update sprintf documentation
450
451 Hugo van der Sanden plans to look at this.
452
453 =head2 Use fchown/fchmod internally
454
455 This has been done in places, but needs a thorough code review.
456 Also fchdir is available in some platforms.
457
458 =head1 Vague ideas
459
460 Ideas which have been discussed, and which may or may not happen.
461
462 =head2 ref() in list context
463
464 It's unclear what this should do or how to do it without breaking old
465 code.
466
467 =head2 Make tr/// return histogram
468
469 There is a patch for this, but it may require Unicodification.
470
471 =head2 Compile to real threaded code
472
473 =head2 Structured types
474
475 =head2 Modifiable $1 et al.
476
477     ($x = "elephant") =~ /e(ph)/;
478     $1 = "g"; # $x = "elegant"
479
480 What happens if there are multiple (nested?) brackets? What if the
481 string changes between the match and the assignment?
482
483 =head2 Procedural interfaces for IO::*, etc.
484
485 Some core modules have been accused of being overly-OO. Adding
486 procedural interfaces could demystify them.
487
488 =head2 RPC modules
489
490 =head2 Attach/detach debugger from running program
491
492 With C<gdb>, you can attach the debugger to a running program if you
493 pass the process ID. It would be good to do this with the Perl debugger
494 on a running Perl program, although I'm not sure how it would be done.
495
496 =head2 Alternative RE syntax module
497
498     use Regex::Newbie;
499     $re = Regex::Newbie->new
500                        ->start
501                        ->match("foo")
502                        ->repeat(Regex::Newbie->class("char"),3)
503                        ->end;
504     /$re/;
505
506 =head2 GUI::Native
507
508 A non-core module that would use "native" GUI to create graphical
509 applications.
510
511 =head2 foreach(reverse ...)
512
513 Currently
514
515     foreach (reverse @_) { ... }
516
517 puts C<@_> on the stack, reverses it putting the reversed version on the
518 stack, then iterates forwards. Instead, it could be special-cased to put
519 C<@_> on the stack then iterate backwards.
520
521 =head2 Constant function cache
522
523 =head2 Approximate regular expression matching
524
525 =head1 Ongoing
526
527 These items B<always> need doing:
528
529 =head2 Update guts documentation
530
531 Simon Cozens tries to do this when possible, and contributions to the
532 C<perlapi> documentation is welcome.
533
534 =head2 Add more tests
535
536 Michael Schwern will donate $500 to Yet Another Society when all core
537 modules have tests.
538
539 =head2 Update auxiliary tools
540
541 The code we ship with Perl should look like good Perl 5.
542
543 =head1 Recently done things
544
545 These are things which have been on the todo lists in previous releases
546 but have recently been completed.
547
548 =head2 Safe signal handling
549
550 A new signal model went into 5.7.1 without much fanfare. Operations and
551 C<malloc>s are no longer interrupted by signals, which are handled
552 between opcodes. This means that C<PERL_ASYNC_CHECK> now actually does
553 something. However, there are still a few things that need to be done.
554
555 =head2 Tie Modules
556
557 Modules which implement arrays in terms of strings, substrings or files
558 can be found on the CPAN.
559
560 =head2 gettimeofday
561
562 C<Time::Hires> has been integrated into the core.
563
564 =head2 setitimer and getimiter
565
566 Adding C<Time::Hires> got us this too.
567
568 =head2 Testing __DIE__ hook
569
570 Tests have been added.
571
572 =head2 CPP equivalent in Perl
573
574 A C Yardley will probably have done this by the time you can read this.
575 This allows for a generalization of the C constant detection used in
576 building C<Errno.pm>.
577
578 =head2 Explicit switch statements
579
580 C<Switch.pm> has been integrated into the core to give you all manner of
581 C<switch...case> semantics.
582
583 =head2 autocroak
584
585 This is C<Fatal.pm>.
586
587 =head2 UTF/EBCDIC
588
589 Nick Ing-Simmons has made UTF-EBCDIC (UTR13) work with Perl.
590
591     EBCDIC?        http://www.unicode.org/unicode/reports/tr16/
592
593 =head2 UTF Regexes
594
595 Although there are probably some small bugs to be rooted out, Jarkko
596 Hietaniemi has made regular expressions polymorphic between bytes and
597 characters.
598
599 =head2 perlcc to produce executable
600
601 C<perlcc> was recently rewritten, and can now produce standalone
602 executables.
603
604 =head2 END blocks saved in compiled output
605
606 =head2 Secure temporary file module
607
608 Tim Jenness' C<File::Temp> is now in core.
609
610 =head2 Integrate Time::HiRes
611
612 This module is now part of core.
613
614 =head2 Turn Cwd into XS
615
616 Benjamin Sugars has done this.
617
618 =head2 Mmap for input
619
620 Nick Ing-Simmons' C<perlio> supports an C<mmap> IO method.
621
622 =head2 Byte to/from UTF8 and UTF8 to/from local conversion
623
624 C<Encode> provides this.
625
626 =head2 Add sockatmark support
627
628 Added in 5.7.1
629
630 =head2 Mailing list archives
631
632 http://lists.perl.org/, http://archive.develooper.com/
633
634 =head2 Bug tracking
635
636 Richard Foley has written the bug tracking system at http://bugs.perl.org/
637
638 =head2 Integrate MacPerl
639
640 Chris Nandor and Matthias Neeracher have integrated the MacPerl changes
641 into 5.6.0.
642
643 =head2 Web "nerve center" for Perl
644
645 http://use.perl.org/ is what you're looking for.
646
647 =head2 Regular expression tutorial
648
649 C<perlretut>, provided by Mark Kvale.
650
651 =head2 Debugging Tutorial
652
653 C<perldebtut>, written by Richard Foley.
654
655 =head2 Integrate new modules
656
657 Jarkko has been integrating madly into 5.7.x
658
659 =head2 Integrate profiler
660
661 C<Devel::DProf> is now a core module.
662
663 =head2 Y2K error detection
664
665 There's a configure option to detect unsafe concatenation with "19", and
666 a CPAN module. (C<D'oh::Year>)
667
668 =head2 Regular expression debugger
669
670 While not part of core, Mark-Jason Dominus has written C<Rx> and has
671 also come up with a generalised strategy for regular expression
672 debugging.
673
674 =head2 POD checker
675
676 That's, uh, F<podchecker>
677
678 =head2 "Dynamic" lexicals
679
680 =head2 Cache precompiled modules
681
682 =head1 Deprecated Wishes
683
684 These are items which used to be in the todo file, but have been
685 deprecated for some reason.
686
687 =head2 Loop control on do{}
688
689 This would break old code; use C<do{{ }}> instead.
690
691 =head2 Lexically scoped typeglobs
692
693 Not needed now we have lexical IO handles.
694
695 =head2 format BOTTOM
696
697 =head2 report HANDLE
698
699 Damian Conway's text formatting modules seem to be the Way To Go.
700
701 =head2 Generalised want()/caller())
702
703 =head2 Named prototypes
704
705 These both seem to be delayed until Perl 6.
706
707 =head2 Built-in globbing
708
709 The C<File::Glob> module has been used to replace the C<glob> function.
710
711 =head2 Regression tests for suidperl
712
713 C<suidperl> is deprecated in favour of common sense.
714
715 =head2 Cached hash values
716
717 We have shared hash keys, which perform the same job.
718
719 =head2 Add compression modules
720
721 The compression modules are a little heavy; meanwhile, Nick Clark is
722 working on experimental pragmata to do transparent decompression on
723 input.
724
725 =head2 Reorganise documentation into tutorials/references
726
727 Could not get consensus on P5P about this.
728
729 =head2 Remove distinction between functions and operators
730
731 Caution: highly flammable.
732
733 =head2 Make XS easier to use
734
735 Use C<Inline> instead, or SWIG.
736
737 =head2 Make embedding easier to use
738
739 Use C<Inline::CPR>.
740
741 =head2 man for perl
742
743 See the Perl Power Tools. (http://language.perl.com/ppt/)
744
745 =head2 my $Package::variable
746
747 Use C<our> instead.
748
749 =head2 "or" tests defined, not truth
750
751 Suggesting this on P5P B<will> cause a boring and interminable flamewar.
752
753 =head2 "class"-based lexicals
754
755 Use flyweight objects, secure hashes or, dare I say it, pseudo-hashes instead.
756
757 =head2 byteperl
758
759 C<ByteLoader> covers this.
760
761 =head2 Lazy evaluation / tail recursion removal
762
763 C<List::Util> in core gives some of these; tail recursion removal is
764 done manually, with C<goto &whoami;>. (However, MJD has found that
765 C<goto &whoami> introduces a performance penalty, so maybe there should
766 be a way to do this after all: C<sub foo {START: ... goto START;> is
767 better.)