Add the note from change 25773 about auditing for destruction ordering.
[p5sagit/p5-mst-13.2.git] / pod / perltodo.pod
1 =head1 NAME
2
3 perltodo - Perl TO-DO List
4
5 =head1 DESCRIPTION
6
7 This is a list of wishes for Perl. The tasks we think are smaller or easier
8 are listed first. Anyone is welcome to work on any of these, but it's a good
9 idea to first contact I<perl5-porters@perl.org> to avoid duplication of
10 effort. By all means contact a pumpking privately first if you prefer.
11
12 Whilst patches to make the list shorter are most welcome, ideas to add to
13 the list are also encouraged. Check the perl5-porters archives for past
14 ideas, and any discussion about them. One set of archives may be found at:
15
16     http://www.xray.mpe.mpg.de/mailing-lists/perl5-porters/
17
18 What can we offer you in return? Fame, fortune, and everlasting glory? Maybe
19 not, but if your patch is incorporated, then we'll add your name to the
20 F<AUTHORS> file, which ships in the official distribution. How many other
21 programming languages offer you 1 line of immortality?
22
23 =head1 The roadmap to 5.10
24
25 The roadmap to 5.10 envisages feature based releases, as various items in this
26 TODO are completed.
27
28 =head2 Needed for a 5.9.5 release
29
30 =over
31
32 =item *
33
34 Review smart match semantics in light of Perl 6 developments.
35
36 =item *
37
38 Review assertions. Review syntax to combine assertions. Assertions could take
39 advantage of the lexical pragmas work. L</What hooks would assertions need?>
40
41 =item *
42
43 C<encoding> should be turned into a lexical pragma (probably).
44
45 =back
46
47 =head2 Needed for a 5.9.6 release
48
49 Stabilisation. If all goes well, this will be the equivalent of a 5.10-beta.
50
51 =head1 Tasks that only need Perl knowledge
52
53 =head2 common test code for timed bail out
54
55 Write portable self destruct code for tests to stop them burning CPU in
56 infinite loops. This needs to avoid using alarm, as some of the tests are
57 testing alarm/sleep or timers.
58
59 =head2 POD -> HTML conversion in the core still sucks
60
61 Which is crazy given just how simple POD purports to be, and how simple HTML
62 can be. It's not actually I<as> simple as it sounds, particularly with the
63 flexibility POD allows for C<=item>, but it would be good to improve the
64 visual appeal of the HTML generated, and to avoid it having any validation
65 errors. See also L</make HTML install work>, as the layout of installation tree
66 is needed to improve the cross-linking.
67
68 The addition of C<Pod::Simple> and its related modules may make this task
69 easier to complete.
70
71 =head2 Parallel testing
72
73 (This probably impacts much more than the core: also the Test::Harness
74 and TAP::* modules on CPAN.)
75
76 The core regression test suite is getting ever more comprehensive, which has
77 the side effect that it takes longer to run. This isn't so good. Investigate
78 whether it would be feasible to give the harness script the B<option> of
79 running sets of tests in parallel. This would be useful for tests in
80 F<t/op/*.t> and F<t/uni/*.t> and maybe some sets of tests in F<lib/>.
81
82 Questions to answer
83
84 =over 4
85
86 =item 1
87
88 How does screen layout work when you're running more than one test?
89
90 =item 2
91
92 How does the caller of test specify how many tests to run in parallel?
93
94 =item 3
95
96 How do setup/teardown tests identify themselves?
97
98 =back
99
100 Pugs already does parallel testing - can their approach be re-used?
101
102 =head2 Make Schwern poorer
103
104 We should have tests for everything. When all the core's modules are tested,
105 Schwern has promised to donate to $500 to TPF. We may need volunteers to
106 hold him upside down and shake vigorously in order to actually extract the
107 cash.
108
109 =head2 Improve the coverage of the core tests
110
111 Use Devel::Cover to ascertain the core modules's test coverage, then add
112 tests that are currently missing.
113
114 =head2 test B
115
116 A full test suite for the B module would be nice.
117
118 =head2 A decent benchmark
119
120 C<perlbench> seems impervious to any recent changes made to the perl core. It
121 would be useful to have a reasonable general benchmarking suite that roughly
122 represented what current perl programs do, and measurably reported whether
123 tweaks to the core improve, degrade or don't really affect performance, to
124 guide people attempting to optimise the guts of perl. Gisle would welcome
125 new tests for perlbench.
126
127 =head2 fix tainting bugs
128
129 Fix the bugs revealed by running the test suite with the C<-t> switch (via
130 C<make test.taintwarn>).
131
132 =head2 Dual life everything
133
134 As part of the "dists" plan, anything that doesn't belong in the smallest perl
135 distribution needs to be dual lifed. Anything else can be too. Figure out what
136 changes would be needed to package that module and its tests up for CPAN, and
137 do so. Test it with older perl releases, and fix the problems you find.
138
139 =head2 Improving C<threads::shared>
140
141 Investigate whether C<threads::shared> could share aggregates properly with
142 only Perl level changes to shared.pm
143
144 =head2 POSIX memory footprint
145
146 Ilya observed that use POSIX; eats memory like there's no tomorrow, and at
147 various times worked to cut it down. There is probably still fat to cut out -
148 for example POSIX passes Exporter some very memory hungry data structures.
149
150 =head2 embed.pl/makedef.pl
151
152 There is a script F<embed.pl> that generates several header files to prefix
153 all of Perl's symbols in a consistent way, to provide some semblance of
154 namespace support in C<C>. Functions are declared in F<embed.fnc>, variables
155 in F<interpvar.h> and F<thrdvar.h>. Quite a few of the functions and variables
156 are conditionally declared there, using C<#ifdef>. However, F<embed.pl>
157 doesn't understand the C macros, so the rules about which symbols are present
158 when is duplicated in F<makedef.pl>. Writing things twice is bad, m'kay.
159 It would be good to teach C<embed.pl> to understand the conditional
160 compilation, and hence remove the duplication, and the mistakes it has caused.
161
162 =head1 Tasks that need a little sysadmin-type knowledge
163
164 Or if you prefer, tasks that you would learn from, and broaden your skills
165 base...
166
167 =head2 make HTML install work
168
169 There is an C<installhtml> target in the Makefile. It's marked as
170 "experimental". It would be good to get this tested, make it work reliably, and
171 remove the "experimental" tag. This would include
172
173 =over 4
174
175 =item 1
176
177 Checking that cross linking between various parts of the documentation works.
178 In particular that links work between the modules (files with POD in F<lib/>)
179 and the core documentation (files in F<pod/>)
180
181 =item 2
182
183 Work out how to split C<perlfunc> into chunks, preferably one per function
184 group, preferably with general case code that could be used elsewhere.
185 Challenges here are correctly identifying the groups of functions that go
186 together, and making the right named external cross-links point to the right
187 page. Things to be aware of are C<-X>, groups such as C<getpwnam> to
188 C<endservent>, two or more C<=items> giving the different parameter lists, such
189 as
190
191     =item substr EXPR,OFFSET,LENGTH,REPLACEMENT
192     =item substr EXPR,OFFSET,LENGTH
193     =item substr EXPR,OFFSET
194
195 and different parameter lists having different meanings. (eg C<select>)
196
197 =back
198
199 =head2 compressed man pages
200
201 Be able to install them. This would probably need a configure test to see how
202 the system does compressed man pages (same directory/different directory?
203 same filename/different filename), as well as tweaking the F<installman> script
204 to compress as necessary.
205
206 =head2 Add a code coverage target to the Makefile
207
208 Make it easy for anyone to run Devel::Cover on the core's tests. The steps
209 to do this manually are roughly
210
211 =over 4
212
213 =item *
214
215 do a normal C<Configure>, but include Devel::Cover as a module to install
216 (see F<INSTALL> for how to do this)
217
218 =item *
219
220     make perl
221
222 =item *
223
224     cd t; HARNESS_PERL_SWITCHES=-MDevel::Cover ./perl -I../lib harness
225
226 =item *
227
228 Process the resulting Devel::Cover database
229
230 =back
231
232 This just give you the coverage of the F<.pm>s. To also get the C level
233 coverage you need to
234
235 =over 4
236
237 =item *
238
239 Additionally tell C<Configure> to use the appropriate C compiler flags for
240 C<gcov>
241
242 =item *
243
244     make perl.gcov
245
246 (instead of C<make perl>)
247
248 =item *
249
250 After running the tests run C<gcov> to generate all the F<.gcov> files.
251 (Including down in the subdirectories of F<ext/>
252
253 =item *
254
255 (From the top level perl directory) run C<gcov2perl> on all the C<.gcov> files
256 to get their stats into the cover_db directory.
257
258 =item *
259
260 Then process the Devel::Cover database
261
262 =back
263
264 It would be good to add a single switch to C<Configure> to specify that you
265 wanted to perform perl level coverage, and another to specify C level
266 coverage, and have C<Configure> and the F<Makefile> do all the right things
267 automatically.
268
269 =head2 Make Config.pm cope with differences between built and installed perl
270
271 Quite often vendors ship a perl binary compiled with their (pay-for)
272 compilers.  People install a free compiler, such as gcc. To work out how to
273 build extensions, Perl interrogates C<%Config>, so in this situation
274 C<%Config> describes compilers that aren't there, and extension building
275 fails. This forces people into choosing between re-compiling perl themselves
276 using the compiler they have, or only using modules that the vendor ships.
277
278 It would be good to find a way teach C<Config.pm> about the installation setup,
279 possibly involving probing at install time or later, so that the C<%Config> in
280 a binary distribution better describes the installed machine, when the
281 installed machine differs from the build machine in some significant way.
282
283 =head2 linker specification files
284
285 Some platforms mandate that you provide a list of a shared library's external
286 symbols to the linker, so the core already has the infrastructure in place to
287 do this for generating shared perl libraries. My understanding is that the
288 GNU toolchain can accept an optional linker specification file, and restrict
289 visibility just to symbols declared in that file. It would be good to extend
290 F<makedef.pl> to support this format, and to provide a means within
291 C<Configure> to enable it. This would allow Unix users to test that the
292 export list is correct, and to build a perl that does not pollute the global
293 namespace with private symbols.
294
295 =head2 Cross-compile support
296
297 Currently C<Configure> understands C<-Dusecrosscompile> option. This option
298 arranges for building C<miniperl> for TARGET machine, so this C<miniperl> is
299 assumed then to be copied to TARGET machine and used as a replacement of full
300 C<perl> executable.
301
302 This could be done little differently. Namely C<miniperl> should be built for
303 HOST and then full C<perl> with extensions should be compiled for TARGET.
304 This, however, might require extra trickery for %Config: we have one config
305 first for HOST and then another for TARGET.
306
307 =head1 Tasks that need a little C knowledge
308
309 These tasks would need a little C knowledge, but don't need any specific
310 background or experience with XS, or how the Perl interpreter works
311
312 =head2 Make it clear from -v if this is the exact official release
313
314 Currently perl from C<p4>/C<rsync> ships with a F<patchlevel.h> file that
315 usually defines one local patch, of the form "MAINT12345" or "RC1". The output
316 of perl -v doesn't report that a perl isn't an official release, and this
317 information can get lost in bugs reports. Because of this, the minor version
318 isn't bumped up until RC time, to minimise the possibility of versions of perl
319 escaping that believe themselves to be newer than they actually are.
320
321 It would be useful to find an elegant way to have the "this is an interim
322 maintenance release" or "this is a release candidate" in the terse -v output,
323 and have it so that it's easy for the pumpking to remove this just as the
324 release tarball is rolled up. This way the version pulled out of rsync would
325 always say "I'm a development release" and it would be safe to bump the
326 reported minor version as soon as a release ships, which would aid perl
327 developers.
328
329 This task is really about thinking of an elegant way to arrange the C source
330 such that it's trivial for the Pumpking to flag "this is an official release"
331 when making a tarball, yet leave the default source saying "I'm not the
332 official release".
333
334 =head2 Ordering of "global" variables.
335
336 F<thrdvar.h> and F<intrpvarh> define the "global" variables that need to be
337 per-thread under ithreads, where the variables are actually elements in a
338 structure. As C dictates, the variables must be laid out in order of
339 declaration. There is a comment
340 C</* Important ones in the first cache line (if alignment is done right) */>
341 which implies that at some point in the past the ordering was carefully chosen
342 (at least in part). However, it's clear that the ordering is less than perfect,
343 as currently there are things such as 7 C<bool>s in a row, then something
344 typically requiring 4 byte alignment, and then an odd C<bool> later on.
345 (C<bool>s are typically defined as C<char>s). So it would be good for someone
346 to review the ordering of the variables, to see how much alignment padding can
347 be removed.
348
349 It's also worth checking that all variables are actually used. Perl 5.8.0
350 shipped with C<PL_nrs> still defined in F<thrdvar.h>, despite it being unused
351 since a change over a year earlier. Had this been spotted before release, it
352 could have been removed, but now it has to remain in the 5.8.x releases to
353 keep the structure the same size, to retain binary compatibility.
354
355 It's probably worth checking if all need to be the types they are. For example
356
357     PERLVAR(Ierror_count, I32)  /* how many errors so far, max 10 */
358
359 might work as well if stored in a signed (or unsigned) 8 bit value, if the
360 comment is accurate. C<PL_multi_open> and C<PL_multi_close> can probably
361 become C<char>s. Finding variables to downsize coupled with rearrangement
362 could shrink the interpreter structure; a size saving which is multiplied by
363 the number of threads running.
364
365 =head2 Profile Perl - am I hot or not?
366
367 The Perl source code is stable enough that it makes sense to profile it,
368 identify and optimise the hotspots. It would be good to measure the
369 performance of the Perl interpreter using free tools such as cachegrind,
370 gprof, and dtrace, and work to reduce the bottlenecks they reveal.
371
372 As part of this, the idea of F<pp_hot.c> is that it contains the I<hot> ops,
373 the ops that are most commonly used. The idea is that by grouping them, their
374 object code will be adjacent in the executable, so they have a greater chance
375 of already being in the CPU cache (or swapped in) due to being near another op
376 already in use.
377
378 Except that it's not clear if these really are the most commonly used ops. So
379 as part of exercising your skills with coverage and profiling tools you might
380 want to determine what ops I<really> are the most commonly used. And in turn
381 suggest evictions and promotions to achieve a better F<pp_hot.c>.
382
383 =head2 Allocate OPs from arenas
384
385 Currently all new OP structures are individually malloc()ed and free()d.
386 All C<malloc> implementations have space overheads, and are now as fast as
387 custom allocates so it would both use less memory and less CPU to allocate
388 the various OP structures from arenas. The SV arena code can probably be
389 re-used for this.
390
391 =head2 Improve win32/wince.c
392
393 Currently, numerous functions look virtually, if not completely,
394 identical in both C<win32/wince.c> and C<win32/win32.c> files, which can't
395 be good.
396
397 =head1 Tasks that need a knowledge of XS
398
399 These tasks would need C knowledge, and roughly the level of knowledge of
400 the perl API that comes from writing modules that use XS to interface to
401 C.
402
403 =head2 shrink C<PVBM>s
404
405 By removing unused elements and careful re-ordering, the structures for C<AV>s,
406 C<HV>s, C<CV>s and C<GV>s have recently been shrunk considerably. C<PVIO>s
407 probably aren't worth it, as typical programs don't use more than 8, and
408 (at least) C<Filter::Util::Call> uses C<SvPVX>/C<SvCUR>/C<SvLEN> on a C<PVIO>,
409 so it would mean code changes to modules on CPAN. C<PVBM>s might have some
410 savings to win.
411
412 =head2 autovivification
413
414 Make all autovivification consistent w.r.t LVALUE/RVALUE and strict/no strict;
415
416 This task is incremental - even a little bit of work on it will help.
417
418 =head2 Unicode in Filenames
419
420 chdir, chmod, chown, chroot, exec, glob, link, lstat, mkdir, open,
421 opendir, qx, readdir, readlink, rename, rmdir, stat, symlink, sysopen,
422 system, truncate, unlink, utime, -X.  All these could potentially accept
423 Unicode filenames either as input or output (and in the case of system
424 and qx Unicode in general, as input or output to/from the shell).
425 Whether a filesystem - an operating system pair understands Unicode in
426 filenames varies.
427
428 Known combinations that have some level of understanding include
429 Microsoft NTFS, Apple HFS+ (In Mac OS 9 and X) and Apple UFS (in Mac
430 OS X), NFS v4 is rumored to be Unicode, and of course Plan 9.  How to
431 create Unicode filenames, what forms of Unicode are accepted and used
432 (UCS-2, UTF-16, UTF-8), what (if any) is the normalization form used,
433 and so on, varies.  Finding the right level of interfacing to Perl
434 requires some thought.  Remember that an OS does not implicate a
435 filesystem.
436
437 (The Windows -C command flag "wide API support" has been at least
438 temporarily retired in 5.8.1, and the -C has been repurposed, see
439 L<perlrun>.)
440
441 =head2 Unicode in %ENV
442
443 Currently the %ENV entries are always byte strings.
444
445 =head2 use less 'memory'
446
447 Investigate trade offs to switch out perl's choices on memory usage.
448 Particularly perl should be able to give memory back.
449
450 This task is incremental - even a little bit of work on it will help.
451
452 =head2 Re-implement C<:unique> in a way that is actually thread-safe
453
454 The old implementation made bad assumptions on several levels. A good 90%
455 solution might be just to make C<:unique> work to share the string buffer
456 of SvPVs. That way large constant strings can be shared between ithreads,
457 such as the configuration information in F<Config>.
458
459 =head2 Make tainting consistent
460
461 Tainting would be easier to use if it didn't take documented shortcuts and
462 allow taint to "leak" everywhere within an expression.
463
464 =head2 readpipe(LIST)
465
466 system() accepts a LIST syntax (and a PROGRAM LIST syntax) to avoid
467 running a shell. readpipe() (the function behind qx//) could be similarly
468 extended.
469
470 =head2 strcat(), strcpy(), strncat(), strncpy(), sprintf(), vsprintf()
471
472 Maybe create a utility that checks after each libperl.a creation that
473 none of the above (nor sprintf(), vsprintf(), or *SHUDDER* gets())
474 ever creep back to libperl.a.
475
476   nm libperl.a | ./miniperl -alne '$o = $F[0] if /:$/; print "$o $F[1]" if $F[0] eq "U" && $F[1] =~ /^(?:strn?c(?:at|py)|v?sprintf|gets)$/'
477
478 Note, of course, that this will only tell whether B<your> platform
479 is using those naughty interfaces.
480
481 =head2 Audit the code for destruction ordering assumptions
482
483 Change 25773 notes
484
485
486 =head2 Allocate OPs from arenas
487
488 Currently all new OP structures are individually malloc()ed and free()d.
489 All C<malloc> implementations have space overheads, and are now as fast as
490 custom allocates so it would both use less memory and less CPU to allocate
491 the various OP structures from arenas. The SV arena code can probably be
492 re-used for this.
493
494 =head2 Improve win32/wince.c
495
496 Currently, numerous functions look virtually, if not completely,
497 identical in both C<win32/wince.c> and C<win32/win32.c> files, which can't
498 be good.
499
500 =head1 Tasks that need a knowledge of XS
501
502 These tasks would need C knowledge, and roughly the level of knowledge of
503 the perl API that comes from writing modules that use XS to interface to
504 C.
505
506 =head2 shrink C<PVBM>s
507
508 By removing unused elements and careful re-ordering, the structures for C<AV>s,
509 C<HV>s, C<CV>s and C<GV>s have recently been shrunk considerably. C<PVIO>s
510 probably aren't worth it, as typical programs don't use more than 8, and
511 (at least) C<Filter::Util::Call> uses C<SvPVX>/C<SvCUR>/C<SvLEN> on a C<PVIO>,
512 so it would mean code changes to modules on CPAN. C<PVBM>s might have some
513 savings to win.
514
515 =head2 autovivification
516
517 Make all autovivification consistent w.r.t LVALUE/RVALUE and strict/no strict;
518
519 This task is incremental - even a little bit of work on it will help.
520
521 =head2 Unicode in Filenames
522
523 chdir, chmod, chown, chroot, exec, glob, link, lstat, mkdir, open,
524 opendir, qx, readdir, readlink, rename, rmdir, stat, symlink, sysopen,
525 system, truncate, unlink, utime, -X.  All these could potentially accept
526 Unicode filenames either as input or output (and in the case of system
527 and qx Unicode in general, as input or output to/from the shell).
528 Whether a filesystem - an operating system pair understands Unicode in
529 filenames varies.
530
531 Known combinations that have some level of understanding include
532 Microsoft NTFS, Apple HFS+ (In Mac OS 9 and X) and Apple UFS (in Mac
533 OS X), NFS v4 is rumored to be Unicode, and of course Plan 9.  How to
534 create Unicode filenames, what forms of Unicode are accepted and used
535 (UCS-2, UTF-16, UTF-8), what (if any) is the normalization form used,
536 and so on, varies.  Finding the right level of interfacing to Perl
537 requires some thought.  Remember that an OS does not implicate a
538 filesystem.
539
540 (The Windows -C command flag "wide API support" has been at least
541 temporarily retired in 5.8.1, and the -C has been repurposed, see
542 L<perlrun>.)
543
544 =head2 Unicode in %ENV
545
546 Currently the %ENV entries are always byte strings.
547
548 =head2 use less 'memory'
549
550 Investigate trade offs to switch out perl's choices on memory usage.
551 Particularly perl should be able to give memory back.
552
553 This task is incremental - even a little bit of work on it will help.
554
555 =head2 Re-implement C<:unique> in a way that is actually thread-safe
556
557 The old implementation made bad assumptions on several levels. A good 90%
558 solution might be just to make C<:unique> work to share the string buffer
559 of SvPVs. That way large constant strings can be shared between ithreads,
560 such as the configuration information in F<Config>.
561
562 =head2 Make tainting consistent
563
564 Tainting would be easier to use if it didn't take documented shortcuts and
565 allow taint to "leak" everywhere within an expression.
566
567 =head2 readpipe(LIST)
568
569 system() accepts a LIST syntax (and a PROGRAM LIST syntax) to avoid
570 running a shell. readpipe() (the function behind qx//) could be similarly
571 extended.
572
573 =head2 strcat(), strcpy(), strncat(), strncpy(), sprintf(), vsprintf()
574
575 Maybe create a utility that checks after each libperl.a creation that
576 none of the above (nor sprintf(), vsprintf(), or *SHUDDER* gets())
577 ever creep back to libperl.a.
578
579   nm libperl.a | ./miniperl -alne '$o = $F[0] if /:$/; print "$o $F[1]" if $F[0] eq "U" && $F[1] =~ /^(?:strn?c(?:at|py)|v?sprintf|gets)$/'
580
581 Note, of course, that this will only tell whether B<your> platform
582 is using those naughty interfaces.
583
584 =head2 Audit the code for destruction ordering assumptions
585
586 Change 25773 notes
587
588     /* Need to check SvMAGICAL, as during global destruction it may be that
589        AvARYLEN(av) has been freed before av, and hence the SvANY() pointer
590        is now part of the linked list of SV heads, rather than pointing to
591        the original body.  */
592     /* FIXME - audit the code for other bugs like this one.  */
593
594 adding the C<SvMAGICAL> check to
595
596     if (AvARYLEN(av) && SvMAGICAL(AvARYLEN(av))) {
597         MAGIC *mg = mg_find (AvARYLEN(av), PERL_MAGIC_arylen);
598
599 Go through the core and look for similar assumptions that SVs have particular
600 types, as all bets are off during global destruction.
601
602 =head1 Tasks that need a knowledge of the interpreter
603
604 These tasks would need C knowledge, and knowledge of how the interpreter works,
605 or a willingness to learn.
606
607 =head2 Attach/detach debugger from running program
608
609 The old perltodo notes "With C<gdb>, you can attach the debugger to a running
610 program if you pass the process ID. It would be good to do this with the Perl
611 debugger on a running Perl program, although I'm not sure how it would be
612 done." ssh and screen do this with named pipes in /tmp. Maybe we can too.
613
614 =head2 LVALUE functions for lists
615
616 The old perltodo notes that lvalue functions don't work for list or hash
617 slices. This would be good to fix.
618
619 =head2 LVALUE functions in the debugger
620
621 The old perltodo notes that lvalue functions don't work in the debugger. This
622 would be good to fix.
623
624 =head2 regexp optimiser optional
625
626 The regexp optimiser is not optional. It should configurable to be, to allow
627 its performance to be measured, and its bugs to be easily demonstrated.
628
629 =head2 delete &function
630
631 Allow to delete functions. One can already undef them, but they're still
632 in the stash.
633
634 =head2 Make readpipe overridable
635
636 so we can override qx// as well.
637
638 =head2 optional optimizer
639
640 Make the peephole optimizer optional. Currently it performs two tasks as
641 it walks the optree - genuine peephole optimisations, and necessary fixups of
642 ops. It would be good to find an efficient way to switch out the
643 optimisations whilst keeping the fixups.
644
645 =head2 You WANT *how* many
646
647 Currently contexts are void, scalar and list. split has a special mechanism in
648 place to pass in the number of return values wanted. It would be useful to
649 have a general mechanism for this, backwards compatible and little speed hit.
650 This would allow proposals such as short circuiting sort to be implemented
651 as a module on CPAN.
652
653 =head2 lexical aliases
654
655 Allow lexical aliases (maybe via the syntax C<my \$alias = \$foo>.
656
657 =head2 entersub XS vs Perl
658
659 At the moment pp_entersub is huge, and has code to deal with entering both
660 perl and XS subroutines. Subroutine implementations rarely change between 
661 perl and XS at run time, so investigate using 2 ops to enter subs (one for
662 XS, one for perl) and swap between if a sub is redefined.
663
664 =head2 Self ties
665
666 self ties are currently illegal because they caused too many segfaults. Maybe
667 the causes of these could be tracked down and self-ties on all types re-
668 instated.
669
670 =head2 Optimize away @_
671
672 The old perltodo notes "Look at the "reification" code in C<av.c>".
673
674 =head2 What hooks would assertions need?
675
676 Assertions are in the core, and work. However, assertions needed to be added
677 as a core patch, rather than an XS module in ext, or a CPAN module, because
678 the core has no hooks in the necessary places. It would be useful to
679 investigate what hooks would need to be added to make it possible to provide
680 the full assertion support from a CPAN module, so that we aren't constraining
681 the imagination of future CPAN authors.
682
683 =head2 Properly Unicode safe tokeniser and pads.
684
685 The tokeniser isn't actually very UTF-8 clean. C<use utf8;> is a hack -
686 variable names are stored in stashes as raw bytes, without the utf-8 flag
687 set. The pad API only takes a C<char *> pointer, so that's all bytes too. The
688 tokeniser ignores the UTF-8-ness of C<PL_rsfp>, or any SVs returned from
689 source filters.  All this could be fixed.
690
691 =head1 Big projects
692
693 Tasks that will get your name mentioned in the description of the "Highlights
694 of 5.10"
695
696 =head2 make ithreads more robust
697
698 Generally make ithreads more robust. See also L</iCOW>
699
700 This task is incremental - even a little bit of work on it will help, and
701 will be greatly appreciated.
702
703 One bit would be to write the missing code in sv.c:Perl_dirp_dup.
704
705 =head2 iCOW
706
707 Sarathy and Arthur have a proposal for an improved Copy On Write which
708 specifically will be able to COW new ithreads. If this can be implemented
709 it would be a good thing.
710
711 =head2 (?{...}) closures in regexps
712
713 Fix (or rewrite) the implementation of the C</(?{...})/> closures.
714
715 =head2 A re-entrant regexp engine
716
717 This will allow the use of a regex from inside (?{ }), (??{ }) and
718 (?(?{ })|) constructs.
719
720 =head2 Add (?YES) (?NO) to regexp enigne
721
722 YES/NO would allow a subpattern to be passed/failed but allow backtracking.
723 Basically a more efficient (?=), (?!).
724
725 demerphq has this on his todo list
726
727 =head2 Add (?SUCCEED) (?FAIL) to regexp engine
728
729 SUCCEED/FAIL would allow a pattern to be passed/failed but without backtracking.
730 Thus you could signal that a pattern has matched or not, and return (regardless 
731 that there is more pattern following).
732
733 demerphq has this on his todo list
734
735 =head2 Add (?CUT) (?COMMIT) to regexp engine
736
737 CUT would allow a pattern to say "do not backtrack beyond here". 
738 COMMIT would say match from here or don't, but don't try the pattern from
739 another starting pattern.
740
741 These correspond to the \v and \V that Jeffrey Friedl mentions in 
742 Mastering Regular Expressions 2nd edition.
743
744 demerphq has this on his todo list
745
746 =head2 Add class set operations to regexp engine
747
748 Apparently these are quite useful. Anyway, Jeffery Friedl wants them.
749
750 demerphq has this on his todo list, but right at the bottom.  
751
752