flesh out doc updates
[p5sagit/p5-mst-13.2.git] / pod / perl5113delta.pod
1 =head1 NAME
2
3 [ this is a template for a new perldelta file. Any text flagged as
4 XXX needs to be processed before release. ]
5
6 perldelta - what is new for perl v5.11.3
7
8 =head1 DESCRIPTION
9
10 This document describes differences between the 5.11.3 release and
11 the 5.11.3 release.
12
13 If you are upgrading from an earlier release such as 5.11.3, first read
14 the L<perl5XXXdelta>, which describes differences between 5.11.3 and
15 5.10.0
16
17 =head1 Notice
18
19 XXX Any important notices here
20
21 =head1 Incompatible Changes
22
23 =item Filehandles are blessed directly into C<IO::Handle::>, as L<FileHandle/> is merely a wrapper around L<IO::Handle/>.
24
25
26 =head1 Core Enhancements
27
28 XXX New core language features go here. Summarise user-visible core language
29 enhancements. Particularly prominent performance optimisations could go
30 here, but most should go in the L</Performance Enhancements> section.
31
32 =head2 Unicode version
33
34 Perl is shipped with the latest Unicode version, 5.2, October 2009.  See
35 L<http://www.unicode.org/versions/Unicode5.2.0> for details about this release
36 of Unicode.
37
38 But, an installation can now fairly easily change Perl to operate on any
39 Unicode release.  Perl is shipped with the latest official release, but
40 an installation can download and install any prior release from Unicode, and
41 cause Perl to work with that (or even multiple releases).  Instructions are in
42 L<perlunicode>.
43
44 =head2 Unicode properties
45
46 Perl can now handle every Unicode character property.  A new pod,
47 L<perluniprops>, lists all available non-Unihan character properties.  By
48 default the Unihan properties and certain others (deprecated and Unicode
49 internal-only ones) are not exposed.  See below for more details on
50 these; there is also a section in the pod listing them, and why they are
51 not exposed.
52
53 Perl now fully supports the Unicode compound-style of using C<=> and C<:>
54 in writing regular expressions: C<\p{property=value}> and
55 C<\p{property:value}> (both of which mean the same thing).
56
57 Perl now supports fully the Unicode loose matching rules for text
58 between the braces in C<\p{...}> constructs.  In addition, Perl also allows
59 underscores between digits of numbers.
60
61 All the Unicode-defined synonyms for properties and property values are
62 now accepted.
63
64 C<qr/\X/>, which matches a Unicode logical character, has been expanded to work
65 better with various Asian languages.  It now is defined as an C<extended
66 grapheme cluster>.  (See L<http://www.unicode.org/reports/tr29/>).  One change
67 due to this is that C<\X> will match the whole sequence C<S<CR LF>>.  Another
68 change is that C<\X> will match an isolated mark.  Marks generally come after a
69 base character, but it is possible in Unicode to have them in isolation, and
70 C<\X> will now handle that case.  Otherwise, this change should be transparent
71 for the non-affected languages.
72
73 C<\p{...}> matches using the Canonical_Combining_Class property were
74 completely broken in previous Perls.  This is now fixed.
75
76 In previous Perls, the Unicode Decomposition_Type=Compat property and a
77 Perl extension had the same name, which led to neither matching all the
78 correct values (with more than 100 mistakes in one, and several thousand
79 in the other).  The Perl extension has now been renamed to be
80 Decomposition_Type=Noncanonical (short: dt=noncanon).  It has the same
81 meaning as was previously intended, namely the union of all the
82 non-canonical Decomposition types, with Unicode Compat being just one of
83 those.
84
85 C<\p{Uppercase}> and C<\p{Lowercase}> have been brought into line with the
86 Unicode definitions.  This means they each match a few more characters
87 than previously.
88
89 C<\p{Cntrl}> now matches the same characters as C<\p{Control}>.  This means it
90 no longer will match Private Use (gc=co), Surrogates (gc=cs), nor Format
91 (gc=cf) code points.  The Format code points represent the biggest
92 possible problem.  All but 36 of them are either officially deprecated
93 or strongly discouraged from being used.  Of those 36, likely the most
94 widely used are the soft hyphen (U+00AD), and BOM, ZWSP, ZWNJ, WJ, and
95 similar, plus Bi-directional controls.
96
97 C<\p{Alpha}> now matches the same characters as C<\p{Alphabetic}>.  The Perl
98 definition included a number of things that aren't really alpha (all
99 marks), while omitting many that were.  The Unicode definition is
100 clearly better, so we are switching to it.  As a direct consequence, the
101 definitions of C<\p{Alnum}> and C<\p{Word}> which depend on Alpha also change.
102
103 C<\p{Word}> also now doesn't match certain characters it wasn't supposed
104 to, such as fractions.
105
106 C<\p{Print}> no longer matches the line control characters: tab, lf, cr,
107 ff, vt, and nel.  This brings it in line with the documentation.
108
109 \p{Decomposition_Type=Canonical} now includes the Hangul syllables
110
111 The Numeric type property has been extended to include the Unihan
112 characters.
113
114 There is a new Perl extension, the 'Present_In', or simply 'In'
115 property.  This is an extension of the Unicode Age property, but
116 C<\p{In=5.0}> matches any code point whose usage has been determined as of
117 Unicode version 5.0.  The C<\p{Age=5.0}> only matches code points added in 5.0.
118
119 A number of properties did not have the correct values for unassigned
120 code points.  This is now fixed.  The affected properties are
121 Bidi_Class, East_Asian_Width, Joining_Type, Decomposition_Type,
122 Hangul_Syllable_Type, Numeric_Type, and Line_Break.
123
124 The Default_Ignorable_Code_Point, ID_Continue, and ID_Start properties
125 have been updated to their current definitions.
126
127 Certain properties that are supposed to be Unicode internal-only were
128 erroneously exposed by previous Perls.  Use of these in regular
129 expressions will now generate a deprecated warning message, if those
130 warnings are enabled.  The properties are: Other_Alphabetic,
131 Other_Default_Ignorable_Code_Point, Other_Grapheme_Extend,
132 Other_ID_Continue, Other_ID_Start, Other_Lowercase, Other_Math, and
133 Other_Uppercase.
134
135 An installation can now fairly easily change which Unicode properties
136 Perl understands.  As mentioned above, certain properties are by default
137 turned off.  These include all the Unihan properties (which should be
138 accessible via the CPAN module Unicode::Unihan) and any deprecated or
139 Unicode internal-only property that Perl has never exposed.
140
141 The files in the To directory are now more clearly marked as being
142 stable, directly usable by applications.  New hash entries in them give
143 the format of the normal entries which allows for easier machine
144 parsing.  Perl can generate files in this directory for any property,
145 though most are suppressed.  An installation can choose to change which
146 get written.   Instructions are in L<perluniprops>.
147
148 =head1 New Platforms
149
150 XXX List any platforms that this version of perl compiles on, that previous
151 versions did not. These will either be enabled by new files in the F<hints/>
152 directories, or new subdirectories and F<README> files at the top level of the
153 source tree.
154
155 =head1 Modules and Pragmata
156
157 XXX All changes to installed files in F<cpan/>, F<dist/>, F<ext/> and F<lib/>
158 go here, in a list ordered by distribution name. Minimally it should be the
159 module version, but it's more useful to the end user to give a paragraph's
160 summary of the module's changes. In an ideal world, dual-life modules would
161 have a F<Changes> file that could be cribbed.
162
163 =head2 New Modules and Pragmata
164
165 =over 4
166
167 =item C<warnings::fatal_enabled>
168
169     Add code and starting perldoc for warnings::fatal_enabled.
170     
171     This is an analog for warnings::enabled, except it tests whether the
172     given category has been set fatal using "use warnings FATAL => foo".
173     This is mostly for symmetry.
174     
175     Assumes that the fatal bit for a category will have an offset one higher
176     than the regular bit for the category, because otherwise much rewriting
177     of __chk would be required.
178
179 XXX
180
181 =back
182
183 =head2 Pragmata Changes
184
185 =over 4
186
187 =item Don't make C<use legacy> die on unknown legacy names
188
189 So we can use C<use legacy "qubits"> to avoid the new "qubit" behaviour,
190 without worrying about perls that didn't have qubit support at all. :)
191
192 NOTE: C<B<legacy>> will be removed before 5.12.0.
193
194
195 =back
196
197 =head2 Updated Modules
198
199 =over 4
200
201 =item C<XXX>
202
203     Updated CPANPLUS to cpan release 0.90
204     Bring up ExtUtils::MakeMaker to 6.56 - no functional changes from 6.55_03
205     Upgrade to threads 1.75
206
207     Import CPAN.pm 1.94_53 from CPAN
208
209     Updated Module::Build to 0.35_15
210     
211     Update Cwd / PathTools to 3.31 to get us a non-devel version number based on a chat with Steffen. No code changes.
212
213     Updated to Pod::Simple 3.11 from CPAN [perl #71004]
214
215
216     Update Archive::Extract to cpan version 0.36
217
218 XXX
219 =item
220
221     File::Find was not resolving paths of the form "/..////../" correctly.
222     Fixed by adding a quantifier to the substitution parameter in
223     contract_name().
224
225 =back
226
227 =head1 Utility Changes
228
229 XXX Changes to installed programs such as F<perlbug> and F<xsubpp> go
230 here. Most of these are built within the directories F<utils> and F<x2p>.
231
232 =over 4
233
234 =item F<XXX>
235
236 XXX
237
238     Perlbug no longer reports "Message sent" when it hasn't actually sent the message
239 =back
240
241 =head1 New Documentation
242
243 XXX Changes which create B<new> files in F<pod/> go here.
244
245 =over 4
246
247 =item L<XXX>
248
249 XXX
250
251 =back
252
253 =head1 Changes to Existing Documentation
254
255 XXX Changes which significantly change existing files in F<pod/> go here.
256 Any changes to F<pod/perldiag.pod> should go in L</New or Changed Diagnostics>.
257
258
259 The Pod specification (L<perlpodspec>) has been updated to bring the
260 specification in line with modern usage already supported by most Pod systems.
261 A parameter string may now follow the format name in a "begin/end" region.
262 Links to URIs with a text description are now allowed.  The usage of C<<
263 L<"section"> >> has been marked as deprecated.
264
265 L<if.pm|if> has been documented in L<perlfunc/use> as a means to get
266 conditional loading of modules despite the implicit BEGIN block around C<use>.
267
268
269
270 =head1 Performance Enhancements
271
272 XXX Changes which enhance performance without changing behaviour go here. There
273 may well be none in a stable release.
274
275 =over 4
276
277 =item *
278
279 XXX
280
281 =back
282
283 =head1 Installation and Configuration Improvements
284
285 XXX Changes to F<Configure>, F<installperl>, F<installman>, and analogous tools
286 go here.
287
288 =head2 Configuration improvements
289
290 XXX
291
292 =head2 Compilation improvements
293
294     Make distclean work again
295 XXX
296
297 =head2 Testing improvements
298
299 =over 4
300
301 =item It's now possible to override C<PERL5OPT> and friends in F<t/TEST>
302
303 =back
304
305 =head2 Platform Specific Changes
306
307 =over 4
308
309 =item Win32
310
311 =over 4 
312
313 =item *
314
315 Always add a manifest resource to C<perl.exe> to specify the <trustInfo>
316 settings for Windows Vista and later.  Without this setting Windows
317 will treat C<perl.exe> as a legacy application and apply various
318 heuristics like redirecting access to protected file system areas
319 (like the "Program Files" folder) to the users "VirtualStore"
320 instead of generating a proper "permission denied" error.
321
322 For VC8 and VC9 this manifest setting is automatically generated by
323 the compiler/linker (together with the binding information for their
324 respective runtime libraries); for all other compilers we need to
325 embed the manifest resource explicitly in the external resource file.
326
327 This change also requests the Microsoft Common-Controls version 6.0
328 (themed controls introduced in Windows XP) via the dependency list
329 in the assembly manifest.  For VC8 and VC9 this is specified using the
330 C</manifestdependency> linker commandline option instead.
331
332 =back
333
334 =item cygwin
335
336 =over 4
337
338 =item Enable IPv6 support on cygwin 1.7 and newer
339
340 =back
341
342 =item OpenVMS
343
344 =over 4
345
346 =item Make -UDEBUGGING the default on VMS for 5.12.0.
347
348 Like it has been everywhere else for ages and ages.  Also make
349 command-line selection of -UDEBUGGING and -DDEBUGGING work in
350 configure.com; before the only way to turn it off was by saying
351 no in answer to the interactive question.
352
353 =back
354
355 =head1 Selected Bug Fixes
356
357 XXX Important bug fixes in the core language are summarised here.
358 Bug fixes in files in F<ext/> and F<lib/> are best summarised in
359 L</Modules and Pragmata>.
360
361 =over 4
362
363 =item *
364
365 Ensure that pp_qr returns a new regexp SV each time. Resolves RT #69852.
366
367 Instead of returning a(nother) reference to the (pre-compiled) regexp in the
368 optree, use reg_temp_copy() to create a copy of it, and return a reference to
369 that. This resolves issues about Regexp::DESTROY not being called in a timely
370 fashion (the original bug tracked by RT #69852), as well as bugs related to
371 blessing regexps, and of assigning to regexps, as described in correspondence
372 added to the ticket.
373
374 It transpires that we also need to undo the SvPVX() sharing when ithreads
375 cloning a Regexp SV, because mother_re is set to NULL, instead of a cloned
376 copy of the mother_re. This change might fix bugs with regexps and threads in
377 certain other situations, but as yet neither tests nor bug reports have
378 indicated any problems, so it might not actually be an edge case that it's
379 possible to reach.
380
381 =item  *
382
383 Several compilation errors and segfaults when perl was built with C<-Dmad> were fixed.
384
385 =item *
386
387 Fixes for lexer API changes in 5.11.2 which broke NYTProf's savesrc option.
388
389 =back
390
391 =head1 New or Changed Diagnostics
392
393 XXX New or changed warnings emitted by the core's C<C> code go here.
394
395 =over 4
396
397 =item C<XXX>
398
399     Make split warn in void context
400 XXX
401
402 =back
403
404 =head1 Changed Internals
405
406 XXX Changes which affect the interface available to C<XS> code go here.
407
408 =over 4
409
410 =item *
411
412 XXX
413
414 =back
415
416 =head1 New Tests
417
418 XXX Changes which create B<new> files in F<t/> go here. Changes to
419 existing files in F<t/> aren't worth summarising, although the bugs that
420 they represent may be.
421
422 =over 4
423
424 =item F<XXX>
425
426 XXX
427
428 =back
429
430 =head1 Known Problems
431
432 XXX Descriptions of platform agnostic bugs we know we can't fix go here. Any
433 tests that had to be C<TODO>ed for the release would be noted here, unless
434 they were specific to a particular platform (see below).
435
436 This is a list of some significant unfixed bugs, which are regressions
437 from either 5.11.3 or 5.11.3.
438
439 =over 4
440
441 =item *
442
443 XXX
444
445 =back
446
447 =head1 Deprecations
448
449 XXX Add any new known deprecations here.
450
451 The following items are now deprecated.
452
453 =over 4
454
455 =item Use of "goto" to jump into a construct is deprecated
456
457 Using C<goto> to jump from an outer scope into an inner
458 scope is now deprecated. This rare use case was causing
459 problems in the implementation of scopes.
460
461 =back
462
463 =head1 Platform Specific Notes
464
465 XXX Any changes specific to a particular platform. VMS and Win32 are the usual
466 stars here. It's probably best to group changes under the same section layout
467 as the main perldelta
468
469 =head1 Obituary
470
471 XXX If any significant core contributor has died, we've added a short obituary
472 here.
473
474 =head1 Acknowledgements
475
476 XXX The list of people to thank goes here.
477
478
479 =head1 Reporting Bugs
480
481 If you find what you think is a bug, you might check the articles
482 recently posted to the comp.lang.perl.misc newsgroup and the perl
483 bug database at http://rt.perl.org/perlbug/ .  There may also be
484 information at http://www.perl.org/ , the Perl Home Page.
485
486 If you believe you have an unreported bug, please run the B<perlbug>
487 program included with your release.  Be sure to trim your bug down
488 to a tiny but sufficient test case.  Your bug report, along with the
489 output of C<perl -V>, will be sent off to perlbug@perl.org to be
490 analysed by the Perl porting team.
491
492 If the bug you are reporting has security implications, which make it
493 inappropriate to send to a publicly archived mailing list, then please send
494 it to perl5-security-report@perl.org. This points to a closed subscription
495 unarchived mailing list, which includes all the core committers, who be able
496 to help assess the impact of issues, figure out a resolution, and help
497 co-ordinate the release of patches to mitigate or fix the problem across all
498 platforms on which Perl is supported. Please only use this address for
499 security issues in the Perl core, not for modules independently
500 distributed on CPAN.
501
502 =head1 SEE ALSO
503
504 The F<Changes> file for an explanation of how to view exhaustive details
505 on what changed.
506
507 The F<INSTALL> file for how to build Perl.
508
509 The F<README> file for general stuff.
510
511 The F<Artistic> and F<Copying> files for copyright information.
512
513 =cut
514
515
516
517
518 All changes through commit b4178430270dbe109e7609d0b50d6d54bf9e95d8
519 One "triage" pass done.
520
521 A second triage pass is still needed to remove unimportant changes
522
523 commit 9307c420fad2f6f5bd314f9ed66dd53288703e09
524 Author: Jan Dubois <jand@activestate.com>
525 Date:   Thu Dec 17 18:28:16 2009 -0800
526
527     Export PL_curinterp symbol for MULTIPLICITY without USE_ITHREADS
528     
529     This is necessary for XS extensions that define PERL_CORE.  In that
530     situation PERL_GET_CONTEXT will resolve to PL_curinterp, which is
531     normally not exported (extensions call Perl_Gcurinterp_ptr() to get a
532     pointer to PL_curinterp instead). With USE_ITHREADS defined
533     PERL_GET_CONTEXT will expand to Perl_get_context() even inside the
534     core because the context needs to be fetched from threadlocal storage.
535
536 commit 8703a9a4fd75723318bc4ba1afc42a215806f2d1
537
538     Correct some #ifdef USE_ITHREADS / USE_MULTI 
539
540 Author: Jan Dubois <jand@activestate.com>
541 Date:   Wed Dec 16 15:42:19 2009 -0800
542
543     -t should only return TRUE for file handles connected to a TTY
544     
545     The Microsoft C version of isatty() returns TRUE for all
546     character mode devices, including the /dev/null style "nul"
547     device and printers like "lpt1".
548     
549     The included test has only been tested on Windows and Linux;
550     the device names for OS/2 and VMS are just best guesses...
551
552 commit 0f907b96d618c97cd2e020841a70ae037954a616
553
554     [perl #70171] 5.10.0 -> 5.10.1 Regression in fafafbaf70 (Big slowdown in 5.10 @_ parameter passing)
555     
556 commit 2ab54efd6265713df5cd4bd0927024245675c1c2
557
558     fix bug 67156: overload: nomethod(..., '!') return value inverted
559
560 commit 412147f664b7f5805591ad996d7e5a9e70b3d80f
561
562     [perl #71204] diagnostics.pm suppresses 'Use of uninitialized value in range (or flip)' warning
563     
564
565 commit 69dc4b30f4725ad5f212d45d3c856ac1caaacf17
566 Author: Father Chrysostomos <sprout@cpan.org>
567 Date:   Mon Dec 14 12:19:35 2009 +0100
568
569     [perl #70764] $' fails to initialized for pre-compiled regular expression matches
570     
571     The match vars are associated with the regexp that last matched
572     successfully. In the case of $str =~ $qr or /$qr/, since the $qr could
573     be used in multiple scopes that need their own sets of match vars, the
574     $qr is cloned by Perl_reg_temp_copy as of change 30677/28d8d7f. This
575     happens in pp_regcomp before pp_match has stringified the LHS, hence the
576     bug. In short, /$gror/ is not equivalent to
577     ($which = !$which) ? /$gror/ : /$gror/, which is weird.
578     
579 Author: Reini Urban <rurban@x-ray.at>
580 Date:   Sun Dec 13 08:06:43 2009 +0100
581
582     Eliminate OP_SETSTATE from cop.h header
583     
584     It had been added with change 3728 to track linenumbers in
585     optimized else, disabled by change 4309,
586     and removed with change 33072.
587     
588     Bump copyright, latest change was "Fix MULTICALL in List-Util" 2009-03-07
589     with commit 1bbbfc50
590
591
592     Fix for [perl #70910] wrong line number in syntax error message
593
594     Document config_args limitations reported in [perl #70912]
595
596     proper error on "grep $x (1,2,3)". Solves [perl #37314]
597
598 commit 8a27a13e89107aaf68c0748b68ee71fbd86d774b
599
600     [perl #71076] sort with active sub (5.10 regression)
601     
602     One of the tests in sort.t causes a bus error (or sometimes Ã¢\80\98Undefined
603     subroutine calledâ\80\99) if run multiple times. This is because sort
604     decreases the refcount of an active sub used as a comparison routine.
605     
606 commit 69c3dccf5322a59cb855347c04712ba11b65328f
607
608     Fix [perl #71078] Smart match against @_ gives false negatives
609     
610     @_ can contain NULLs for undefined elements
611
612     [perl #71000] Wrong variable name in warning ; Add a new warning "Missing argument in %s"
613
614
615     preserve readonly flag when saving and restoring magic flags
616
617 commit c9930541bfa04399c3b648e83c9b750cee1154fb
618
619     [perl #70802] -i'*' refuses to work
620
621 commit adab996997d7ef1b54d382f5ab4304f438cd1dd0
622
623     Cleanup all scopes before exiting a pseudo-forked process.
624     
625     perl_destruct() contains an assertion that the scope stack
626     is empty.  The remaining scopes are due to fork() being
627     called from within a BEGIN block.
628
629 =item *
630
631
632
633 commit 576b33a19ccaf98d4dfe201d529c55c3747f0cb6
634
635     [rt.cpan.org #51574] Safe.pm sort {} bug accessing $a and $b with -Dusethreads
636
637 commit ee6ba15dedda3e88eb66891eaf387c00a4c0a2fb
638
639     Fix -DPERL_NO_UTF16_FILTER
640
641 commit dfd167e94af611f6248e804cb228b35ca4123bd6
642
643     Handle $@ being assigned a read-only value (without error or busting the stack).
644     
645     Discovered whilst investigating RT #70862.
646
647 commit f5fa9033b8c1fdcbd7710850b3b0380d6b937853
648
649     Fix RT #70862 by converting ERRSV to GvSVn() to ensure a non-NULL GvSV().
650
651 commit ff868e665bf85a829dc47bfa1243b26d4367cacd
652
653     Add error codes for getaddrinfo() and getnameinfo()
654
655 commit 61fc5122f0d8a509834282b8ecb3252d2e4c9f5d
656
657     Make unicode semantics the default
658
659     *****************
660
661 commit 021f53de09926928546378b3552f9240c9241dde
662 Author: Gerard Goossen <gerard@ggoossen.net>
663 Date:   Mon Nov 16 13:58:24 2009 +0100
664
665     Force OP_REQUIRE to scalar context at the end of ck_require and don't let it become void context. Fixes problem with require not always being in scalar context.
666
667 commit 6a0e50422a84b53e998825128c56791913cd03aa
668 Author: Craig A. Berry <craigberry@mac.com>
669 Date:   Sat Nov 21 11:17:38 2009 -0600
670