Upgrade to Text::ParseWords 3.27
Nicholas Clark [Fri, 31 Oct 2008 20:23:32 +0000 (20:23 +0000)]
p4raw-id: //depot/perl@34691

Porting/Maintainers.pl
lib/Text/ParseWords.pm
lib/Text/ParseWords.t
lib/Text/ParseWords/taint.t

index e33acff..f32ebd9 100644 (file)
@@ -18,6 +18,7 @@ package Maintainers;
        'arandal'       => 'Allison Randal <allison@perl.org>',
        'audreyt'       => 'Audrey Tang <cpan@audreyt.org>',
        'avar'          => 'Ævar Arnfjörð Bjarmason <avar@cpan.org>',
+       'chorny'        => "Alexandr Ciornii <alexchorny\100gmail.com>",
        'corion'        => 'Max Maischein <corion@corion.net>',
        'craig'         => 'Craig Berry <craigberry@mac.com>',
        'dankogai'      => 'Dan Kogai <dankogai@cpan.org>',
@@ -836,6 +837,13 @@ package Maintainers;
                'CPAN'          => 1,
                },
 
+       'Text::ParseWords' =>
+               {
+               'MAINTAINER'    => 'chorny',
+               'FILES'         => q[lib/Text/ParseWords{.pm,.t,}],
+               'CPAN'          => 1,
+               },
+
        'Text::Soundex' =>
                {
                'MAINTAINER'    => 'markm',
index 6235d3c..f1b5937 100644 (file)
@@ -1,14 +1,15 @@
 package Text::ParseWords;
 
-use vars qw($VERSION @ISA @EXPORT $PERL_SINGLE_QUOTE);
-$VERSION = "3.26";
+use strict;
+require 5.006;
+our $VERSION = "3.27";
 
-require 5.000;
 
 use Exporter;
-@ISA = qw(Exporter);
-@EXPORT = qw(shellwords quotewords nested_quotewords parse_line);
-@EXPORT_OK = qw(old_shellwords);
+our @ISA = qw(Exporter);
+our @EXPORT = qw(shellwords quotewords nested_quotewords parse_line);
+our @EXPORT_OK = qw(old_shellwords);
+our $PERL_SINGLE_QUOTE;
 
 
 sub shellwords {
@@ -181,11 +182,11 @@ Text::ParseWords - parse text into an array of tokens or array of arrays
 =head1 SYNOPSIS
 
   use Text::ParseWords;
-  @lists = &nested_quotewords($delim, $keep, @lines);
-  @words = &quotewords($delim, $keep, @lines);
-  @words = &shellwords(@lines);
-  @words = &parse_line($delim, $keep, $line);
-  @words = &old_shellwords(@lines); # DEPRECATED!
+  @lists = nested_quotewords($delim, $keep, @lines);
+  @words = quotewords($delim, $keep, @lines);
+  @words = shellwords(@lines);
+  @words = parse_line($delim, $keep, $line);
+  @words = old_shellwords(@lines); # DEPRECATED!
 
 =head1 DESCRIPTION
 
@@ -222,7 +223,7 @@ Unix shells.
 The sample program:
 
   use Text::ParseWords;
-  @words = &quotewords('\s+', 0, q{this   is "a test" of\ quotewords \"for you});
+  @words = quotewords('\s+', 0, q{this   is "a test" of\ quotewords \"for you});
   $i = 0;
   foreach (@words) {
       print "$i: <$_>\n";
@@ -269,13 +270,15 @@ backslashed double-quote)
 
 =back
 
-Replacing C<&quotewords('\s+', 0, q{this   is...})>
-with C<&shellwords(q{this   is...})>
+Replacing C<quotewords('\s+', 0, q{this   is...})>
+with C<shellwords(q{this   is...})>
 is a simpler way to accomplish the same thing.
 
 =head1 AUTHORS
 
-Maintainer is Hal Pomeranz <pomeranz@netcom.com>, 1994-1997 (Original
+Maintainer: Alexandr Ciornii <alexchornyATgmail.com>.
+
+Previous maintainer: Hal Pomeranz <pomeranz@netcom.com>, 1994-1997 (Original
 author unknown).  Much of the code for &parse_line() (including the
 primary regexp) from Joerk Behrends <jbehrends@multimediaproduzenten.de>.
 
index 57bdbd0..eeee6ee 100755 (executable)
-#!./perl
-
-BEGIN {
-    chdir 't' if -d 't';
-    @INC = '../lib';
-}
-
-use warnings;
-use Text::ParseWords;
-use Test::More tests => 27;
-
-@words = shellwords(qq(foo "bar quiz" zoo));
-is($words[0], 'foo');
-is($words[1], 'bar quiz');
-is($words[2], 'zoo');
-
-{
-  # Gonna get some undefined things back
-  no warnings 'uninitialized' ;
-
-  # Test quotewords() with other parameters and null last field
-  @words = quotewords(':+', 1, 'foo:::"bar:foo":zoo zoo:');
-  is(join(";", @words), qq(foo;"bar:foo";zoo zoo;));
-}
-
-# Test $keep eq 'delimiters' and last field zero
-@words = quotewords('\s+', 'delimiters', '4 3 2 1 0');
-is(join(";", @words), qq(4; ;3; ;2; ;1; ;0));
-
-# Big ol' nasty test (thanks, Joerk!)
-$string = 'aaaa"bbbbb" cc\\ cc \\\\\\"dddd" eee\\\\\\"ffff" "gg"';
-
-# First with $keep == 1
-$result = join('|', parse_line('\s+', 1, $string));
-is($result, 'aaaa"bbbbb"|cc\\ cc|\\\\\\"dddd" eee\\\\\\"ffff"|"gg"');
-
-# Now, $keep == 0
-$result = join('|', parse_line('\s+', 0, $string));
-is($result, 'aaaabbbbb|cc cc|\\"dddd eee\\"ffff|gg');
-
-# Now test single quote behavior
-$string = 'aaaa"bbbbb" cc\\ cc \\\\\\"dddd\' eee\\\\\\"ffff\' gg';
-$result = join('|', parse_line('\s+', 0, $string));
-is($result, 'aaaabbbbb|cc cc|\\"dddd eee\\\\\\"ffff|gg');
-
-# Make sure @nested_quotewords does the right thing
-@lists = nested_quotewords('\s+', 0, 'a b c', '1 2 3', 'x y z');
-is (@lists, 3);
-is (@{$lists[0]}, 3);
-is (@{$lists[1]}, 3);
-is (@{$lists[2]}, 3);
-
-# Now test error return
-$string = 'foo bar baz"bach blech boop';
-
-@words = shellwords($string);
-is(@words, 0);
-
-@words = parse_line('s+', 0, $string);
-is(@words, 0);
-
-@words = quotewords('s+', 0, $string);
-is(@words, 0);
-
-{
-  # Gonna get some more undefined things back
-  no warnings 'uninitialized' ;
-
-  @words = nested_quotewords('s+', 0, $string);
-  is(@words, 0);
-
-  # Now test empty fields
-  $result = join('|', parse_line(':', 0, 'foo::0:"":::'));
-  is($result, 'foo||0||||');
-
-  # Test for 0 in quotes without $keep
-  $result = join('|', parse_line(':', 0, ':"0":'));
-  is($result, '|0|');
-
-  # Test for \001 in quoted string
-  $result = join('|', parse_line(':', 0, ':"' . "\001" . '":'));
-  is($result, "|\1|");
-
-}
-
-# Now test perlish single quote behavior
-$Text::ParseWords::PERL_SINGLE_QUOTE = 1;
-$string = 'aaaa"bbbbb" cc\ cc \\\\\"dddd\' eee\\\\\"\\\'ffff\' gg';
-$result = join('|', parse_line('\s+', 0, $string));
-is($result, 'aaaabbbbb|cc cc|\"dddd eee\\\\"\'ffff|gg');
-
-# test whitespace in the delimiters
-@words = quotewords(' ', 1, '4 3 2 1 0');
-is(join(";", @words), qq(4;3;2;1;0));
-
-# [perl #30442] Text::ParseWords does not handle backslashed newline inside quoted text
-$string = qq{"field1"  "field2\\\nstill field2"        "field3"};
-
-$result = join('|', parse_line("\t", 1, $string));
-is($result, qq{"field1"|"field2\\\nstill field2"|"field3"});
-
-$result = join('|', parse_line("\t", 0, $string));
-is($result, "field1|field2\nstill field2|field3");
-
-# unicode
-$string = qq{"field1"\x{1234}"field2\\\x{1234}still field2"\x{1234}"field3"};
-$result = join('|', parse_line("\x{1234}", 0, $string));
-is($result, "field1|field2\x{1234}still field2|field3");
-
-# missing quote after matching regex used to hang after change #22997
-"1234" =~ /(1)(2)(3)(4)/;
-$string = qq{"missing quote};
-$result = join('|', shellwords($string));
-is($result, "");
-
-# make sure shellwords strips out leading whitespace and trailng undefs
-# from parse_line, so it's behavior is more like /bin/sh
-$result = join('|', shellwords(" aa \\  \\ bb ", " \\  ", "cc dd ee\\ "));
-is($result, "aa| | bb| |cc|dd|ee ");
-
-$SIG{ALRM} = sub {die "Timeout!"};
-alarm(3);
-@words = Text::ParseWords::old_shellwords("foo\\");
-is(@words, 1);
-alarm(0);
+#!./perl\r
+\r
+BEGIN {\r
+    if( $ENV{PERL_CORE} ) {\r
+        chdir 't' if -d 't';\r
+        @INC = '../lib';\r
+    }\r
+}\r
+\r
+use warnings;\r
+use Text::ParseWords;\r
+use Test::More tests => 27;\r
+\r
+@words = shellwords(qq(foo "bar quiz" zoo));\r
+is($words[0], 'foo');\r
+is($words[1], 'bar quiz');\r
+is($words[2], 'zoo');\r
+\r
+{\r
+  # Gonna get some undefined things back\r
+  no warnings 'uninitialized' ;\r
+\r
+  # Test quotewords() with other parameters and null last field\r
+  @words = quotewords(':+', 1, 'foo:::"bar:foo":zoo zoo:');\r
+  is(join(";", @words), qq(foo;"bar:foo";zoo zoo;));\r
+}\r
+\r
+# Test $keep eq 'delimiters' and last field zero\r
+@words = quotewords('\s+', 'delimiters', '4 3 2 1 0');\r
+is(join(";", @words), qq(4; ;3; ;2; ;1; ;0));\r
+\r
+# Big ol' nasty test (thanks, Joerk!)\r
+$string = 'aaaa"bbbbb" cc\\ cc \\\\\\"dddd" eee\\\\\\"ffff" "gg"';\r
+\r
+# First with $keep == 1\r
+$result = join('|', parse_line('\s+', 1, $string));\r
+is($result, 'aaaa"bbbbb"|cc\\ cc|\\\\\\"dddd" eee\\\\\\"ffff"|"gg"');\r
+\r
+# Now, $keep == 0\r
+$result = join('|', parse_line('\s+', 0, $string));\r
+is($result, 'aaaabbbbb|cc cc|\\"dddd eee\\"ffff|gg');\r
+\r
+# Now test single quote behavior\r
+$string = 'aaaa"bbbbb" cc\\ cc \\\\\\"dddd\' eee\\\\\\"ffff\' gg';\r
+$result = join('|', parse_line('\s+', 0, $string));\r
+is($result, 'aaaabbbbb|cc cc|\\"dddd eee\\\\\\"ffff|gg');\r
+\r
+# Make sure @nested_quotewords does the right thing\r
+@lists = nested_quotewords('\s+', 0, 'a b c', '1 2 3', 'x y z');\r
+is (@lists, 3);\r
+is (@{$lists[0]}, 3);\r
+is (@{$lists[1]}, 3);\r
+is (@{$lists[2]}, 3);\r
+\r
+# Now test error return\r
+$string = 'foo bar baz"bach blech boop';\r
+\r
+@words = shellwords($string);\r
+is(@words, 0);\r
+\r
+@words = parse_line('s+', 0, $string);\r
+is(@words, 0);\r
+\r
+@words = quotewords('s+', 0, $string);\r
+is(@words, 0);\r
+\r
+{\r
+  # Gonna get some more undefined things back\r
+  no warnings 'uninitialized' ;\r
+\r
+  @words = nested_quotewords('s+', 0, $string);\r
+  is(@words, 0);\r
+\r
+  # Now test empty fields\r
+  $result = join('|', parse_line(':', 0, 'foo::0:"":::'));\r
+  is($result, 'foo||0||||');\r
+\r
+  # Test for 0 in quotes without $keep\r
+  $result = join('|', parse_line(':', 0, ':"0":'));\r
+  is($result, '|0|');\r
+\r
+  # Test for \001 in quoted string\r
+  $result = join('|', parse_line(':', 0, ':"' . "\001" . '":'));\r
+  is($result, "|\1|");\r
+\r
+}\r
+\r
+# Now test perlish single quote behavior\r
+$Text::ParseWords::PERL_SINGLE_QUOTE = 1;\r
+$string = 'aaaa"bbbbb" cc\ cc \\\\\"dddd\' eee\\\\\"\\\'ffff\' gg';\r
+$result = join('|', parse_line('\s+', 0, $string));\r
+is($result, 'aaaabbbbb|cc cc|\"dddd eee\\\\"\'ffff|gg');\r
+\r
+# test whitespace in the delimiters\r
+@words = quotewords(' ', 1, '4 3 2 1 0');\r
+is(join(";", @words), qq(4;3;2;1;0));\r
+\r
+# [perl #30442] Text::ParseWords does not handle backslashed newline inside quoted text\r
+$string = qq{"field1"  "field2\\\nstill field2"        "field3"};\r
+\r
+$result = join('|', parse_line("\t", 1, $string));\r
+is($result, qq{"field1"|"field2\\\nstill field2"|"field3"});\r
+\r
+$result = join('|', parse_line("\t", 0, $string));\r
+is($result, "field1|field2\nstill field2|field3");\r
+\r
+SKIP: { # unicode\r
+  skip "No unicode",1 if $]<5.008;\r
+  $string = qq{"field1"\x{1234}"field2\\\x{1234}still field2"\x{1234}"field3"};\r
+  $result = join('|', parse_line("\x{1234}", 0, $string));\r
+  is($result, "field1|field2\x{1234}still field2|field3",'Unicode');\r
+}\r
+\r
+# missing quote after matching regex used to hang after change #22997\r
+"1234" =~ /(1)(2)(3)(4)/;\r
+$string = qq{"missing quote};\r
+$result = join('|', shellwords($string));\r
+is($result, "");\r
+\r
+# make sure shellwords strips out leading whitespace and trailng undefs\r
+# from parse_line, so it's behavior is more like /bin/sh\r
+$result = join('|', shellwords(" aa \\  \\ bb ", " \\  ", "cc dd ee\\ "));\r
+is($result, "aa| | bb| |cc|dd|ee ");\r
+\r
+$SIG{ALRM} = sub {die "Timeout!"};\r
+alarm(3);\r
+@words = Text::ParseWords::old_shellwords("foo\\");\r
+is(@words, 1);\r
+alarm(0);\r
index 27f6de5..029f27d 100644 (file)
@@ -2,12 +2,15 @@
 # [perl #33173] shellwords.pl and tainting
 
 BEGIN {
-    chdir 't' if -d 't';
-    @INC = '../lib';
-    require Config;
-    if ($Config::Config{extensions} !~ /\bList\/Util\b/) {
-       print "1..0 # Skip: Scalar::Util was not built\n";
-       exit 0;
+    if ( $ENV{PERL_CORE} ) {
+        chdir 't' if -d 't';
+        @INC = '../lib';
+        require Config;
+        no warnings 'once';
+        if ($Config::Config{extensions} !~ /\bList\/Util\b/) {
+            print "1..0 # Skip: Scalar::Util was not built\n";
+            exit 0;
+        }
     }
 }