projects / p5sagit/p5-mst-13.2.git / commitdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw (parent: a6d8037)
split: Improve performance in scalar context
Bo Borgerson [Wed, 26 Aug 2009 17:03:02 +0000 (13:03 -0400)]
Improve the performance of split in scalar context

pp.c patch | blob | blame | history
t/op/split.t patch | blob | blame | history

diff --git a/pp.c b/pp.c
index 8a686cd..e3b7798 100644 (file)
--- a/pp.c
+++ b/pp.c
@@ -4882,11 +4882,13 @@ PP(pp_split)
     I32 iters = 0;
     const STRLEN slen = do_utf8 ? utf8_length((U8*)s, (U8*)strend) : (STRLEN)(strend - s);
     I32 maxiters = slen + 10;
+    I32 trailing_empty = 0;
     const char *orig;
     const I32 origlimit = limit;
     I32 realarray = 0;
     I32 base;
     const I32 gimme = GIMME_V;
+    const bool gimme_scalar = (GIMME_V == G_SCALAR);
     const I32 oldsave = PL_savestack_ix;
     U32 make_mortal = SVs_TEMP;
     bool multiline = 0;
@@ -4985,9 +4987,17 @@ PP(pp_split)
            if (m >= strend)
                break;
 
-           dstr = newSVpvn_flags(s, m-s,
-                                 (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
-           XPUSHs(dstr);
+           if (gimme_scalar) {
+               iters++;
+               if (m-s == 0)
+                   trailing_empty++;
+               else
+                   trailing_empty = 0;
+           } else {
+               dstr = newSVpvn_flags(s, m-s,
+                                     (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
+               XPUSHs(dstr);
+           }
 
            /* skip the whitespace found last */
            if (do_utf8)
@@ -5015,9 +5025,18 @@ PP(pp_split)
            m++;
            if (m >= strend)
                break;
-           dstr = newSVpvn_flags(s, m-s,
-                                 (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
-           XPUSHs(dstr);
+
+           if (gimme_scalar) {
+               iters++;
+               if (m-s == 0)
+                   trailing_empty++;
+               else
+                   trailing_empty = 0;
+           } else {
+               dstr = newSVpvn_flags(s, m-s,
+                                     (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
+               XPUSHs(dstr);
+           }
            s = m;
        }
     }
@@ -5030,34 +5049,49 @@ PP(pp_split)
             or
           split //, $str, $i;
         */
-        const U32 items = limit - 1; 
-        if (items < slen)
-            EXTEND(SP, items);
-        else
-            EXTEND(SP, slen);
+       if (!gimme_scalar) {
+           const U32 items = limit - 1;
+           if (items < slen)
+               EXTEND(SP, items);
+           else
+               EXTEND(SP, slen);
+       }
 
         if (do_utf8) {
             while (--limit) {
                 /* keep track of how many bytes we skip over */
                 m = s;
                 s += UTF8SKIP(s);
-                dstr = newSVpvn_flags(m, s-m, SVf_UTF8 | make_mortal);
+               if (gimme_scalar) {
+                   iters++;
+                   if (s-m == 0)
+                       trailing_empty++;
+                   else
+                       trailing_empty = 0;
+               } else {
+                   dstr = newSVpvn_flags(m, s-m, SVf_UTF8 | make_mortal);
 
-                PUSHs(dstr);
+                   PUSHs(dstr);
+               }
 
                 if (s >= strend)
                     break;
             }
         } else {
             while (--limit) {
-                dstr = newSVpvn(s, 1);
+               if (gimme_scalar) {
+                   iters++;
+               } else {
+                   dstr = newSVpvn(s, 1);
 
-                s++;
 
-                if (make_mortal)
-                    sv_2mortal(dstr);
+                   if (make_mortal)
+                       sv_2mortal(dstr);
 
-                PUSHs(dstr);
+                   PUSHs(dstr);
+               }
+
+                s++;
 
                 if (s >= strend)
                     break;
@@ -5079,9 +5113,17 @@ PP(pp_split)
                    ;
                if (m >= strend)
                    break;
-               dstr = newSVpvn_flags(s, m-s,
-                                     (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
-               XPUSHs(dstr);
+               if (gimme_scalar) {
+                   iters++;
+                   if (m-s == 0)
+                       trailing_empty++;
+                   else
+                       trailing_empty = 0;
+               } else {
+                   dstr = newSVpvn_flags(s, m-s,
+                                         (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
+                   XPUSHs(dstr);
+               }
                /* The rx->minlen is in characters but we want to step
                 * s ahead by bytes. */
                if (do_utf8)
@@ -5095,9 +5137,17 @@ PP(pp_split)
              (m = fbm_instr((unsigned char*)s, (unsigned char*)strend,
                             csv, multiline ? FBMrf_MULTILINE : 0)) )
            {
-               dstr = newSVpvn_flags(s, m-s,
-                                     (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
-               XPUSHs(dstr);
+               if (gimme_scalar) {
+                   iters++;
+                   if (m-s == 0)
+                       trailing_empty++;
+                   else
+                       trailing_empty = 0;
+               } else {
+                   dstr = newSVpvn_flags(s, m-s,
+                                         (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
+                   XPUSHs(dstr);
+               }
                /* The rx->minlen is in characters but we want to step
                 * s ahead by bytes. */
                if (do_utf8)
@@ -5127,9 +5177,18 @@ PP(pp_split)
                strend = s + (strend - m);
            }
            m = RX_OFFS(rx)[0].start + orig;
-           dstr = newSVpvn_flags(s, m-s,
-                                 (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
-           XPUSHs(dstr);
+
+           if (gimme_scalar) {
+               iters++;
+               if (m-s == 0)
+                   trailing_empty++;
+               else
+                   trailing_empty = 0;
+           } else {
+               dstr = newSVpvn_flags(s, m-s,
+                                     (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
+               XPUSHs(dstr);
+           }
            if (RX_NPARENS(rx)) {
                I32 i;
                for (i = 1; i <= (I32)RX_NPARENS(rx); i++) {
@@ -5139,37 +5198,54 @@ PP(pp_split)
                    /* japhy (07/27/01) -- the (m && s) test doesn't catch
                       parens that didn't match -- they should be set to
                       undef, not the empty string */
-                   if (m >= orig && s >= orig) {
-                       dstr = newSVpvn_flags(s, m-s,
-                                            (do_utf8 ? SVf_UTF8 : 0)
-                                             | make_mortal);
+                   if (gimme_scalar) {
+                       iters++;
+                       if (m-s == 0)
+                           trailing_empty++;
+                       else
+                           trailing_empty = 0;
+                   } else {
+                       if (m >= orig && s >= orig) {
+                           dstr = newSVpvn_flags(s, m-s,
+                                                (do_utf8 ? SVf_UTF8 : 0)
+                                                 | make_mortal);
+                       }
+                       else
+                           dstr = &PL_sv_undef;  /* undef, not "" */
+                       XPUSHs(dstr);
                    }
-                   else
-                       dstr = &PL_sv_undef;  /* undef, not "" */
-                   XPUSHs(dstr);
+
                }
            }
            s = RX_OFFS(rx)[0].end + orig;
        }
     }
 
-    iters = (SP - PL_stack_base) - base;
+    if (!gimme_scalar) {
+       iters = (SP - PL_stack_base) - base;
+    }
     if (iters > maxiters)
        DIE(aTHX_ "Split loop");
 
     /* keep field after final delim? */
     if (s < strend || (iters && origlimit)) {
-        const STRLEN l = strend - s;
-       dstr = newSVpvn_flags(s, l, (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
-       XPUSHs(dstr);
+       if (!gimme_scalar) {
+           const STRLEN l = strend - s;
+           dstr = newSVpvn_flags(s, l, (do_utf8 ? SVf_UTF8 : 0) | make_mortal);
+           XPUSHs(dstr);
+       }
        iters++;
     }
     else if (!origlimit) {
-       while (iters > 0 && (!TOPs || !SvANY(TOPs) || SvCUR(TOPs) == 0)) {
-           if (TOPs && !make_mortal)
-               sv_2mortal(TOPs);
-           iters--;
-           *SP-- = &PL_sv_undef;
+       if (gimme_scalar) {
+           iters -= trailing_empty;
+       } else {
+           while (iters > 0 && (!TOPs || !SvANY(TOPs) || SvCUR(TOPs) == 0)) {
+               if (TOPs && !make_mortal)
+                   sv_2mortal(TOPs);
+               *SP-- = &PL_sv_undef;
+               iters--;
+           }
        }
     }
 
diff --git a/t/op/split.t b/t/op/split.t
index b3a9741..6b38b43 100644 (file)
--- a/t/op/split.t
+++ b/t/op/split.t
@@ -6,7 +6,7 @@ BEGIN {
     require './test.pl';
 }
 
-plan tests => 136;
+plan tests => 250;
 
 $FS = ':';
 
@@ -17,37 +17,61 @@ $_ = 'a:b:c';
 is(join(';',$a,$b,$c), 'a;b;c');
 
 @ary = split(/:b:/);
+$cnt = split(/:b:/);
 is(join("$_",@ary), 'aa:b:cc');
+is($cnt, scalar(@ary));
 
 $_ = "abc\n";
 my @xyz = (@ary = split(//));
+$cnt = split(//);
 is(join(".",@ary), "a.b.c.\n");
+is($cnt, scalar(@ary));
 
 $_ = "a:b:c::::";
 @ary = split(/:/);
+$cnt = split(/:/);
 is(join(".",@ary), "a.b.c");
+is($cnt, scalar(@ary));
 
 $_ = join(':',split(' ',"    a b\tc \t d "));
 is($_, 'a:b:c:d');
+@ary = split(' ',"    a b\tc \t d ");
+$cnt = split(' ',"    a b\tc \t d ");
+is($cnt, scalar(@ary));
 
 $_ = join(':',split(/ */,"foo  bar bie\tdoll"));
 is($_ , "f:o:o:b:a:r:b:i:e:\t:d:o:l:l");
+@ary = split(/ */,"foo  bar bie\tdoll");
+$cnt = split(/ */,"foo  bar bie\tdoll");
+is($cnt, scalar(@ary));
 
 $_ = join(':', 'foo', split(/ /,'a b  c'), 'bar');
 is($_, "foo:a:b::c:bar");
+@ary = split(/ /,'a b  c');
+$cnt = split(/ /,'a b  c');
+is($cnt, scalar(@ary));
 
 # Can we say how many fields to split to?
 $_ = join(':', split(' ','1 2 3 4 5 6', 3));
 is($_, '1:2:3 4 5 6');
+@ary = split(' ','1 2 3 4 5 6', 3);
+$cnt = split(' ','1 2 3 4 5 6', 3);
+is($cnt, scalar(@ary));
 
 # Can we do it as a variable?
 $x = 4;
 $_ = join(':', split(' ','1 2 3 4 5 6', $x));
 is($_, '1:2:3:4 5 6');
+@ary = split(' ','1 2 3 4 5 6', $x);
+$cnt = split(' ','1 2 3 4 5 6', $x);
+is($cnt, scalar(@ary));
 
 # Does the 999 suppress null field chopping?
 $_ = join(':', split(/:/,'1:2:3:4:5:6:::', 999));
 is($_ , '1:2:3:4:5:6:::');
+@ary = split(/:/,'1:2:3:4:5:6:::', 999);
+$cnt = split(/:/,'1:2:3:4:5:6:::', 999);
+is($cnt, scalar(@ary));
 
 # Does assignment to a list imply split to one more field than that?
 $foo = runperl( switches => ['-Dt'], stderr => 1, prog => '($a,$b)=split;' );
@@ -61,10 +85,16 @@ is($_, '1:2 3 4 5 6');
 # do subpatterns generate additional fields (without trailing nulls)?
 $_ = join '|', split(/,|(-)/, "1-10,20,,,");
 is($_, "1|-|10||20");
+@ary = split(/,|(-)/, "1-10,20,,,");
+$cnt = split(/,|(-)/, "1-10,20,,,");
+is($cnt, scalar(@ary));
 
 # do subpatterns generate additional fields (with a limit)?
 $_ = join '|', split(/,|(-)/, "1-10,20,,,", 10);
 is($_, "1|-|10||20||||||");
+@ary = split(/,|(-)/, "1-10,20,,,", 10);
+$cnt = split(/,|(-)/, "1-10,20,,,", 10);
+is($cnt, scalar(@ary));
 
 # is the 'two undefs' bug fixed?
 (undef, $a, undef, $b) = qw(1 2 3 4);
@@ -79,40 +109,69 @@ is("$a|$b", "2|4");
 # check splitting of null string
 $_ = join('|', split(/x/,   '',-1), 'Z');
 is($_, "Z");
+@ary = split(/x/,   '',-1);
+$cnt = split(/x/,   '',-1);
+is($cnt, scalar(@ary));
 
 $_ = join('|', split(/x/,   '', 1), 'Z');
 is($_, "Z");
+@ary = split(/x/,   '', 1);
+$cnt = split(/x/,   '', 1);
+is($cnt, scalar(@ary));
 
 $_ = join('|', split(/(p+)/,'',-1), 'Z');
 is($_, "Z");
+@ary = split(/(p+)/,'',-1);
+$cnt = split(/(p+)/,'',-1);
+is($cnt, scalar(@ary));
 
 $_ = join('|', split(/.?/,  '',-1), 'Z');
 is($_, "Z");
+@ary = split(/.?/,  '',-1);
+$cnt = split(/.?/,  '',-1);
+is($cnt, scalar(@ary));
 
 
 # Are /^/m patterns scanned?
 $_ = join '|', split(/^a/m, "a b a\na d a", 20);
 is($_, "| b a\n| d a");
+@ary = split(/^a/m, "a b a\na d a", 20);
+$cnt = split(/^a/m, "a b a\na d a", 20);
+is($cnt, scalar(@ary));
 
 # Are /$/m patterns scanned?
 $_ = join '|', split(/a$/m, "a b a\na d a", 20);
 is($_, "a b |\na d |");
+@ary = split(/a$/m, "a b a\na d a", 20);
+$cnt = split(/a$/m, "a b a\na d a", 20);
+is($cnt, scalar(@ary));
 
 # Are /^/m patterns scanned?
 $_ = join '|', split(/^aa/m, "aa b aa\naa d aa", 20);
 is($_, "| b aa\n| d aa");
+@ary = split(/^aa/m, "aa b aa\naa d aa", 20);
+$cnt = split(/^aa/m, "aa b aa\naa d aa", 20);
+is($cnt, scalar(@ary));
 
 # Are /$/m patterns scanned?
 $_ = join '|', split(/aa$/m, "aa b aa\naa d aa", 20);
 is($_, "aa b |\naa d |");
+@ary = split(/aa$/m, "aa b aa\naa d aa", 20);
+$cnt = split(/aa$/m, "aa b aa\naa d aa", 20);
+is($cnt, scalar(@ary));
 
 # Greedyness:
 $_ = "a : b :c: d";
 @ary = split(/\s*:\s*/);
+$cnt = split(/\s*:\s*/);
 is(($res = join(".",@ary)), "a.b.c.d", $res);
+is($cnt, scalar(@ary));
 
 # use of match result as pattern (!)
 is('p:q:r:s', join ':', split('abc' =~ /b/, 'p1q1r1s'));
+@ary = split('abc' =~ /b/, 'p1q1r1s');
+$cnt = split('abc' =~ /b/, 'p1q1r1s');
+is($cnt, scalar(@ary));
 
 # /^/ treated as /^/m
 $_ = join ':', split /^/, "ab\ncd\nef\n";
@@ -128,18 +187,26 @@ ok(@list1 == @list2 &&
 # zero-width assertion
 $_ = join ':', split /(?=\w)/, "rm b";
 is($_, "r:m :b");
+@ary = split /(?=\w)/, "rm b";
+$cnt = split /(?=\w)/, "rm b";
+is($cnt, scalar(@ary));
 
 # unicode splittage
 
 @ary = map {ord} split //, v1.20.300.4000.50000.4000.300.20.1;
+$cnt =           split //, v1.20.300.4000.50000.4000.300.20.1;
 is("@ary", "1 20 300 4000 50000 4000 300 20 1");
+is($cnt, scalar(@ary));
 
 @ary = split(/\x{FE}/, "\x{FF}\x{FE}\x{FD}"); # bug id 20010105.016
+$cnt = split(/\x{FE}/, "\x{FF}\x{FE}\x{FD}"); # bug id 20010105.016
 ok(@ary == 2 &&
    $ary[0] eq "\xFF"   && $ary[1] eq "\xFD" &&
    $ary[0] eq "\x{FF}" && $ary[1] eq "\x{FD}");
+is($cnt, scalar(@ary));
 
 @ary = split(/(\x{FE}\xFE)/, "\xFF\x{FF}\xFE\x{FE}\xFD\x{FD}"); # variant of 31
+$cnt = split(/(\x{FE}\xFE)/, "\xFF\x{FF}\xFE\x{FE}\xFD\x{FD}"); # variant of 31
 ok(@ary == 3 &&
    $ary[0] eq "\xFF\xFF"     &&
    $ary[0] eq "\x{FF}\xFF"   &&
@@ -150,16 +217,21 @@ ok(@ary == 3 &&
    $ary[2] eq "\xFD\xFD"     &&
    $ary[2] eq "\x{FD}\xFD"   &&
    $ary[2] eq "\x{FD}\x{FD}");
+is($cnt, scalar(@ary));
 
 {
     my @a = map ord, split(//, join("", map chr, (1234, 123, 2345)));
+    my $c =          split(//, join("", map chr, (1234, 123, 2345)));
     is("@a", "1234 123 2345");
+    is($c, scalar(@a));
 }
 
 {
     my $x = 'A';
     my @a = map ord, split(/$x/, join("", map chr, (1234, ord($x), 2345)));
+    my $c =          split(/$x/, join("", map chr, (1234, ord($x), 2345)));
     is("@a", "1234 2345");
+    is($c, scalar(@a));
 }
 
 {
@@ -171,6 +243,8 @@ ok(@ary == 3 &&
     my $sushi = "\x{b36c}\x{5a8c}\x{ff5b}\x{5079}\x{505b}";
 
     my @charlist = split //, $sushi;
+    my $charnum  = split //, $sushi;
+    is($charnum, scalar(@charlist));
     my $r = '';
     foreach my $ch (@charlist) {
        $r = $r . " " . sprintf "U+%04X", ord($ch);
@@ -218,6 +292,8 @@ ok(@ary == 3 &&
     my $a = "ABC\x{263A}";
 
     my @b = split( //, $a );
+    my $c = split( //, $a );
+    is($c, scalar(@b));
 
     is(scalar @b, 4);
 
@@ -229,8 +305,10 @@ ok(@ary == 3 &&
 
 {
     my @a = split(/\xFE/, "\xFF\xFE\xFD");
+    my $b = split(/\xFE/, "\xFF\xFE\xFD");
 
     ok(@a == 2 && $a[0] eq "\xFF" && $a[1] eq "\xFD");
+    is($b, scalar(@a));
 }
 
 {
@@ -247,6 +325,8 @@ ok(@ary == 3 &&
 {
     # split /(A)|B/, "1B2" should return (1, undef, 2)
     my @x = split /(A)|B/, "1B2";
+    my $y = split /(A)|B/, "1B2";
+    is($y, scalar(@x));
     ok($x[0] eq '1' and (not defined $x[1]) and $x[2] eq '2');
 }
 
@@ -256,6 +336,8 @@ ok(@ary == 3 &&
     local $SIG{__WARN__} = sub { $warn = join '', @_; chomp $warn };
     my $char = "\x{10f1ff}";
     my @a = split /\r?\n/, "$char\n";
+    my $b = split /\r?\n/, "$char\n";
+    is($b, scalar(@a));
     ok(@a == 1 && $a[0] eq $char && !defined($warn));
 }
 
@@ -267,6 +349,8 @@ ok(@ary == 3 &&
            utf8::upgrade $_ if $u;
            /(.+)/;
            my @d = split /[,]/,$1;
+           my $e = split /[,]/,$1;
+           is($e, scalar(@d));
            is(join (':',@d), 'readin:database:readout', "[perl #18195]");
        }
     }
@@ -276,6 +360,8 @@ ok(@ary == 3 &&
     $p="a,b";
     utf8::upgrade $p;
     eval { @a=split(/[, ]+/,$p) };
+    eval { $b=split(/[, ]+/,$p) };
+    is($b, scalar(@a));
     is ("$@-@a-", '-a b-', '#20912 - split() to array with /[]+/ and utf8');
 }
 
@@ -335,16 +421,22 @@ ok(@ary == 3 &&
         chop $str;
 
         my @res=split(/\s+/,$str);
+        my $cnt=split(/\s+/,$str);
         ok(@res == 2 && join('-',@res) eq "A:-:B", "$msg - /\\s+/");
+       is($cnt, scalar(@res), "$msg - /\\s+/ (count)");
 
         my $s2 = "$space$space:A:$space$space:B\x{FFFD}";
         chop $s2;
 
         my @r2 = split(' ',$s2);
+       my $c2 = split(' ',$s2);
         ok(@r2 == 2 && join('-', @r2) eq ":A:-:B",  "$msg - ' '");
+       is($c2, scalar(@r2), "$msg - ' ' (count)");
 
         my @r3 = split(/\s+/, $s2);
+        my $c3 = split(/\s+/, $s2);
         ok(@r3 == 3 && join('-', @r3) eq "-:A:-:B", "$msg - /\\s+/ No.2");
+       is($c3, scalar(@r3), "$msg - /\\s+/ No.2 (count)");
     }
 }
 
@@ -352,7 +444,11 @@ ok(@ary == 3 &&
     my $src = "ABC \0 FOO \0  XYZ";
     my @s = split(" \0 ", $src);
     my @r = split(/ \0 /, $src);
+    my $cs = split(" \0 ", $src);
+    my $cr = split(/ \0 /, $src);
     is(scalar(@s), 3);
+    is($cs, 3);
+    is($cr, 3);
     is($s[0], "ABC");
     is($s[1], "FOO");
     is($s[2]," XYZ");
Unnamed repository; edit this file to name it for gitweb.