t/io/utf8.t

   1 #!./perl
   2
   3 BEGIN {
   4     chdir 't' if -d 't';
   5     @INC = '../lib';
   6     unless (find PerlIO::Layer 'perlio') {
   7         print "1..0 # Skip: not perlio\n";
   8         exit 0;
   9     }
  10 }
  11
  12 no utf8; # needed for use utf8 not griping about the raw octets
  13
  14 $| = 1;
  15 print "1..31\n";
  16
  17 open(F,"+>:utf8",'a');
  18 print F chr(0x100).'£';
  19 print '#'.tell(F)."\n";
  20 print "not " unless tell(F) == 4;
  21 print "ok 1\n";
  22 print F "\n";
  23 print '#'.tell(F)."\n";
  24 print "not " unless tell(F) >= 5;
  25 print "ok 2\n";
  26 seek(F,0,0);
  27 print "not " unless getc(F) eq chr(0x100);
  28 print "ok 3\n";
  29 print "not " unless getc(F) eq "£";
  30 print "ok 4\n";
  31 print "not " unless getc(F) eq "\n";
  32 print "ok 5\n";
  33 seek(F,0,0);
  34 binmode(F,":bytes");
  35 my $chr = chr(0xc4);
  36 if (ord('A') == 193) { $chr = chr(0x8c); } # EBCDIC
  37 print "not " unless getc(F) eq $chr;
  38 print "ok 6\n";
  39 $chr = chr(0x80);
  40 if (ord('A') == 193) { $chr = chr(0x41); } # EBCDIC
  41 print "not " unless getc(F) eq $chr;
  42 print "ok 7\n";
  43 $chr = chr(0xc2);
  44 if (ord('A') == 193) { $chr = chr(0x80); } # EBCDIC
  45 print "not " unless getc(F) eq $chr;
  46 print "ok 8\n";
  47 $chr = chr(0xa3);
  48 if (ord('A') == 193) { $chr = chr(0x44); } # EBCDIC
  49 print "not " unless getc(F) eq $chr;
  50 print "ok 9\n";
  51 print "not " unless getc(F) eq "\n";
  52 print "ok 10\n";
  53 seek(F,0,0);
  54 binmode(F,":utf8");
  55 print "not " unless scalar(<F>) eq "\x{100}£\n";
  56 print "ok 11\n";
  57 seek(F,0,0);
  58 $buf = chr(0x200);
  59 $count = read(F,$buf,2,1);
  60 print "not " unless $count == 2;
  61 print "ok 12\n";
  62 print "not " unless $buf eq "\x{200}\x{100}£";
  63 print "ok 13\n";
  64 close(F);
  65
  66 {
  67     $a = chr(300); # This *is* UTF-encoded
  68     $b = chr(130); # This is not.
  69
  70     open F, ">:utf8", 'a' or die $!;
  71     print F $a,"\n";
  72     close F;
  73
  74     open F, "<:utf8", 'a' or die $!;
  75     $x = <F>;
  76     chomp($x);
  77     print "not " unless $x eq chr(300);
  78     print "ok 14\n";
  79
  80     open F, "a" or die $!; # Not UTF
  81     binmode(F, ":bytes");
  82     $x = <F>;
  83     chomp($x);
  84     $chr = chr(196).chr(172);
  85     if (ord('A') == 193) { $chr = chr(141).chr(83); } # EBCDIC
  86     print "not " unless $x eq $chr;
  87     print "ok 15\n";
  88     close F;
  89
  90     open F, ">:utf8", 'a' or die $!;
  91     binmode(F);  # we write a "\n" and then tell() - avoid CRLF issues.
  92     binmode(F,":utf8"); # turn UTF-8-ness back on
  93     print F $a;
  94     my $y;
  95     { my $x = tell(F);
  96       { use bytes; $y = length($a);}
  97       print "not " unless $x == $y;
  98       print "ok 16\n";
  99   }
 100
 101     { # Check byte length of $b
 102         use bytes; my $y = length($b);
 103         print "not " unless $y == 1;
 104         print "ok 17\n";
 105     }
 106
 107     print F $b,"\n"; # Don't upgrades $b
 108
 109     { # Check byte length of $b
 110         use bytes; my $y = length($b);
 111         print "not ($y) " unless $y == 1;
 112         print "ok 18\n";
 113     }
 114
 115     {
 116         my $x = tell(F);
 117         { use bytes; if (ord('A')==193){$y += 2;}else{$y += 3;}} # EBCDIC ASCII
 118         print "not ($x,$y) " unless $x == $y;
 119         print "ok 19\n";
 120     }
 121
 122     close F;
 123
 124     open F, "a" or die $!; # Not UTF
 125     binmode(F, ":bytes");
 126     $x = <F>;
 127     chomp($x);
 128     $chr = v196.172.194.130;
 129     if (ord('A') == 193) { $chr = v141.83.130; } # EBCDIC
 130     printf "not (%vd) ", $x unless $x eq $chr;
 131     print "ok 20\n";
 132
 133     open F, "<:utf8", "a" or die $!;
 134     $x = <F>;
 135     chomp($x);
 136     close F;
 137     printf "not (%vd) ", $x unless $x eq chr(300).chr(130);
 138     print "ok 21\n";
 139
 140     open F, ">", "a" or die $!;
 141     if (${^OPEN} =~ /:utf8/) {
 142         binmode(F, ":bytes:");
 143     }
 144
 145     # Now let's make it suffer.
 146     my $w;
 147     {
 148         use warnings 'utf8';
 149         local $SIG{__WARN__} = sub { $w = $_[0] };
 150         print F $a;
 151         print "not " if ($@ || $w !~ /Wide character in print/i);
 152     }
 153     print "ok 22\n";
 154 }
 155
 156 # Hm. Time to get more evil.
 157 open F, ">:utf8", "a" or die $!;
 158 print F $a;
 159 binmode(F, ":bytes");
 160 print F chr(130)."\n";
 161 close F;
 162
 163 open F, "<", "a" or die $!;
 164 binmode(F, ":bytes");
 165 $x = <F>; chomp $x;
 166 $chr = v196.172.130;
 167 if (ord('A') == 193) { $chr = v141.83.130; } # EBCDIC
 168 print "not " unless $x eq $chr;
 169 print "ok 23\n";
 170
 171 # Right.
 172 open F, ">:utf8", "a" or die $!;
 173 print F $a;
 174 close F;
 175 open F, ">>", "a" or die $!;
 176 print F chr(130)."\n";
 177 close F;
 178
 179 open F, "<", "a" or die $!;
 180 $x = <F>; chomp $x;
 181 print "not " unless $x eq $chr;
 182 print "ok 24\n";
 183
 184 # Now we have a deformed file.
 185
 186 if (ord('A') == 193) {
 187     print "ok 25 # Skip: EBCDIC\n"; # EBCDIC doesn't complain
 188 } else {
 189     open F, "<:utf8", "a" or die $!;
 190     $x = <F>; chomp $x;
 191     local $SIG{__WARN__} = sub { print "ok 25\n" };
 192     eval { sprintf "%vd\n", $x };
 193 }
 194
 195 close F;
 196 unlink('a');
 197
 198 open F, ">:utf8", "a";
 199 @a = map { chr(1 << ($_ << 2)) } 0..5; # 0x1, 0x10, .., 0x100000
 200 unshift @a, chr(0); # ... and a null byte in front just for fun
 201 print F @a;
 202 close F;
 203
 204 my $c;
 205
 206 # read() should work on characters, not bytes
 207 open F, "<:utf8", "a";
 208 $a = 0;
 209 for (@a) {
 210     unless (($c = read(F, $b, 1) == 1)  &&
 211             length($b)           == 1  &&
 212             ord($b)              == ord($_) &&
 213             tell(F)              == ($a += bytes::length($b))) {
 214         print '# ord($_)           == ', ord($_), "\n";
 215         print '# ord($b)           == ', ord($b), "\n";
 216         print '# length($b)        == ', length($b), "\n";
 217         print '# bytes::length($b) == ', bytes::length($b), "\n";
 218         print '# tell(F)           == ', tell(F), "\n";
 219         print '# $a                == ', $a, "\n";
 220         print '# $c                == ', $c, "\n";
 221         print "not ";
 222         last;
 223     }
 224 }
 225 close F;
 226 print "ok 26\n";
 227
 228 {
 229     # Check that warnings are on on I/O, and that they can be muffled.
 230
 231     local $SIG{__WARN__} = sub { $@ = shift };
 232
 233     undef $@;
 234     open F, ">a";
 235     binmode(F, ":bytes");
 236     print F chr(0x100);
 237     close(F);
 238
 239     print $@ =~ /Wide character in print/ ? "ok 27\n" : "not ok 27\n";
 240
 241     undef $@;
 242     open F, ">:utf8", "a";
 243     print F chr(0x100);
 244     close(F);
 245
 246     print defined $@ ? "not ok 28\n" : "ok 28\n";
 247
 248     undef $@;
 249     open F, ">a";
 250     binmode(F, ":utf8");
 251     print F chr(0x100);
 252     close(F);
 253
 254     print defined $@ ? "not ok 29\n" : "ok 29\n";
 255
 256     no warnings 'utf8';
 257
 258     undef $@;
 259     open F, ">a";
 260     print F chr(0x100);
 261     close(F);
 262
 263     print defined $@ ? "not ok 30\n" : "ok 30\n";
 264
 265     use warnings 'utf8';
 266
 267     undef $@;
 268     open F, ">a";
 269     binmode(F, ":bytes");
 270     print F chr(0x100);
 271     close(F);
 272
 273     print $@ =~ /Wide character in print/ ? "ok 31\n" : "not ok 31\n";
 274 }
 275
 276 # sysread() and syswrite() tested in lib/open.t since Fnctl is used
 277
 278 END {
 279     1 while unlink "a";
 280     1 while unlink "b";
 281 }
 282