t/op/lfs.t

   1 # NOTE: this file tests how large files (>2GB) work with perlio (stdio/sfio).
   2 # sysopen(), sysseek(), syswrite(), sysread() are tested in t/lib/syslfs.t.
   3 # If you modify/add tests here, remember to update also t/lib/syslfs.t.
   4
   5 BEGIN {
   6         chdir 't' if -d 't';
   7         @INC = '../lib';
   8         # Don't bother if there are no quad offsets.
   9         require Config; import Config;
  10         if ($Config{lseeksize} < 8) {
  11                 print "1..0 # Skip: no 64-bit file offsets\n";
  12                 exit(0);
  13         }
  14 }
  15
  16 use strict;
  17 our @s;
  18 our $fail;
  19
  20 sub zap {
  21     close(BIG);
  22     unlink("big");
  23     unlink("big1");
  24     unlink("big2");
  25 }
  26
  27 sub bye {
  28     zap();
  29     exit(0);
  30 }
  31
  32 my $explained;
  33
  34 sub explain {
  35     unless ($explained++) {
  36         print <<EOM;
  37 #
  38 # If the lfs (large file support: large meaning larger than two
  39 # gigabytes) tests are skipped or fail, it may mean either that your
  40 # process (or process group) is not allowed to write large files
  41 # (resource limits) or that the file system (the network filesystem?)
  42 # you are running the tests on doesn't let your user/group have large
  43 # files (quota) or the filesystem simply doesn't support large files.
  44 # You may even need to reconfigure your kernel.  (This is all very
  45 # operating system and site-dependent.)
  46 #
  47 # Perl may still be able to support large files, once you have
  48 # such a process, enough quota, and such a (file) system.
  49 # It is just that the test failed now.
  50 #
  51 EOM
  52     }
  53     print "1..0 # Skip: @_\n" if @_;
  54 }
  55
  56 print "# checking whether we have sparse files...\n";
  57
  58 # Known have-nots.
  59 if ($^O eq 'MSWin32' || $^O eq 'VMS') {
  60     print "1..0 # Skip: no sparse files in $^O\n";
  61     bye();
  62 }
  63
  64 # Known haves that have problems running this test
  65 # (for example because they do not support sparse files, like UNICOS)
  66 if ($^O eq 'unicos') {
  67     print "1..0 # Skip: no sparse files in $^0, unable to test large files\n";
  68     bye();
  69 }
  70
  71 # Then try to heuristically deduce whether we have sparse files.
  72
  73 # Let's not depend on Fcntl or any other extension.
  74
  75 my ($SEEK_SET, $SEEK_CUR, $SEEK_END) = (0, 1, 2);
  76
  77 # We'll start off by creating a one megabyte file which has
  78 # only three "true" bytes.  If we have sparseness, we should
  79 # consume less blocks than one megabyte (assuming nobody has
  80 # one megabyte blocks...)
  81
  82 open(BIG, ">big1") or
  83     do { warn "open big1 failed: $!\n"; bye };
  84 binmode(BIG) or
  85     do { warn "binmode big1 failed: $!\n"; bye };
  86 seek(BIG, 1_000_000, $SEEK_SET) or
  87     do { warn "seek big1 failed: $!\n"; bye };
  88 print BIG "big" or
  89     do { warn "print big1 failed: $!\n"; bye };
  90 close(BIG) or
  91     do { warn "close big1 failed: $!\n"; bye };
  92
  93 my @s1 = stat("big1");
  94
  95 print "# s1 = @s1\n";
  96
  97 open(BIG, ">big2") or
  98     do { warn "open big2 failed: $!\n"; bye };
  99 binmode(BIG) or
 100     do { warn "binmode big2 failed: $!\n"; bye };
 101 seek(BIG, 2_000_000, $SEEK_SET) or
 102     do { warn "seek big2 failed; $!\n"; bye };
 103 print BIG "big" or
 104     do { warn "print big2 failed; $!\n"; bye };
 105 close(BIG) or
 106     do { warn "close big2 failed; $!\n"; bye };
 107
 108 my @s2 = stat("big2");
 109
 110 print "# s2 = @s2\n";
 111
 112 zap();
 113
 114 unless ($s1[7] == 1_000_003 && $s2[7] == 2_000_003 &&
 115         $s1[11] == $s2[11] && $s1[12] == $s2[12]) {
 116         print "1..0 # Skip: no sparse files?\n";
 117         bye;
 118 }
 119
 120 print "# we seem to have sparse files...\n";
 121
 122 # By now we better be sure that we do have sparse files:
 123 # if we are not, the following will hog 5 gigabytes of disk.  Ooops.
 124 # This may fail by producing some signal; run in a subprocess first for safety
 125
 126 $ENV{LC_ALL} = "C";
 127
 128 my $r = system '../perl', '-e', <<'EOF';
 129 open(BIG, ">big");
 130 seek(BIG, 5_000_000_000, 0);
 131 print BIG "big";
 132 exit 0;
 133 EOF
 134
 135 open(BIG, ">big") or do { warn "open failed: $!\n"; bye };
 136 binmode BIG;
 137 if ($r or not seek(BIG, 5_000_000_000, $SEEK_SET)) {
 138     my $err = $r ? 'signal '.($r & 0x7f) : $!;
 139     explain("seeking past 2GB failed: $err");
 140     bye();
 141 }
 142
 143 # Either the print or (more likely, thanks to buffering) the close will
 144 # fail if there are are filesize limitations (process or fs).
 145 my $print = print BIG "big";
 146 print "# print failed: $!\n" unless $print;
 147 my $close = close BIG;
 148 print "# close failed: $!\n" unless $close;
 149 unless ($print && $close) {
 150     if ($! =~/too large/i) {
 151         explain("writing past 2GB failed: process limits?");
 152     } elsif ($! =~ /quota/i) {
 153         explain("filesystem quota limits?");
 154     } else {
 155         explain("error: $!");
 156     }
 157     bye();
 158 }
 159
 160 @s = stat("big");
 161
 162 print "# @s\n";
 163
 164 unless ($s[7] == 5_000_000_003) {
 165     explain("kernel/fs not configured to use large files?");
 166     bye();
 167 }
 168
 169 sub fail () {
 170     print "not ";
 171     $fail++;
 172 }
 173
 174 sub offset ($$) {
 175     my ($offset_will_be, $offset_want) = @_;
 176     my $offset_is = eval $offset_will_be;
 177     unless ($offset_is == $offset_want) {
 178         print "# bad offset $offset_is, want $offset_want\n";
 179         if (unpack("L", pack("L", $offset_want)) == $offset_is) {
 180             my($offset_func) = ($offset_will_be =~ /^(\w+)/);
 181             print "# 32-bit wraparound suspected in $offset_func() since\n";
 182             print "# $offset_want cast into 32 bits is $offset_is.\n";
 183         } elsif ($offset_want - unpack("L", pack("L", $offset_want)) - 1
 184                  == $offset_is){
 185             my($offset_func) = ($offset_will_be =~ /^(\w+)/);
 186             print "# 32-bit wraparound suspected in $offset_func() since\n";
 187             printf "# %s - unpack('L', pack('L', %s)) - 1 equals %s.\n",
 188                 $offset_want,
 189                 $offset_want,
 190                 $offset_is;
 191         }
 192         fail;
 193     }
 194 }
 195
 196 print "1..17\n";
 197
 198 my $fail = 0;
 199
 200 fail unless $s[7] == 5_000_000_003;     # exercizes pp_stat
 201 print "ok 1\n";
 202
 203 fail unless -s "big" == 5_000_000_003;  # exercizes pp_ftsize
 204 print "ok 2\n";
 205
 206 fail unless -e "big";
 207 print "ok 3\n";
 208
 209 fail unless -f "big";
 210 print "ok 4\n";
 211
 212 open(BIG, "big") or do { warn "open failed: $!\n"; bye };
 213 binmode BIG;
 214
 215 fail unless seek(BIG, 4_500_000_000, $SEEK_SET);
 216 print "ok 5\n";
 217
 218 offset('tell(BIG)', 4_500_000_000);
 219 print "ok 6\n";
 220
 221 fail unless seek(BIG, 1, $SEEK_CUR);
 222 print "ok 7\n";
 223
 224 # If you get 205_032_705 from here it means that
 225 # your tell() is returning 32-bit values since (I32)4_500_000_001
 226 # is exactly 205_032_705.
 227 offset('tell(BIG)', 4_500_000_001);
 228 print "ok 8\n";
 229
 230 fail unless seek(BIG, -1, $SEEK_CUR);
 231 print "ok 9\n";
 232
 233 offset('tell(BIG)', 4_500_000_000);
 234 print "ok 10\n";
 235
 236 fail unless seek(BIG, -3, $SEEK_END);
 237 print "ok 11\n";
 238
 239 offset('tell(BIG)', 5_000_000_000);
 240 print "ok 12\n";
 241
 242 my $big;
 243
 244 fail unless read(BIG, $big, 3) == 3;
 245 print "ok 13\n";
 246
 247 fail unless $big eq "big";
 248 print "ok 14\n";
 249
 250 # 705_032_704 = (I32)5_000_000_000
 251 # See that we don't have "big" in the 705_... spot:
 252 # that would mean that we have a wraparound.
 253 fail unless seek(BIG, 705_032_704, $SEEK_SET);
 254 print "ok 15\n";
 255
 256 my $zero;
 257
 258 fail unless read(BIG, $zero, 3) == 3;
 259 print "ok 16\n";
 260
 261 fail unless $zero eq "\0\0\0";
 262 print "ok 17\n";
 263
 264 explain() if $fail;
 265
 266 bye(); # does the necessary cleanup
 267
 268 END {
 269    unlink "big"; # be paranoid about leaving 5 gig files lying around
 270 }
 271
 272 # eof