lib/utf8.pm

   1 package utf8;
   2
   3 $utf8::hint_bits = 0x00800000;
   4
   5 our $VERSION = '1.02';
   6
   7 sub import {
   8     $^H |= $utf8::hint_bits;
   9     $enc{caller()} = $_[1] if $_[1];
  10 }
  11
  12 sub unimport {
  13     $^H &= ~$utf8::hint_bits;
  14 }
  15
  16 sub AUTOLOAD {
  17     require "utf8_heavy.pl";
  18     goto &$AUTOLOAD if defined &$AUTOLOAD;
  19     Carp::croak("Undefined subroutine $AUTOLOAD called");
  20 }
  21
  22 1;
  23 __END__
  24
  25 =head1 NAME
  26
  27 utf8 - Perl pragma to enable/disable UTF-8 (or UTF-EBCDIC) in source code
  28
  29 =head1 SYNOPSIS
  30
  31     use utf8;
  32     no utf8;
  33
  34     $num_octets = utf8::upgrade($string);
  35     $success    = utf8::downgrade($string[, FAIL_OK]);
  36
  37     utf8::encode($string);
  38     utf8::decode($string);
  39
  40     $flag = utf8::is_utf8(STRING);
  41     $flag = utf8::valid(STRING);
  42
  43 =head1 DESCRIPTION
  44
  45 The C<use utf8> pragma tells the Perl parser to allow UTF-8 in the
  46 program text in the current lexical scope (allow UTF-EBCDIC on EBCDIC based
  47 platforms).  The C<no utf8> pragma tells Perl to switch back to treating
  48 the source text as literal bytes in the current lexical scope.
  49
  50 This pragma is primarily a compatibility device.  Perl versions
  51 earlier than 5.6 allowed arbitrary bytes in source code, whereas
  52 in future we would like to standardize on the UTF-8 encoding for
  53 source text.  Until UTF-8 becomes the default format for source
  54 text, this pragma should be used to recognize UTF-8 in the source.
  55 When UTF-8 becomes the standard source format, this pragma will
  56 effectively become a no-op.  For convenience in what follows the
  57 term I<UTF-X> is used to refer to UTF-8 on ASCII and ISO Latin based
  58 platforms and UTF-EBCDIC on EBCDIC based platforms.
  59
  60 Enabling the C<utf8> pragma has the following effect:
  61
  62 =over 4
  63
  64 =item *
  65
  66 Bytes in the source text that have their high-bit set will be treated
  67 as being part of a literal UTF-8 character.  This includes most
  68 literals such as identifier names, string constants, and constant
  69 regular expression patterns.
  70
  71 On EBCDIC platforms characters in the Latin 1 character set are
  72 treated as being part of a literal UTF-EBCDIC character.
  73
  74 =back
  75
  76 Note that if you have bytes with the eighth bit on in your script
  77 (for example embedded Latin-1 in your string literals), C<use utf8>
  78 will be unhappy since the bytes are most probably not well-formed
  79 UTF-8.  If you want to have such bytes and use utf8, you can disable
  80 utf8 until the end the block (or file, if at top level) by C<no utf8;>.
  81
  82 =head2 Utility functions
  83
  84 The following functions are defined in the C<utf8::> package by the
  85 Perl core.  You do not need to say C<use utf8> to use these and in fact
  86 you should not unless you really want to have UTF-8 source code.
  87
  88 =over 4
  89
  90 =item * $num_octets = utf8::upgrade($string)
  91
  92 Converts (in-place) internal representation of string to Perl's
  93 internal I<UTF-X> form.  Returns the number of octets necessary to
  94 represent the string as I<UTF-X>.  Can be used to make sure that the
  95 UTF-8 flag is on, so that C<\w> or C<lc()> work as expected on strings
  96 containing characters in the range 0x80-0xFF (oon ASCII and
  97 derivatives).  Note that this should not be used to convert a legacy
  98 byte encoding to Unicode: use Encode for that.  Affected by the
  99 encoding pragma.
 100
 101 =item * $success = utf8::downgrade($string[, FAIL_OK])
 102
 103 Converts (in-place) internal representation of string to be un-encoded
 104 bytes.  Returns true on success. On failure dies or, if the value of
 105 FAIL_OK is true, returns false.  Can be used to make sure that the
 106 UTF-8 flag is off, e.g. when you want to make sure that the substr()
 107 or length() function works with the usually faster byte algorithm.
 108 Note that this should not be used to convert Unicode back to a legacy
 109 byte encoding: use Encode for that.  B<Not> affected by the encoding
 110 pragma.
 111
 112 =item * utf8::encode($string)
 113
 114 Converts (in-place) I<$string> from logical characters to octet
 115 sequence representing it in Perl's I<UTF-X> encoding.  Returns
 116 nothing.  Same as Encode::encode_utf8(). Note that this should not be
 117 used to convert a legacy byte encoding to Unicode: use Encode for
 118 that.
 119
 120 =item * utf8::decode($string)
 121
 122 Attempts to convert I<$string> in-place from Perl's I<UTF-X> encoding
 123 into logical characters. Returns nothing.  Same as Encode::decode_utf8().
 124 Note that this should not be used to convert Unicode back to a legacy
 125 byte encoding: use Encode for that.
 126
 127 =item * $flag = utf8::is_utf8(STRING)
 128
 129 Test whether STRING is in UTF-8.  Same as Encode::is_utf8().
 130
 131 =item * $flag = utf8::valid(STRING)
 132
 133 [INTERNAL] Test whether STRING is in a consistent state regarding
 134 UTF-8.  Will return true is well-formed UTF-8 and has the UTF-8 flag
 135 on B<or> if string is held as bytes (both these states are 'consistent').
 136 Main reason for this routine is to allow Perl's testsuite to check
 137 that operations have left strings in a consistent state.  You most
 138 probably want to use utf8::is_utf8() instead.
 139
 140 =back
 141
 142 C<utf8::encode> is like C<utf8::upgrade>, but the UTF8 flag is
 143 cleared.  See L<perlunicode> for more on the UTF8 flag and the C API
 144 functions C<sv_utf8_upgrade>, C<sv_utf8_downgrade>, C<sv_utf8_encode>,
 145 and C<sv_utf8_decode>, which are wrapped by the Perl functions
 146 C<utf8::upgrade>, C<utf8::downgrade>, C<utf8::encode> and
 147 C<utf8::decode>.  Note that in the Perl 5.8.0 implementation the
 148 functions utf8::is_utf8, utf8::valid, utf8::encode, utf8::decode,
 149 utf8::upgrade, and utf8::downgrade are always available, without a
 150 C<require utf8> statement-- this may change in future releases.
 151
 152 =head1 BUGS
 153
 154 One can have Unicode in identifier names, but not in package/class or
 155 subroutine names.  While some limited functionality towards this does
 156 exist as of Perl 5.8.0, that is more accidental than designed; use of
 157 Unicode for the said purposes is unsupported.
 158
 159 One reason of this unfinishedness is its (currently) inherent
 160 unportability: since both package names and subroutine names may need
 161 to be mapped to file and directory names, the Unicode capability of
 162 the filesystem becomes important-- and there unfortunately aren't
 163 portable answers.
 164
 165 =head1 SEE ALSO
 166
 167 L<perlunicode>, L<bytes>
 168
 169 =cut