pod/perlunitut.pod

   1 =head1 NAME
   2
   3 perlunitut - Perl Unicode Tutorial
   4
   5 =head1 DESCRIPTION
   6
   7 The days of just flinging strings around are over. It's well established that
   8 modern programs need to be capable of communicating funny accented letters, and
   9 things like euro symbols. This means that programmers need new habits. It's
  10 easy to program Unicode capable software, but it does require discipline to do
  11 it right.
  12
  13 There's a lot to know about character sets, and text encodings. It's probably
  14 best to spend a full day learning all this, but the basics can be learned in
  15 minutes.
  16
  17 These are not the very basics, though. It is assumed that you already
  18 know the difference between bytes and characters, and realise (and accept!)
  19 that there are many different character sets and encodings, and that your
  20 program has to be explicit about them. Recommended reading is "The Absolute
  21 Minimum Every Software Developer Absolutely, Positively Must Know About Unicode
  22 and Character Sets (No Excuses!)" by Joel Spolsky, at
  23 L<http://joelonsoftware.com/articles/Unicode.html>.
  24
  25 This tutorial speaks in rather absolute terms, and provides only a limited view
  26 of the wealth of character string related features that Perl has to offer. For
  27 most projects, this information will probably suffice.
  28
  29 =head2 Definitions
  30
  31 It's important to set a few things straight first. This is the most important
  32 part of this tutorial. This view may conflict with other information that you
  33 may have found on the web, but that's mostly because many sources are wrong.
  34
  35 You may have to re-read this entire section a few times...
  36
  37 =head3 Unicode
  38
  39 B<Unicode> is a character set with room for lots of characters. The ordinal
  40 value of a character is called a B<code point>.   (But in practice, the
  41 distinction between code point and character is blurred, so the terms often
  42 are used interchangeably.)
  43
  44 There are many, many code points, but computers work with bytes, and a byte has
  45 room for only 256 values.  Unicode has many more characters, so you need a
  46 method to make these accessible.
  47
  48 Unicode is encoded using several competing encodings, of which UTF-8 is the
  49 most used. In a Unicode encoding, multiple subsequent bytes can be used to
  50 store a single code point, or simply: character.
  51
  52 =head3 UTF-8
  53
  54 B<UTF-8> is a Unicode encoding. Many people think that Unicode and UTF-8 are
  55 the same thing, but they're not. There are more Unicode encodings, but much of
  56 the world has standardized on UTF-8.
  57
  58 UTF-8 treats the first 128 codepoints, 0..127, the same as ASCII. They take
  59 only one byte per character. All other characters are encoded as two or more
  60 (up to six) bytes using a complex scheme. Fortunately, Perl handles this for
  61 us, so we don't have to worry about this.
  62
  63 =head3 Text strings (character strings)
  64
  65 B<Text strings>, or B<character strings> are made of characters. Bytes are
  66 irrelevant here, and so are encodings. Each character is just that: the
  67 character.
  68
  69 Text strings are also called B<Unicode strings>, because in Perl, every text
  70 string is a Unicode string.
  71
  72 On a text string, you would do things like:
  73
  74     $text =~ s/foo/bar/;
  75     if ($string =~ /^\d+$/) { ... }
  76     $text = ucfirst $text;
  77     my $character_count = length $text;
  78
  79 The value of a character (C<ord>, C<chr>) is the corresponding Unicode code
  80 point.
  81
  82 =head3 Binary strings (byte strings)
  83
  84 B<Binary strings>, or B<byte strings> are made of bytes. Here, you don't have
  85 characters, just bytes. All communication with the outside world (anything
  86 outside of your current Perl process) is done in binary.
  87
  88 On a binary string, you would do things like:
  89
  90     my (@length_content) = unpack "(V/a)*", $binary;
  91     $binary =~ s/\x00\x0F/\xFF\xF0/;  # for the brave :)
  92     print {$fh} $binary;
  93     my $byte_count = length $binary;
  94
  95 =head3 Encoding
  96
  97 B<Encoding> (as a verb) is the conversion from I<text> to I<binary>. To encode,
  98 you have to supply the target encoding, for example C<iso-8859-1> or C<UTF-8>.
  99 Some encodings, like the C<iso-8859> ("latin") range, do not support the full
 100 Unicode standard; characters that can't be represented are lost in the
 101 conversion.
 102
 103 =head3 Decoding
 104
 105 B<Decoding> is the conversion from I<binary> to I<text>. To decode, you have to
 106 know what encoding was used during the encoding phase. And most of all, it must
 107 be something decodable. It doesn't make much sense to decode a PNG image into a
 108 text string.
 109
 110 =head3 Internal format
 111
 112 Perl has an B<internal format>, an encoding that it uses to encode text strings
 113 so it can store them in memory. All text strings are in this internal format.
 114 In fact, text strings are never in any other format!
 115
 116 You shouldn't worry about what this format is, because conversion is
 117 automatically done when you decode or encode.
 118
 119 =head2 Your new toolkit
 120
 121 Add to your standard heading the following line:
 122
 123     use Encode qw(encode decode);
 124
 125 Or, if you're lazy, just:
 126
 127     use Encode;
 128
 129 =head2 I/O flow (the actual 5 minute tutorial)
 130
 131 The typical input/output flow of a program is:
 132
 133     1. Receive and decode
 134     2. Process
 135     3. Encode and output
 136
 137 If your input is binary, and is supposed to remain binary, you shouldn't decode
 138 it to a text string, of course. But in all other cases, you should decode it.
 139
 140 Decoding can't happen reliably if you don't know how the data was encoded. If
 141 you get to choose, it's a good idea to standardize on UTF-8.
 142
 143     my $foo   = decode('UTF-8', get 'http://example.com/');
 144     my $bar   = decode('ISO-8859-1', readline STDIN);
 145     my $xyzzy = decode('Windows-1251', $cgi->param('foo'));
 146
 147 Processing happens as you knew before. The only difference is that you're now
 148 using characters instead of bytes. That's very useful if you use things like
 149 C<substr>, or C<length>.
 150
 151 It's important to realize that there are no bytes in a text string. Of course,
 152 Perl has its internal encoding to store the string in memory, but ignore that.
 153 If you have to do anything with the number of bytes, it's probably best to move
 154 that part to step 3, just after you've encoded the string. Then you know
 155 exactly how many bytes it will be in the destination string.
 156
 157 The syntax for encoding text strings to binary strings is as simple as decoding:
 158
 159     $body = encode('UTF-8', $body);
 160
 161 If you needed to know the length of the string in bytes, now's the perfect time
 162 for that. Because C<$body> is now a byte string, C<length> will report the
 163 number of bytes, instead of the number of characters. The number of
 164 characters is no longer known, because characters only exist in text strings.
 165
 166     my $byte_count = length $body;
 167
 168 And if the protocol you're using supports a way of letting the recipient know
 169 which character encoding you used, please help the receiving end by using that
 170 feature! For example, E-mail and HTTP support MIME headers, so you can use the
 171 C<Content-Type> header. They can also have C<Content-Length> to indicate the
 172 number of I<bytes>, which is always a good idea to supply if the number is
 173 known.
 174
 175     "Content-Type: text/plain; charset=UTF-8",
 176     "Content-Length: $byte_count"
 177
 178 =head1 SUMMARY
 179
 180 Decode everything you receive, encode everything you send out. (If it's text
 181 data.)
 182
 183 =head1 Q and A (or FAQ)
 184
 185 After reading this document, you ought to read L<perlunifaq> too.
 186
 187 =head1 ACKNOWLEDGEMENTS
 188
 189 Thanks to Johan Vromans from Squirrel Consultancy. His UTF-8 rants during the
 190 Amsterdam Perl Mongers meetings got me interested and determined to find out
 191 how to use character encodings in Perl in ways that don't break easily.
 192
 193 Thanks to Gerard Goossen from TTY. His presentation "UTF-8 in the wild" (Dutch
 194 Perl Workshop 2006) inspired me to publish my thoughts and write this tutorial.
 195
 196 Thanks to the people who asked about this kind of stuff in several Perl IRC
 197 channels, and have constantly reminded me that a simpler explanation was
 198 needed.
 199
 200 Thanks to the people who reviewed this document for me, before it went public.
 201 They are: Benjamin Smith, Jan-Pieter Cornet, Johan Vromans, Lukas Mai, Nathan
 202 Gray.
 203
 204 =head1 AUTHOR
 205
 206 Juerd Waalboer <#####@juerd.nl>
 207
 208 =head1 SEE ALSO
 209
 210 L<perlunifaq>, L<perlunicode>, L<perluniintro>, L<Encode>
 211