ext/Encode/lib/Encode/Supported.pod

   1 =head1 NAME
   2
   3 Encode::Supported -- Encodings supported by Encode
   4
   5 =head1 DESCRIPTION
   6
   7 =head2 Encoding Names
   8
   9 Encoding names are case insensitive. White space in names
  10 is ignored.  In addition, an encoding may have aliases.
  11 Each encoding has one "canonical" name.  The "canonical"
  12 name is chosen from the names of the encoding by picking
  13 the first in the following sequence (with a few exceptions).
  14
  15 =over 4
  16
  17 =item *
  18
  19 The name used by the Perl community.  That includes 'utf8' and 'ascii'.
  20 Unlike aliases, canonical names directly reach the method so such
  21 frequently used words like 'utf8' don't need to do alias lookups.
  22
  23 =item *
  24
  25 The MIME name as defined in IETF RFCs.  This includes all "iso-"s.
  26
  27 =item *
  28
  29 The name in the IANA registry.
  30
  31 =item *
  32
  33 The name used by the organization that defined it.
  34
  35 =back
  36
  37 In case I<de jure> canonical names differ from that of the Encode
  38 module, they are always aliased if it ever be implemented.  So you can
  39 safely tell if a given encoding is implemented or not just by passing
  40 the canonical name.
  41
  42 Because of all the alias issues, and because in the general case
  43 encodings have state, "Encode" uses an encoding object internally
  44 once an operation is in progress.
  45
  46 =head1 Supported Encodings
  47
  48 As of Perl 5.8.0, at least the following encodings are recognized.
  49 Note that unless otherwise specified, they are all case insensitive
  50 (via alias) and all occurrence of spaces are replaced with '-'.
  51 In other words, "ISO 8859 1" and "iso-8859-1" are identical.
  52
  53 Encodings are categorized and implemented in several different modules
  54 but you don't have to C<use Encode::XX> to make them available for
  55 most cases.  Encode.pm will automatically load those modules on demand.
  56
  57 =head2 Built-in Encodings
  58
  59 The following encodings are always available.
  60
  61   Canonical     Aliases                      Comments & References
  62   ----------------------------------------------------------------
  63   ascii         US-ascii                                    [ECMA]
  64   iso-8859-1    latin1                                       [ISO]
  65   utf8          UTF-8                                    [RFC2279]
  66   ----------------------------------------------------------------
  67
  68 =head2 Encode::Unicode -- other Unicode encodings
  69
  70 Unicode coding schemes other than native utf8 are supported by
  71 Encode::Unicode, which will be autoloaded on demand.
  72
  73   ----------------------------------------------------------------
  74   UCS-2BE       UCS-2, iso-10646-1                      [IANA, UC]
  75   UCS-2LE                                                     [UC]
  76   UTF-16                                                      [UC]
  77   UTF-16BE                                                    [UC]
  78   UTF-16LE                                                    [UC]
  79   UTF-32                                                      [UC]
  80   UTF-32BE      UCS-4                                         [UC]
  81   UTF-32LE                                                    [UC]
  82   ----------------------------------------------------------------
  83
  84 To find how (UCS-2|UTF-(16|32))(LE|BE)? differ from one another,
  85 see L<Encode::Unicode>.
  86
  87 =head2 Encode::Byte -- Extended ASCII
  88
  89 Encode::Byte implements most single-byte encodings except for
  90 Symbols and EBCDIC. The following encodings are based on single-byte
  91 encodings implemented as extended ASCII.  Most of them map
  92 \x80-\xff (upper half) to non-ASCII characters.
  93
  94 =over 4
  95
  96 =item ISO-8859 and corresponding vendor mappings
  97
  98 Since there are so many, they are presented in table format with
  99 languages and corresponding encoding names by vendors.  Note that
 100 the table is sorted in order of ISO-8859 and the corresponding vendor
 101 mappings are slightly different from that of ISO.  See
 102 L<http://czyborra.com/charsets/iso8859.html> for details.
 103
 104   Lang/Regions  ISO/Other Std.  DOS     Windows Macintosh  Others
 105   ----------------------------------------------------------------
 106   N. America    (ASCII)         cp437        AdobeStandardEncoding
 107                                 cp863 (DOSCanadaF)
 108   W. Europe     iso-8859-1      cp850   cp1252  MacRoman  nextstep
 109                                                          hp-roman8
 110                                 cp860 (DOSPortuguese)
 111   Cntrl. Europe iso-8859-2      cp852   cp1250  MacCentralEurRoman
 112                                                 MacCroatian
 113                                                 MacRomanian
 114                                                 MacRumanian
 115   Latin3 [1]    iso-8859-3
 116   Latin4 [2]    iso-8859-4
 117   Cyrillics     iso-8859-5      cp855   cp1251  MacCyrillic
 118     (See also next section)     cp866           MacUkrainian
 119   Arabic        iso-8859-6      cp864   cp1256  MacArabic
 120                                 cp1006          MacFarsi
 121   Greek         iso-8859-7      cp737   cp1253  MacGreek
 122                                 cp869 (DOSGreek2)
 123   Hebrew        iso-8859-8      cp862   cp1255  MacHebrew
 124   Turkish       iso-8859-9      cp857   cp1254  MacTurkish
 125   Nordics       iso-8859-10     cp865
 126                                 cp861           MacIcelandic
 127                                                 MacSami
 128   Thai          iso-8859-11 [3] cp874           MacThai
 129   (iso-8859-12 is nonexistent. Reserved for Indics?)
 130   Baltics       iso-8859-13     cp775           cp1257
 131   Celtics       iso-8859-14
 132   Latin9 [4]    iso-8859-15
 133   Latin10       iso-8859-16
 134   Vietnamese    viscii                  cp1258  MacVietnamese
 135   ----------------------------------------------------------------
 136
 137   [1] Esperanto, Maltese, and Turkish. Turkish is now on 8859-9.
 138   [2] Baltics.  Now on 8859-10, except for Latvian.
 139   [3] Also know as TIS 620.
 140   [4] Nicknamed Latin0; the Euro sign as well as French and Finnish
 141       letters that are missing from 8859-1 were added.
 142
 143 All cp* are also available as ibm-*, ms-*, and windows-* .  See also
 144 L<http://czyborra.com/charsets/codepages.html>.
 145
 146 Macintosh encodings don't seem to be registered in such entities as
 147 IANA.  "Canonical" names in Encode are based upon Apple's Tech Note
 148 1150.  See L<http://developer.apple.com/technotes/tn/tn1150.html>
 149 for details.
 150
 151 =item KOI8 - De Facto Standard for the Cyrillic world
 152
 153 Though ISO-8859 does have ISO-8859-5, the KOI8 series is far more
 154 popular in the Net.   L<Encode> comes with the following KOI charsets.
 155 For gory details, see L<http://czyborra.com/charsets/cyrillic.html>
 156
 157   ----------------------------------------------------------------
 158   koi8-f
 159   koi8-r cp878                                           [RFC1489]
 160   koi8-u                                                 [RFC2319]
 161   ----------------------------------------------------------------
 162
 163 =item gsm0338 - Hentai Latin 1
 164
 165 GSM0338 is for GSM handsets. Though it shares alphanumerals with
 166 ASCII, control character ranges and other parts are mapped very
 167 differently, presumably to store Greek and Cyrillic alphabets.
 168 This is also covered in Encode::Byte even though it is not an
 169 "extended ASCII" encoding.
 170
 171 =back
 172
 173 =head2 CJK: Chinese, Japanese, Korean (Multibyte)
 174
 175 Note that Vietnamese is listed above.  Also read "Encoding vs Charset"
 176 below.  Also note that these are implemented in distinct modules by
 177 countries, due the the size concerns (simplified Chinese is mapped
 178 to 'CN', continental China, while traditional Chinese is mapped to
 179 'TW', Taiwan).  Please refer to their respective documentataion pages.
 180
 181 =over 4
 182
 183 =item Encode::CN -- Continental China
 184
 185   Standard      DOS/Win Macintosh                Comment/Reference
 186   ----------------------------------------------------------------
 187   euc-cn [1]            MacChineseSimp
 188   (gbk)         cp936 [2]
 189   gb12345-raw                      { GB12345 without CES }
 190   gb2312-raw                       { GB2312  without CES }
 191   hz
 192   iso-ir-165
 193   ----------------------------------------------------------------
 194
 195   [1] GB2312 is aliased to this.  See L<Microsoft-related naming mess>
 196   [2] gbk is aliased to this.  See L<Microsoft-related naming mess>
 197
 198 =item Encode::JP -- Japan
 199
 200   Standard      DOS/Win Macintosh                Comment/Reference
 201   ----------------------------------------------------------------
 202   euc-jp
 203   shiftjis      cp932   macJapanese
 204   7bit-jis
 205   iso-2022-jp                                            [RFC1468]
 206   iso-2022-jp-1                                          [RFC2237]
 207   jis0201-raw  { JIS X 0201 (roman + halfwidth kana) without CES }
 208   jis0208-raw  { JIS X 0208 (Kanji + fullwidth kana) without CES }
 209   jis0212-raw  { JIS X 0212 (Extended Kanji)         without CES }
 210   ----------------------------------------------------------------
 211
 212 =item Encode::KR -- Korea
 213
 214   Standard      DOS/Win Macintosh                Comment/Reference
 215   ----------------------------------------------------------------
 216   euc-kr                MacKorean                        [RFC1557]
 217                 cp949 [1]
 218   iso-2022-kr                                            [RFC1557]
 219   johab                                  [KS X 1001:1998, Annex 3]
 220   ksc5601-raw                              { KSC5601 without CES }
 221   ----------------------------------------------------------------
 222
 223   [1] ks_c_5601-1987, (x-)?windows-949, and uhc are aliased to this.
 224   See below.
 225
 226 =item Encode::TW -- Taiwan
 227
 228   Standard      DOS/Win Macintosh                Comment/Reference
 229   ----------------------------------------------------------------
 230   big5-eten     cp950   MacChineseTrad {big5 aliased to big5-eten}
 231   big5-hkscs
 232   ----------------------------------------------------------------
 233
 234 =item Encode::HanExtra -- More Chinese via CPAN
 235
 236 Due to size concerns, additional Chinese encodings below are
 237 distributed separately on CPAN, under the name Encode::HanExtra.
 238
 239   Standard      DOS/Win Macintosh                Comment/Reference
 240   ----------------------------------------------------------------
 241   big5ext                                   CMEX's Big5e Extension
 242   big5plus                                  CMEX's Big5+ Extension
 243   cccii         Chinese Character Code for Information Interchange
 244   euc-tw                             EUC (Extended Unix Character)
 245   gb18030                          GBK with Traditional Characters
 246   ----------------------------------------------------------------
 247
 248 =item Encode::JIS2K -- JIS X 0213 encodings via CPAN
 249
 250 Due to size concerns, additional Japanese encodings below are
 251 distributed separately on CPAN, under the name Encode::JIS2K.
 252
 253   Standard      DOS/Win Macintosh                Comment/Reference
 254   ----------------------------------------------------------------
 255   euc-jisx0213
 256   shiftjisx0123
 257   iso-2022-jp-3
 258   jis0213-1-raw
 259   jis0213-2-raw
 260   ----------------------------------------------------------------
 261
 262 =back
 263
 264 =head2 Miscellaneous encodings
 265
 266 =over 4
 267
 268 =item Encode::EBCDIC
 269
 270 See L<perlebcdic> for details.
 271
 272   ----------------------------------------------------------------
 273   cp37
 274   cp500
 275   cp875
 276   cp1026
 277   cp1047
 278   posix-bc
 279   ----------------------------------------------------------------
 280
 281 =item Encode::Symbols
 282
 283 For symbols  and dingbats.
 284
 285   ----------------------------------------------------------------
 286   symbol
 287   dingbats
 288   MacDingbats
 289   AdobeZdingbat
 290   AdobeSymbol
 291   ----------------------------------------------------------------
 292
 293 =item Encode::MIME::Header
 294
 295 Strictly speaking, MIME header encoding documented in RFC 2047 is more
 296 of encapsulation than encoding.  But included anyway.
 297
 298   ----------------------------------------------------------------
 299   MIME-Header                                            [RFC2047]
 300   MIME-B                                                 [RFC2047]
 301   MIME-Q                                                 [RFC2047]
 302   ----------------------------------------------------------------
 303
 304 =item Encode::Guess
 305
 306 This one is not a name of encoding but a utility that lets you pick up
 307 the most appropriate encoding for a data out of given I<suspects>.  See
 308 L<Encode::Guess> for details.
 309
 310 =back
 311
 312 =head1 Unsupported encodings
 313
 314 The following encodings are not supported as yet; some because they
 315 are rarely used, some because of technical difficulties.  They may
 316 be supported by external modules via CPAN in the future, however.
 317
 318 =over 4
 319
 320 =item   ISO-2022-JP-2 [RFC1554]
 321
 322 Not very popular yet.  Needs Unicode Database or equivalent to
 323 implement encode() (because it includes JIS X 0208/0212, KSC5601, and
 324 GB2312 simultaneously, whose code points in Unicode overlap.  So you
 325 need to lookup the database to determine to what character set a given
 326 Unicode character should belong).
 327
 328 =item ISO-2022-CN [RFC1922]
 329
 330 Not very popular.  Needs CNS 11643-1 and -2 which are not available in
 331 this module.  CNS 11643 is supported (via euc-tw) in Encode::HanExtra.
 332 Autrijus Tang may add support for this encoding in his module in future.
 333
 334 =item Various HP-UX encodings
 335
 336 The following are unsupported due to the lack of mapping data.
 337
 338   '8'  - arabic8, greek8, hebrew8, kana8, thai8, and turkish8
 339   '15' - japanese15, korean15, and roi15
 340
 341 =item Cyrillic encoding ISO-IR-111
 342
 343 Anton Tagunov doubts its usefulness.
 344
 345 =item ISO-8859-8-1 [Hebrew]
 346
 347 None of the Encode team knows Hebrew enough (ISO-8859-8, cp1255 and
 348 MacHebrew are supported because and just because there were mappings
 349 available at L<http://www.unicode.org/>).  Contributions welcome.
 350
 351 =item ISIRI 3342, Iran System, ISIRI 2900 [Farsi]
 352
 353 Ditto.
 354
 355 =item Thai encoding TCVN
 356
 357 Ditto.
 358
 359 =item Vietnamese encodings VPS
 360
 361 Though Jungshik Shin has reported that Mozilla supports this encoding,
 362 it was too late before 5.8.0 for us to add it.  In the future, it
 363 may be available via a separate module.  See
 364 L<http://lxr.mozilla.org/seamonkey/source/intl/uconv/ucvlatin/vps.uf>
 365 and
 366 L<http://lxr.mozilla.org/seamonkey/source/intl/uconv/ucvlatin/vps.ut>
 367 if you are interested in helping us.
 368
 369 =item Various Mac encodings
 370
 371 The following are unsupported due to the lack of mapping data.
 372
 373   MacArmenian,  MacBengali,   MacBurmese,   MacEthiopic
 374   MacExtArabic, MacGeorgian,  MacKannada,   MacKhmer
 375   MacLaotian,   MacMalayalam, MacMongolian, MacOriya
 376   MacSinhalese, MacTamil,     MacTelugu,    MacTibetan
 377   MacVietnamese
 378
 379 The rest which are already available are based upon the vendor mappings
 380 at L<http://www.unicode.org/Public/MAPPINGS/VENDORS/APPLE/> .
 381
 382 =item (Mac) Indic encodings
 383
 384 The maps for the following are available at L<http://www.unicode.org/>
 385 but remain unsupport because those encodings need algorithmical
 386 approach, currently unsupported by F<enc2xs>:
 387
 388   MacDevanagari
 389   MacGurmukhi
 390   MacGujarati
 391
 392 For details, please see C<Unicode mapping issues and notes:> at
 393 L<http://www.unicode.org/Public/MAPPINGS/VENDORS/APPLE/DEVANAGA.TXT> .
 394
 395 I believe this issue is prevalent not only for Mac Indics but also in
 396 other Indic encodings, but the above were the only Indic encodings
 397 maps that I could find at L<http://www.unicode.org/> .
 398
 399 =back
 400
 401 =head1 Encoding vs. Charset -- terminology
 402
 403 We are used to using the term (character) I<encoding> and I<character
 404 set> interchangeably.  But just as confusing the terms byte and
 405 character is dangerous and the terms should be differentiated when
 406 needed, we need to differentiate I<encoding> and I<character set>.
 407
 408 To understand that, here is a description of how we make computers
 409 grok our characters.
 410
 411 =over 4
 412
 413 =item *
 414
 415 First we start with which characters to include.  We call this
 416 collection of characters I<character repertoire>.
 417
 418 =item *
 419
 420 Then we have to give each character a unique ID so your computer can
 421 tell the difference between 'a' and 'A'.  This itemized character
 422 repertoire is now a I<character set>.
 423
 424 =item *
 425
 426 If your computer can grow the character set without further
 427 processing, you can go ahead and use it.  This is called a I<coded
 428 character set> (CCS) or I<raw character encoding>.  ASCII is used this
 429 way for most cases.
 430
 431 =item *
 432
 433 But in many cases, especially multi-byte CJK encodings, you have to
 434 tweak a little more.  Your network connection may not accept any data
 435 with the Most Significant Bit set, and your computer may not be able to
 436 tell if a given byte is a whole character or just half of it.  So you
 437 have to I<encode> the character set to use it.
 438
 439 A I<character encoding scheme> (CES) determines how to encode a given
 440 character set, or a set of multiple character sets.  7bit ISO-2022 is
 441 an example of a CES.  You switch between character sets via I<escape
 442 sequences>.
 443
 444 =back
 445
 446 Technically, or mathematically, speaking, a character set encoded in
 447 such a CES that maps character by character may form a CCS.  EUC is such
 448 an example.  The CES of EUC is as follows:
 449
 450 =over 4
 451
 452 =item *
 453
 454 Map ASCII unchanged.
 455
 456 =item *
 457
 458 Map such a character set that consists of 94 or 96 powered by N
 459 members by adding 0x80 to each byte.
 460
 461 =item *
 462
 463 You can also use 0x8e and 0x8f to indicate that the following sequence of
 464 characters belongs to yet another character set.  To each following byte
 465 is added the value 0x80.
 466
 467 =back
 468
 469 By carefully looking at the encoded byte sequence, you can find that the
 470 byte sequence conforms a unique number.  In that sense, EUC is a CCS
 471 generated by a CES above from up to four CCS (complicated?).  UTF-8
 472 falls into this category.  See L<perlUnicode/"UTF-8"> to find out how
 473 UTF-8 maps Unicode to a byte sequence.
 474
 475 You may also have found out by now why 7bit ISO-2022 cannot comprise
 476 a CCS.  If you look at a byte sequence \x21\x21, you can't tell if
 477 it is two !'s or IDEOGRAPHIC SPACE.  EUC maps the latter to \xA1\xA1
 478 so you have no trouble differentiating between "!!". and S<"  ">.
 479
 480 =head1 Encoding Classification (by Anton Tagunov and Dan Kogai)
 481
 482 This section tries to classify the supported encodings by their
 483 applicability for information exchange over the Internet and to
 484 choose the most suitable aliases to name them in the context of
 485 such communication.
 486
 487 =over 4
 488
 489 =item *
 490
 491 To (en|de)code encodings marked by C<(**)>, you need
 492 C<Encode::HanExtra>, available from CPAN.
 493
 494 =back
 495
 496 Encoding names
 497
 498   US-ASCII    UTF-8    ISO-8859-*  KOI8-R
 499   Shift_JIS   EUC-JP   ISO-2022-JP ISO-2022-JP-1
 500   EUC-KR      Big5     GB2312
 501
 502 are registered with IANA as preferred MIME names and may
 503 be used over the Internet.
 504
 505 C<Shift_JIS> has been officialized by JIS X 0208:1997.
 506 L<Microsoft-related naming mess> gives details.
 507
 508 C<GB2312> is the IANA name for C<EUC-CN>.
 509 See L<Microsoft-related naming mess> for details.
 510
 511 C<GB_2312-80> I<raw> encoding is available as C<gb2312-raw>
 512 with Encode. See L<Encode::CN> for details.
 513
 514   EUC-CN
 515   KOI8-U        [RFC2319]
 516
 517 have not been registered with IANA (as of March 2002) but
 518 seem to be supported by major web browsers.
 519 The IANA name for C<EUC-CN> is C<GB2312>.
 520
 521   KS_C_5601-1987
 522
 523 is heavily misused.
 524 See L<Microsoft-related naming mess> for details.
 525
 526 C<KS_C_5601-1987> I<raw> encoding is available as C<kcs5601-raw>
 527 with Encode. See L<Encode::KR> for details.
 528
 529   UTF-16 UTF-16BE UTF-16LE
 530
 531 are IANA-registered C<charset>s. See [RFC 2781] for details.
 532 Jungshik Shin reports that UTF-16 with a BOM is well accepted
 533 by MS IE 5/6 and NS 4/6. Beware however that
 534
 535 =over 4
 536
 537 =item *
 538
 539 C<UTF-16> support in any software you're going to be
 540 using/interoperating with has probably been less tested
 541 then C<UTF-8> support
 542
 543 =item *
 544
 545 C<UTF-8> coded data seamlessly passes traditional
 546 command piping (C<cat>, C<more>, etc.) while C<UTF-16> coded
 547 data is likely to cause confusion (with its zero bytes,
 548 for example)
 549
 550 =item *
 551
 552 it is beyond the power of words to describe the way HTML browsers
 553 encode non-C<ASCII> form data. To get a general impression, visit
 554 L<http://ppewww.ph.gla.ac.uk/~flavell/charset/form-i18n.html>.
 555 While encoding of form data has stabilized for C<UTF-8> encoded pages
 556 (at least IE 5/6, NS 6, and Opera 6 behave consistently), be sure to
 557 expect fun (and cross-browser discrepancies) with C<UTF-16> encoded
 558 pages!
 559
 560 =back
 561
 562 The rule of thumb is to use C<UTF-8> unless you know what
 563 you're doing and unless you really benefit from using C<UTF-16>.
 564
 565   ISO-IR-165    [RFC1345]
 566   VISCII
 567   GB 12345
 568   GB 18030 (**)  (see links bellow)
 569   EUC-TW   (**)
 570
 571 are totally valid encodings but not registered at IANA.
 572 The names under which they are listed here are probably the
 573 most widely-known names for these encodings and are recommended
 574 names.
 575
 576   BIG5PLUS (**)
 577
 578 is a proprietary name.
 579
 580 =head2 Microsoft-related naming mess
 581
 582 Microsoft products misuse the following names:
 583
 584 =over 4
 585
 586 =item KS_C_5601-1987
 587
 588 Microsoft extension to C<EUC-KR>.
 589
 590 Proper names: C<CP949>, C<UHC>, C<x-windows-949> (as used by Mozilla).
 591
 592 See L<http://lists.w3.org/Archives/Public/ietf-charsets/2001AprJun/0033.html>
 593 for details.
 594
 595 Encode aliases C<KS_C_5601-1987> to C<cp949> to reflect this common
 596 misusage. I<Raw> C<KS_C_5601-1987> encoding is available as
 597 C<kcs5601-raw>.
 598
 599 See L<Encode::KR> for details.
 600
 601 =item GB2312
 602
 603 Microsoft extension to C<EUC-CN>.
 604
 605 Proper names: C<CP936>, C<GBK>.
 606
 607 C<GB2312> has been registered in the C<EUC-CN> meaning at
 608 IANA. This has partially repaired the situation: Microsoft's
 609 C<GB2312> has become a superset of the official C<GB2312>.
 610
 611 Encode aliases C<GB2312> to C<euc-cn> in full agreement with
 612 IANA registration. C<cp936> is supported separately.
 613 I<Raw> C<GB_2312-80> encoding is available as C<gb2312-raw>.
 614
 615 See L<Encode::CN> for details.
 616
 617 =item Big5
 618
 619 Microsoft extension to C<Big5>.
 620
 621 Proper name: C<CP950>.
 622
 623 Encode separately supports C<Big5> and C<cp950>.
 624
 625 =item Shift_JIS
 626
 627 Microsoft's understanding of C<Shift_JIS>.
 628
 629 JIS has not endorsed the full Microsoft standard however.
 630 The official C<Shift_JIS> includes only JIS X 0201 and JIS X 0208
 631 character sets, while Microsoft has always used C<Shift_JIS>
 632 to encode a wider character repertoire. See C<IANA> registration for
 633 C<Windows-31J>.
 634
 635 As a historical predecessor, Microsoft's variant
 636 probably has more rights for the name, though it may be objected
 637 that Microsoft shouldn't have used JIS as part of the name
 638 in the first place.
 639
 640 Unambiguous name: C<CP932>. C<IANA> name (not used?): C<Windows-31J>.
 641
 642 Encode separately supports C<Shift_JIS> and C<cp932>.
 643
 644 =back
 645
 646 =head1 Glossary
 647
 648 =over 4
 649
 650 =item character repertoire
 651
 652 A collection of unique characters.  A I<character> set in the strictest
 653 sense. At this stage, characters are not numbered.
 654
 655 =item coded character set (CCS)
 656
 657 A character set that is mapped in a way computers can use directly.
 658 Many character encodings, including EUC, fall in this category.
 659
 660 =item character encoding scheme (CES)
 661
 662 An algorithm to map a character set to a byte sequence.  You don't
 663 have to be able to tell which character set a given byte sequence
 664 belongs.  7-bit ISO-2022 is a CES but it cannot be a CCS.  EUC is an
 665 example of being both a CCS and CES.
 666
 667 =item charset (in MIME context)
 668
 669 has long been used in the meaning of C<encoding>, CES.
 670
 671 While the word combination C<character set> has lost this meaning
 672 in MIME context since [RFC 2130], the C<charset> abbreviation has
 673 retained it. This is how [RFC 2277] and [RFC 2278] bless C<charset>:
 674
 675  This document uses the term "charset" to mean a set of rules for
 676  mapping from a sequence of octets to a sequence of characters, such
 677  as the combination of a coded character set and a character encoding
 678  scheme; this is also what is used as an identifier in MIME "charset="
 679  parameters, and registered in the IANA charset registry ...  (Note
 680  that this is NOT a term used by other standards bodies, such as ISO).
 681                                                [RFC 2277]
 682
 683 =item EUC
 684
 685 Extended Unix Character.  See ISO-2022.
 686
 687 =item ISO-2022
 688
 689 A CES that was carefully designed to coexist with ASCII.  There are a 7
 690 bit version and an 8 bit version.
 691
 692 The 7 bit version switches character set via escape sequence so it
 693 cannot form a CCS.  Since this is more difficult to handle in programs
 694 than the 8 bit version, the 7 bit version is not very popular except for
 695 iso-2022-jp, the I<de facto> standard CES for e-mails.
 696
 697 The 8 bit version can form a CCS.  EUC and ISO-8859 are two examples
 698 thereof.  Pre-5.6 perl could use them as string literals.
 699
 700 =item UCS
 701
 702 Short for I<Universal Character Set>.  When you say just UCS, it means
 703 I<Unicode>.
 704
 705 =item UCS-2
 706
 707 ISO/IEC 10646 encoding form: Universal Character Set coded in two
 708 octets.
 709
 710 =item Unicode
 711
 712 A character set that aims to include all character repertoires of the
 713 world.  Many character sets in various national as well as industrial
 714 standards have become, in a way, just subsets of Unicode.
 715
 716 =item UTF
 717
 718 Short for I<Unicode Transformation Format>.  Determines how to map a
 719 Unicode character into a byte sequence.
 720
 721 =item UTF-16
 722
 723 A UTF in 16-bit encoding.  Can either be in big endian or little
 724 endian.  The big endian version is called UTF-16BE (equal to UCS-2 +
 725 surrogate support) and the little endian version is called UTF-16LE.
 726
 727 =back
 728
 729 =head1 See Also
 730
 731 L<Encode>,
 732 L<Encode::Byte>,
 733 L<Encode::CN>, L<Encode::JP>, L<Encode::KR>, L<Encode::TW>,
 734 L<Encode::EBCDIC>, L<Encode::Symbol>
 735 L<Encode::MIME::Header>, L<Encode::Guess>
 736
 737 =head1 References
 738
 739 =over 4
 740
 741 =item ECMA
 742
 743 European Computer Manufacturers Association
 744 L<http://www.ecma.ch>
 745
 746 =over 4
 747
 748 =item ECMA-035 (eq C<ISO-2022>)
 749
 750 L<http://www.ecma.ch/ecma1/STAND/ECMA-035.HTM>
 751
 752 The specification of ISO-2022 is available from the link above.
 753
 754 =back
 755
 756 =item IANA
 757
 758 Internet Assigned Numbers Authority
 759 L<http://www.iana.org/>
 760
 761 =over 4
 762
 763 =item Assigned Charset Names by IANA
 764
 765 L<http://www.iana.org/assignments/character-sets>
 766
 767 Most of the C<canonical names> in Encode derive from this list
 768 so you can directly apply the string you have extracted from MIME
 769 header of mails and web pages.
 770
 771 =back
 772
 773 =item ISO
 774
 775 International Organization for Standardization
 776 L<http://www.iso.ch/>
 777
 778 =item RFC
 779
 780 Request For Comments -- need I say more?
 781 L<http://www.rfc-editor.org/>, L<http://www.rfc.net/>,
 782 L<http://www.faqs.org/rfcs/>
 783
 784 =item UC
 785
 786 Unicode Consortium
 787 L<http://www.unicode.org/>
 788
 789 =over 4
 790
 791 =item Unicode Glossary
 792
 793 L<http://www.unicode.org/glossary/>
 794
 795 The glossary of this document is based upon this site.
 796
 797 =back
 798
 799 =back
 800
 801 =head2 Other Notable Sites
 802
 803 =over 4
 804
 805 =item czyborra.com
 806
 807 L<http://czyborra.com/>
 808
 809 Contains a a lot of useful information, especially gory details of ISO
 810 vs. vendor mappings.
 811
 812 =item CJK.inf
 813
 814 L<http://www.oreilly.com/people/authors/lunde/cjk_inf.html>
 815
 816 Somewhat obsolete (last update in 1996), but still useful.  Also try
 817
 818 L<ftp://ftp.oreilly.com/pub/examples/nutshell/cjkv/pdf/GB18030_Summary.pdf>
 819
 820 You will find brief info on C<EUC-CN>, C<GBK> and mostly on C<GB 18030>.
 821
 822 =item Jungshik Shin's Hangul FAQ
 823
 824 L<http://jshin.net/faq>
 825
 826 And especially its subject 8.
 827
 828 L<http://jshin.net/faq/qa8.html>
 829
 830 A comprehensive overview of the Korean (C<KS *>) standards.
 831
 832 =item debian.org: "Introduction to i18n"
 833
 834 A brief description for most of the mentioned CJK encodings is
 835 contained in
 836 L<http://www.debian.org/doc/manuals/intro-i18n/ch-codes.en.html>
 837
 838 =back
 839
 840 =head2 Offline sources
 841
 842 =over 4
 843
 844 =item C<CJKV Information Processing> by Ken Lunde
 845
 846 CJKV Information Processing
 847 1999 O'Reilly & Associates, ISBN : 1-56592-224-7
 848
 849 The modern successor of C<CJK.inf>.
 850
 851 Features a comprehensive coverage of CJKV character sets and
 852 encodings along with many other issues faced by anyone trying
 853 to better support CJKV languages/scripts in all the areas of
 854 information processing.
 855
 856 To purchase this book, visit
 857 L<http://www.oreilly.com/catalog/cjkvinfo/>
 858 or your favourite bookstore.
 859
 860 =back
 861
 862 =cut