lib/Unicode/Collate/t/ignor.t

   1 BEGIN {
   2     unless ("A" eq pack('U', 0x41)) {
   3         print "1..0 # Unicode::Collate " .
   4             "cannot stringify a Unicode code point\n";
   5         exit 0;
   6     }
   7     if ($ENV{PERL_CORE}) {
   8         chdir('t') if -d 't';
   9         @INC = $^O eq 'MacOS' ? qw(::lib) : qw(../lib);
  10     }
  11 }
  12
  13 use Test;
  14 BEGIN { plan tests => 41 };
  15
  16 use strict;
  17 use warnings;
  18 use Unicode::Collate;
  19
  20 ok(1);
  21
  22 my $trad = Unicode::Collate->new(
  23   table => 'keys.txt',
  24   normalization => undef,
  25   ignoreName => qr/HANGUL|HIRAGANA|KATAKANA|BOPOMOFO/,
  26   level => 3,
  27   entry => << 'ENTRIES',
  28  0063 0068 ; [.0A3F.0020.0002.0063] % "ch" in traditional Spanish
  29  0043 0068 ; [.0A3F.0020.0007.0043] # "Ch" in traditional Spanish
  30  0043 0048 ; [.0A3F.0020.0008.0043] # "CH" in traditional Spanish
  31 ENTRIES
  32 );
  33 # 0063  ; [.0A3D.0020.0002.0063] # LATIN SMALL LETTER C
  34 # 0064  ; [.0A49.0020.0002.0064] # LATIN SMALL LETTER D
  35
  36 ##### 2..3
  37
  38 ok(
  39   join(':', $trad->sort( qw/ acha aca ada acia acka / ) ),
  40   join(':',              qw/ aca acia acka acha ada / ),
  41 );
  42
  43 ok(
  44   join(':', $trad->sort( qw/ ACHA ACA ADA ACIA ACKA / ) ),
  45   join(':',              qw/ ACA ACIA ACKA ACHA ADA / ),
  46 );
  47
  48 ##### 4..7
  49
  50 ok($trad->gt("ocho", "oc\cAho")); # UCA v14
  51 ok($trad->gt("ocho", "oc\0\cA\0\cBho"));  # UCA v14
  52 ok($trad->eq("-", ""));
  53 ok($trad->gt("ocho", "oc-ho"));
  54
  55 ##### 8..11
  56
  57 $trad->change(UCA_Version => 9);
  58
  59 ok($trad->eq("ocho", "oc\cAho")); # UCA v9
  60 ok($trad->eq("ocho", "oc\0\cA\0\cBho")); # UCA v9
  61 ok($trad->eq("-", ""));
  62 ok($trad->gt("ocho", "oc-ho"));
  63
  64 ##### 12..15
  65
  66 $trad->change(UCA_Version => 8);
  67
  68 ok($trad->gt("ocho", "oc\cAho"));
  69 ok($trad->gt("ocho", "oc\0\cA\0\cBho"));
  70 ok($trad->eq("-", ""));
  71 ok($trad->gt("ocho", "oc-ho"));
  72
  73
  74 ##### 16..19
  75
  76 $trad->change(UCA_Version => 9);
  77
  78 my $hiragana = "\x{3042}\x{3044}";
  79 my $katakana = "\x{30A2}\x{30A4}";
  80
  81 # HIRAGANA and KATAKANA are ignorable via ignoreName
  82 ok($trad->eq($hiragana, ""));
  83 ok($trad->eq("", $katakana));
  84 ok($trad->eq($hiragana, $katakana));
  85 ok($trad->eq($katakana, $hiragana));
  86
  87
  88 ##### 20..31
  89
  90 # According to Conformance Test (UCA_Version == 9 or 11),
  91 # a L3-ignorable is treated as a completely ignorable.
  92
  93 my $L3ignorable = Unicode::Collate->new(
  94   alternate => 'Non-ignorable',
  95   level => 3,
  96   table => undef,
  97   normalization => undef,
  98   UCA_Version => 9,
  99   entry => <<'ENTRIES',
 100 0000  ; [.0000.0000.0000.0000] # [0000] NULL (in 6429)
 101 0001  ; [.0000.0000.0000.0000] # [0001] START OF HEADING (in 6429)
 102 0591  ; [.0000.0000.0000.0591] # HEBREW ACCENT ETNAHTA
 103 1D165 ; [.0000.0000.0000.1D165] # MUSICAL SYMBOL COMBINING STEM
 104 0021  ; [*024B.0020.0002.0021] # EXCLAMATION MARK
 105 09BE  ; [.114E.0020.0002.09BE] # BENGALI VOWEL SIGN AA
 106 09C7  ; [.1157.0020.0002.09C7] # BENGALI VOWEL SIGN E
 107 09CB  ; [.1159.0020.0002.09CB] # BENGALI VOWEL SIGN O
 108 09C7 09BE ; [.1159.0020.0002.09CB] # BENGALI VOWEL SIGN O
 109 1D1B9 ; [*098A.0020.0002.1D1B9] # MUSICAL SYMBOL SEMIBREVIS WHITE
 110 1D1BA ; [*098B.0020.0002.1D1BA] # MUSICAL SYMBOL SEMIBREVIS BLACK
 111 1D1BB ; [*098A.0020.0002.1D1B9][.0000.0000.0000.1D165] # M.S. MINIMA
 112 1D1BC ; [*098B.0020.0002.1D1BA][.0000.0000.0000.1D165] # M.S. MINIMA BLACK
 113 ENTRIES
 114 );
 115
 116 ok($L3ignorable->lt("\cA", "!"));
 117 ok($L3ignorable->lt("\x{591}", "!"));
 118 ok($L3ignorable->eq("\cA", "\x{591}"));
 119 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\cA\x{09BE}A"));
 120 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\x{0591}\x{09BE}A"));
 121 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09C7}\x{1D165}\x{09BE}A"));
 122 ok($L3ignorable->eq("\x{09C7}\x{09BE}A", "\x{09CB}A"));
 123 ok($L3ignorable->lt("\x{1D1BB}", "\x{1D1BC}"));
 124 ok($L3ignorable->eq("\x{1D1BB}", "\x{1D1B9}"));
 125 ok($L3ignorable->eq("\x{1D1BC}", "\x{1D1BA}"));
 126 ok($L3ignorable->eq("\x{1D1BB}", "\x{1D1B9}\x{1D165}"));
 127 ok($L3ignorable->eq("\x{1D1BC}", "\x{1D1BA}\x{1D165}"));
 128
 129 ##### 32..41
 130
 131 my $c = Unicode::Collate->new(
 132   table => 'keys.txt',
 133   normalization => undef,
 134   level => 1,
 135   UCA_Version => 14,
 136   entry => << 'ENTRIES',
 137 034F  ; [.0000.0000.0000.034F] # COMBINING GRAPHEME JOINER
 138 0063 0068 ; [.0A3F.0020.0002.0063] % "ch" in traditional Spanish
 139 0043 0068 ; [.0A3F.0020.0007.0043] # "Ch" in traditional Spanish
 140 0043 0048 ; [.0A3F.0020.0008.0043] # "CH" in traditional Spanish
 141 ENTRIES
 142 );
 143 # 0063  ; [.0A3D.0020.0002.0063] # LATIN SMALL LETTER C
 144 # 0064  ; [.0A49.0020.0002.0064] # LATIN SMALL LETTER D
 145
 146 ok($c->gt("ocho", "oc\x00\x00ho"));
 147 ok($c->gt("ocho", "oc\cAho"));
 148 ok($c->gt("ocho", "oc\x{034F}ho"));
 149 ok($c->gt("ocio", "oc\x{034F}ho"));
 150 ok($c->lt("ocgo", "oc\x{034F}ho"));
 151 ok($c->lt("oceo", "oc\x{034F}ho"));
 152
 153 ok($c->viewSortKey("ocho"),         "[0B4B 0A3F 0B4B | | |]");
 154 ok($c->viewSortKey("oc\x00\x00ho"), "[0B4B 0A3D 0AB9 0B4B | | |]");
 155 ok($c->viewSortKey("oc\cAho"),      "[0B4B 0A3D 0AB9 0B4B | | |]");
 156 ok($c->viewSortKey("oc\x{034F}ho"), "[0B4B 0A3D 0AB9 0B4B | | |]");
 157
 158