ext/Encode/bin/unidump

   1 #!./perl
   2
   3 use strict;
   4 use Encode;
   5 use Getopt::Std;
   6 my %Opt; getopts("ChH:e:f:t:s:pPv", \%Opt);
   7 $Opt{p} ||= $Opt{P};
   8 $Opt{e} ||= 'utf8';
   9 $Opt{f} ||= $Opt{e};
  10 $Opt{t} ||= $Opt{e};
  11 $Opt{h} and help();
  12
  13 my ($linebuf, $outbuf);
  14 my $CPL = $Opt{p} ? 64 : 8;
  15 my $linenum;
  16 my $linesperheading = $Opt{H};
  17 my $nchars;
  18 our $PrevChunk;
  19
  20 $Opt{h} and help();
  21 $Opt{p} and do_perl($Opt{s});
  22 do_dump($Opt{s});
  23 exit;
  24
  25 #
  26
  27 sub do_perl{
  28     my $string = shift;
  29     $Opt{P} and print "#!$^X -w\nprint\n";
  30     unless ($string){
  31         while(<>){
  32             use utf8;
  33             $linebuf .=  Encode::decode($Opt{f}, $_);
  34             while($linebuf){
  35                 my $chr =  render_p(substr($linebuf, 0, 1, ''));
  36                 length($outbuf) + length($chr) > $CPL and print_P();
  37                 $outbuf .= $chr;
  38             }
  39         }
  40         $outbuf and print print_P(";");
  41     }else{
  42         while($string){
  43             my $chr =  render_p(substr($string, 0, 1, ''));
  44             length($outbuf) + length($chr) > $CPL and print_P();
  45             $outbuf .= $chr;
  46         }
  47     }
  48     $outbuf and print print_P(";");
  49     exit;
  50 }
  51
  52 sub render_p{
  53     my ($chr, $format) = @_;
  54     our %S2pstr;
  55     $S2pstr{$chr} and return $S2pstr{$chr}; # \t\n...
  56     $chr =~ /[\x20-\x7e]/ and return $chr;  # ascii, printable;
  57     my $fmt = ($chr =~ /[\x00-\x1f\x7F]/)  ?
  58         q(\x%x) : q(\x{%x});
  59     return sprintf $fmt, ord($chr);
  60 }
  61
  62 sub print_P{
  63     my $end = shift;
  64     $outbuf or return;
  65     print '"', encode($Opt{t}, $outbuf), '"';
  66     my $tail = $Opt{P} ? $end ? "$end" :  "," : '';
  67     print $tail, "\n";
  68     $outbuf = '';
  69 }
  70
  71 sub do_dump{
  72     my $string = shift;
  73     !$Opt{p} and exists $Opt{H} and print_H();
  74     unless ($string){
  75         while(<>){
  76             use utf8;
  77             $linebuf .=  Encode::decode($Opt{f}, $_);
  78             while (length($linebuf) > $CPL){
  79                 my $chunk = substr($linebuf, 0, $CPL, '');
  80                 print_C($chunk, $linenum++);
  81                 $Opt{H} and $linenum % $Opt{H} == $CPL-1 and print_S();
  82             }
  83         }
  84         $linebuf and print_C($linebuf);
  85     }else{
  86         while ($string){
  87             my $chunk = substr($string, 0, $CPL, '');
  88             print_C($chunk, $linenum++);
  89             $Opt{H} and $linenum % $Opt{H} == $CPL-1 and print_S();
  90         }
  91     }
  92     exit;
  93 }
  94
  95 sub print_S{
  96     print "--------+------------------------------------------------";
  97     if ($Opt{C}){
  98         print "-+-----------------";
  99     }
 100     print "\n";
 101 }
 102 sub print_H{
 103     print "  Offset      0     1     2     3     4     5     6     7";
 104     if ($Opt{C}){
 105         print " |  0 1 2 3 4 5 6 7";
 106     }
 107     print "\n";
 108     print_S;
 109 }
 110
 111 sub print_C{
 112     my ($chunk, $linenum) = @_;
 113     if (!$Opt{v} and $chunk eq $PrevChunk){
 114         printf "%08x *\n", $linenum*8; return;
 115     }
 116     $PrevChunk = $chunk;
 117     my $end = length($chunk) - 1;
 118     my (@ord, @chr);
 119     for my $i (0..$end){
 120         use utf8;
 121         my $chr = substr($chunk,$i,1);
 122         my $ord = ord($chr);
 123         my $fmt = $ord <= 0xffff ? "  %04x" : " %05x";
 124         push @ord, (sprintf $fmt, $ord);
 125         $Opt{C} and push @chr, render_c($chr);
 126     }
 127     if (++$end < 7){
 128         for my $i ($end..7){
 129             push @ord, (" " x 6);
 130         }
 131     }
 132     my $line = sprintf "%08x %s", $linenum*8, join('', @ord);
 133     $Opt{C} and $line .= sprintf " | %s",  join('', @chr);
 134     print encode($Opt{t}, $line), "\n";
 135 }
 136
 137 sub render_c{
 138     my ($chr, $format) = @_;
 139     our (%S2str, $IsFullWidth);
 140     $chr =~ /[\p{IsControl}\s]/o and return $S2str{$chr} || "  ";
 141     $chr =~ $IsFullWidth and return $chr; # as is
 142     return " " . $chr;
 143 }
 144
 145 sub help{
 146     my $message = shift;
 147     use File::Basename;
 148     my $name = basename($0);
 149     $message and print STDERR "$name error: $message\n";
 150     print STDERR <<"EOT";
 151 Usage:
 152   $name -[options...] [files...]
 153   $name -[options...] -s "string"
 154   $name -h
 155   -h prints this message.
 156 Inherited from hexdump;
 157   -C Canonical unidump mode
 158   -v prints the duplicate line as is.  Without this option,
 159      single "*" will be printed instead.
 160 For unidump only
 161   -p prints in perl literals that you can copy and paste directly
 162      to your perl script.
 163   -P prints in perl executable format!
 164   -u prints a bunch of "Uxxxx,".  Handy when you want to pass your
 165      characters in mailing lists.
 166 IO Options:
 167   -e io_encoding    same as "-f io_encoding -t io_encoding"
 168   -f from_encoding  convert the source stream from this encoding
 169   -t to_encoding    print to STDOUT in this encoding
 170   -s string         "string" will be converted instead of STDIN.
 171   -H nline          prints separater for each nlines of output.
 172                     0 means only the table headding be printed.
 173 EOT
 174   exit;
 175 }
 176
 177 BEGIN{
 178     our %S2pstr= (
 179                   "\\" => '\\\\',
 180                   "\0" => '\0',
 181                   "\t" => '\t',
 182                   "\n" => '\n',
 183                   "\r" => '\r',
 184                   "\v" => '\v',
 185                   "\a" => '\a',
 186                   "\e" => '\e',
 187                   "\"" => qq(\\\"),
 188                   "\'" => qq(\\\'),
 189                   '$'  => '\$',
 190                   "@"  => '\@',
 191                   "%"  => '\%',
 192                  );
 193
 194     our %S2str = (
 195                   qq(\x00) => q(\0),  # NULL
 196                   qq(\x01) => q(^A),  # START OF HEADING
 197                   qq(\x02) => q(^B),  # START OF TEXT
 198                   qq(\x03) => q(^C),  # END OF TEXT
 199                   qq(\x04) => q(^D),  # END OF TRANSMISSION
 200                   qq(\x05) => q(^E),  # ENQUIRY
 201                   qq(\x06) => q(^F),  # ACKNOWLEDGE
 202                   qq(\x07) => q(\a),  # BELL
 203                   qq(\x08) => q(^H),  # BACKSPACE
 204                   qq(\x09) => q(\t),  # HORIZONTAL TABULATION
 205                   qq(\x0A) => q(\n),  # LINE FEED
 206                   qq(\x0B) => q(\v),  # VERTICAL TABULATION
 207                   qq(\x0C) => q(^L),  # FORM FEED
 208                   qq(\x0D) => q(\r),  # CARRIAGE RETURN
 209                   qq(\x0E) => q(^N),  # SHIFT OUT
 210                   qq(\x0F) => q(^O),  # SHIFT IN
 211                   qq(\x10) => q(^P),  # DATA LINK ESCAPE
 212                   qq(\x11) => q(^Q),  # DEVICE CONTROL ONE
 213                   qq(\x12) => q(^R),  # DEVICE CONTROL TWO
 214                   qq(\x13) => q(^S),  # DEVICE CONTROL THREE
 215                   qq(\x14) => q(^T),  # DEVICE CONTROL FOUR
 216                   qq(\x15) => q(^U),  # NEGATIVE ACKNOWLEDGE
 217                   qq(\x16) => q(^V),  # SYNCHRONOUS IDLE
 218                   qq(\x17) => q(^W),  # END OF TRANSMISSION BLOCK
 219                   qq(\x18) => q(^X),  # CANCEL
 220                   qq(\x19) => q(^Y),  # END OF MEDIUM
 221                   qq(\x1A) => q(^Z),  # SUBSTITUTE
 222                   qq(\x1B) => q(\e),  # ESCAPE (\c[)
 223                   qq(\x1C) => "^\\",  # FILE SEPARATOR
 224                   qq(\x1D) => "^\]",  # GROUP SEPARATOR
 225                   qq(\x1E) => q(^^),  # RECORD SEPARATOR
 226                   qq(\x1F) => q(^_),  # UNIT SEPARATOR
 227                   );
 228     #
 229     # Generated out of lib/unicore/EastAsianWidth.txt
 230     # will it work ?
 231     #
 232     our $IsFullWidth =
 233         qr/^[
 234              \x{1100}-\x{1159}
 235              \x{115F}-\x{115F}
 236              \x{2329}-\x{232A}
 237              \x{2E80}-\x{2E99}
 238              \x{2E9B}-\x{2EF3}
 239              \x{2F00}-\x{2FD5}
 240              \x{2FF0}-\x{2FFB}
 241              \x{3000}-\x{303E}
 242              \x{3041}-\x{3096}
 243              \x{3099}-\x{30FF}
 244              \x{3105}-\x{312C}
 245              \x{3131}-\x{318E}
 246              \x{3190}-\x{31B7}
 247              \x{31F0}-\x{321C}
 248              \x{3220}-\x{3243}
 249              \x{3251}-\x{327B}
 250              \x{327F}-\x{32CB}
 251              \x{32D0}-\x{32FE}
 252              \x{3300}-\x{3376}
 253              \x{337B}-\x{33DD}
 254              \x{3400}-\x{4DB5}
 255              \x{4E00}-\x{9FA5}
 256              \x{33E0}-\x{33FE}
 257              \x{A000}-\x{A48C}
 258              \x{AC00}-\x{D7A3}
 259              \x{A490}-\x{A4C6}
 260              \x{F900}-\x{FA2D}
 261              \x{FA30}-\x{FA6A}
 262              \x{FE30}-\x{FE46}
 263              \x{FE49}-\x{FE52}
 264              \x{FE54}-\x{FE66}
 265              \x{FE68}-\x{FE6B}
 266              \x{FF01}-\x{FF60}
 267              \x{FFE0}-\x{FFE6}
 268              \x{20000}-\x{2A6D6}
 269          ]$/xo;
 270 }
 271
 272 __END__