字符编码及其由来

字符编码及由来

本文概述：本文从编码的发展历程开始，介绍了ASCII、ASCII扩展字符集、GB2312、GBK、GB18030和BIG5，以及统一编码规范之后的Unicode、UCS2、UCS4、UTF8、UTF16、UTF32、Little Endian和BigEndian。

（1）ANSI的“ASCII”编码（American Standard Code for Information Interchange，美国信息互换标准代码）0~127，用来存储空格、标点符号、数字、大小写字母。ASCII 中128~255称为扩展字符集。

（2）GB2312（对ASCII的中文扩展）：

GB2312 收录简化汉字及符号、字母、日文假名等共7445 个图形字符，其中汉字占6763 个。

编码规定：

其编码范围为：2121H-777EH。一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（高字节）从0XA1用到0XFE，大约组合出7000多个简体汉字，其中包括数学符号、罗马希腊的字母和日本的假名。且ASCII 里原本有的数字、标点、字母都重新编了两个字节长的编码，这就是常说的“全角”，而原来在127一下的那些字符就叫“半角”字符。

GB2312 将代码表分为94 个区，对应第一字节；每个区94 个位，对应第二字节，两个字节的值分别为区号值和位号值加32（2OH）,因此也称为区位码。01-09 区为符号、数字区，16-87 区为汉字区，10-15 区、88-94 区是有待进一步标准化的空白区。GB2312 将收录的汉字分成两级：第一级是常用汉字计3755 个，置于16-55 区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字计3008 个，置于56-87 区，按部首/笔画顺序排列。故而GB2312最多能表示6763 个汉字。

（3）GBK：

为满足所有汉字的需求，不再要求低字节一定是127号之后的内码，只要第一个字节大于127就固定表示这是一个汉字的开始。GBK包括了GB2312的所有的内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。

GBK 向下与GB2312 完全兼容，向上支持ISO 10646 国际标准。GBK 亦采用双字节表示，总体编码范围为8140-FEFE 之间，首字节在81-FE 之间，尾字节在40-FE 之间，剔除XX7F 一条线。

（4）GB18030：

GBK的扩展，增加了几千个新的少数民族的字。

以上统称为DBCS（Double Byte Character 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此在程序中为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值大于127，则认为一个双字节字符集的字符出现了。

GB18030 是最新的汉字编码字符集国家标准, 向下兼容GBK 和GB2312 标准。GB18030 编码是一二四字节变长编码。一字节部分从0x0~0x7F 与ASCII 编码兼容，二字节部分。首字节从0x81~0xFE, 尾字节从0x40~0x7E 以及0x80~0xFE, 与GBK 标准基本兼容。四字节部分，第一字节从0x81~0xFE, 第二字节从0x30~0x39, 第三和第四字节的范围和前两个字节分别相同。四字节部分覆盖了从0x0080 开始, 除去二字节部分已经覆盖的所有Unicode 3.1 码位。也就是说, GB18030 编码在码位空间上做到了与Unicode 标准一一对应,这一点与UTF-8 编码类似。现在的PC 平台必须支持GB18030，手机、MP3 一般只支持GB2312。

（5）BIG5：

BIG5 是通行于台湾、香港地区的一个繁体字编码方案。广泛应用于电脑行业，尤其是互联网中，从而成为一种事实上的行业标准。

BIG5 码是双字节编码方案，其中第一个字节的值在OXAO-OXFE 之间，第二个字节在OX40-OX7E 和OXA1-OXFE 之间。

（6）UniCode：

为了统一全世界的编码规范，ISO（国际标准化组织）废除所有地区性编码方案，重新制定一个了统一的编码——Universal Multiple_OctetCoded Character Set，简称UCS，俗称“UniCode”。

ISO规定，用16位统一表示所有的字符，对于ASCII里的那些“半角”字符，UNICODE 保持其原编码不变，只是将其长度由原来的8位扩展为16位，而其它文化和语言的字符则全部重新统一编码。由于"半角"英文符号只需要用到低8位，所以其高8位永远是0，因此这种案在保存英文文本时会多浪费一倍的空间。

（7）UCS-2和UCS-4：

Unicode是为整合全世界的所有语言文字而诞生的。任何文字在Unicode中都对应一个值，这个值称为代码点（code point）。代码点的值通常写成U+ABCD 的格式。而文字和代码点之间的对应关系就是UCS-2（Universal Character Set coded in 2 octets）。顾名思义，UCS-2是用两个字节来表示代码点，其取值范围为U+0000～U+FFFF。

为了能表示更多的文字，人们又提出了UCS-4，即用四个字节表示代码点。它的范围为U+00000000～U+7FFFFFFF，其中U+00000000～U+0000FFFF和UCS-2是一样的。

要注意，UCS-2和UCS-4只规定了代码点和文字之间的对应关系，并没有规定代码点在计算机中如何存储。规定存储方式的称为UTF（Unicode Transformation Format），其中应用较多的就是UTF-16和UTF-8了。

（8）UTF：

随着计算机网络的兴起，UNICODE 如何在网络上传输也是一个必须考虑的问题，于是面向传输的众多UTF（UCS Transfer Format）标准出现了，顾名思义，UTF8就是每次8个位传输数据，而UTF16就是每次16个位，只不过为了传输时的可靠性，从UNICODE到UTF

时并不是直接的对应，而是要过一些算法和规则来转换。

在网络中交换数据时，对于数据高低位的解读方式，一些计算机是采用地位先发送的方法，如我们PC机采用的INTEL架构，而另一些是采用高位先发送的方式，为了核对双方对于高低位的认识是否一致，采用了一种很简便的方法，就是在文本流的开始时向对方发送一个标志符——如果之后的文本是高位在位，那就发送"FEFF"，反之，则发送"FFFE"。

此外，Unicode只是一个符号集，它只规定了符号的二进制代码，却没有规定二进制代码如何存储，于是出现了Unicode的多种存储方式，导致Unicode在很长一段时间内无法推广。UTF8就是在互联网上使用的最广的一种Unicode实现方式。其最大的特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节的长度。

UTF-16、UTF-32 和UTF8

（a）UTF-16

UTF-16由RFC2781规定，它使用两个字节来表示一个代码点。

不难猜到，UTF-16是完全对应于UCS-2的，即把UCS-2规定的代码点通过Big Endian 或Little Endian方式直接保存下来。UTF-16包括三种：UTF-16，UTF-16BE（Big Endian），UTF-16LE（Little Endian）。

UTF-16BE和UTF-16LE不难理解，而UTF-16就需要通过在文件开头以名为BOM（Byte Order Mark）的字符来表明文件是Big Endian还是Little Endian。BOM为U+FEFF这个字符。

由于UCS-2没有定义U+FFFE，因此只要出现FF FE 或者FE FF 这样的字节序列，就可以认为它是U+FEFF，并且可以判断出是Big Endian还是Little Endian。

例如，"ABC"这三个字符用各种方式编码后的结果如下：

UTF-16BE

00 41 00 42 00 43

UTF-16LE

41 00 42 00 43 00

UTF-16(Big Endian)

FE FF 00 41 00 42 00 43

UTF-16(Little Endian)

FF FE 41 00 42 00 43 00

UTF-16(不带BOM)

00 41 00 42 00 43

Windows平台下默认的Unicode编码为Little Endian的UTF-16（即上述的FF FE 41 00 42 00 43 00）。

（b）UTF-32

UTF-32用四个字节表示代码点，这样就可以完全表示UCS-4的所有代码点，相比UTF-16的表示方法更加简单。与UTF-16类似，UTF-32也包括UTF-32、UTF-32BE、UTF-32LE 三种编码，UTF-32也同样需要BOM字符。也用'ABC'举例：

UTF-32BE

00 00 00 41 00 00 00 42 00 00 00 43

UTF-32LE

41 00 00 00 42 00 00 00 43 00 00 00

UTF-32(Big Endian)

00 00 FE FF 00 00 00 41 00 00 00 42 00 00 00 43

UTF-32(Little Endian)

FF FE 00 00 41 00 00 00 42 00 00 00 43 00 00 00

UTF-32(不带BOM)

00 00 00 41 00 00 00 42 00 00 00 43

UTF-16和UTF-32的一个缺点就是它们固定使用两个或四个字节，这样在表示纯ASCII 文件时会有很多00字节，造成浪费。而RFC3629定义的UTF-8则解决了这个问题。

（c）UTF8的编码规则：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。其编码规则表：

U-00000000 - U-0000007F: 0xxxxxxx

U-00000080 - U-000007FF: 110xxxxx 10xxxxxx

U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx

U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx xxx 的位置由字符编码数的二进制表示的位填入，越靠右的x 具有越少的特殊意义，

只用最短的那个足够表达一个字符编码数的多字节串。注意在多字节串中, 第一个字节的开头"1"的数目就是整个串中字节的数目。而第一行中以0开头，是为了兼容ASCII编码，为一个字节，第二行就为双字节字符串，第三行为3字节，如汉字就属于这种，以此类推。

例如，将Unicode转换为UTF-8，在UTF-8中，如果一个字符的字节小于0x80（128）则为ASCII字符，占一个字节，可以不用转换，因为UTF-8兼容ASCII编码。假如在Unicode 中汉字“你”的编码为“u4F60”，把它转换为二进制为100111101100000，然后按照UTF-8的方法进行转换。可以将Unicode二进制从低位往高位取出二进制数字，每次取6位，如上述的二进制就可以分别取出为如下所示的格式，前面按格式填补，不足8位用0填补。

Unicode: 100111101100000 4F60

UTF8: 11100100,10111101,10100000 E4BDA0

从上面就可以很直观的看出Unicode到UTF-8之间的转换，当然知道了UTF-8的格式后，就可以进行逆运算，就是按照格式把它在二进制中的相应位置上取出，然后在转换就是所得到的Unicode字符了（这个运算可以通过“位移”来完成）。

如上述的“你”的转换，由于其值大于0x800小于0x10000，因此可以判断为三字节存储，则最高位需要向右移“12”位再根据三字节格式的最高位为11100000（0xE0）求或（|）就可以得到最高位的值了。同理第二位则是右移“6”位，则还剩下最高位和第二位的二进制值，可以通过与111111（0x3F）求按位于（&）操作，再和11000000（0x80）求或（|）。第三位就不用移位了，只要直接取最后六位（与111111（ox3F）取&），在与11000000(0x80)求或（|）。

当然在UTF-8到Unicode的转换也是通过移位等来完成的，就是把UTF-8那些格式相应的位置的二进制数给揪出来。在上述例子中“你”为三个字节，因此要每个字节进行处理，有高位到低位进行处理。在UTF-8中“你”为11100100,10111101,10100000。从高位起即第一个字节11100100就是把其中的"0100"给取出来，这个很简单只要和11111（0x1F）取与（&），由三字节可以得知最到位肯定位于12位之前，因为每次取六位。所以还要将得到的结果左移12位，最高位也就这样完成了0100,000000,000000。而第二位则是要把“111101”给取出来，则只需将第二字节10111101和111111(0x3F)取与（&）。在将所得到的结果左移6位与最高字节所得的结果取或（|），第二位就这样完成了，得到的结果为0100,111101,000000。以此类推最后一位直接与111111（0x3F）取与（&），再与前面所得的结果取或（|）即可得到结果0100,111101,100000。

（9）Little Endian和BigEndian：

Little Endian和BigEndian是表示计算机字节顺序的两种格式，所谓字节顺序是指长度跨越多个字节的数据的存放形式。

举个例子，从内存地址0x0000开始有以下数据

0x0000 0x12

0x0001 0x34

0x0002 0xab

0x0003 0xcd

如果我们去读取一个地址为0x0000的四个字节变量，若字节序为Big Endian，则读出结果为0x1234abcd；若字节序位Little Endian，则读出结果为0xcdab3412。

如果我们将0x1234abcd写入到以0x0000开始的内存中，则结果为

big-endian little-endian

0x0000 0x12 0xcd

0x0001 0x23 0xab

0x0002 0xab 0x34

0x0003 0xcd 0x12

需要特别说明的是,以上假设机器是每个内存单元以8位即一个字节为单位的。

简单的说，Little Endian把低字节存放在内存的低位；而Big Endian将低字节存放在内存的高位。

现在主流的CPU,intel系列的是采用的Little Endian的格式存放数据，而motorola系列的CPU采用的是Big Endian。