常用字符集编码详解：ASCII 、GB2312、GBK、GB18030、...
GB2312GB_13000_GBKGB18030介绍讲解
1、GB2312、GB 13000、GBK、GB18030 介绍GB 2312：又称为GB 2312-80，是一个简体中文字符集的中国国家标准，于1980年由中国国家标准总局发布，1981年5月1日实施，全称为《信息交换用汉字编码字符集基本集》，规定了6763个汉字和682个非汉字图形。
GB 13000：为了便于多个文种的同时处理，国际标准化组织下属编码字符集工作组研制了新的编码字符集标准，ISO/IEC 10646。
该标准第一次颁布是在1993年，当时只颁布了其第一部分，即ISO/IEC 10646.1: 1993，我国相应的国家标准是GB 13000.1-93《信息技术通用多八位编码字符集(UCS) 第一部分：体系结构与基本多文种平面》。
制定这个标准的目的是对世界上的所有文字统一编码，以实现世界上所有文字在计算机上的统一处理。
GBK：随着信息技术在各行业应用的深入，GB 2312 收录汉字数量不足的缺点已经初步显露出来。
例如："镕"字现在是高频率使用字，而GB 2312 却没有为它编码，因而，政府、新闻、出版、印刷等行业和部门在使用中感到十分不便。
1995年，全世界大多数的PC 操作系统都实现了16/32 位。
GB 13000.1 的实现出现了一线曙光。
一方面为了对GB 2312 进行扩充，一方面顺应当时技术的发展向GB 13000.1 推进，同时兼顾当时最广泛采用GB 2312 内码系统。
原电子部和原国家技术监督局联合颁布了指导性技术文件《汉字内码扩展规范》1.0版，即GBK 。
在GBK的内码系统中，GB 2312 汉字所在码位保持不便，这样，保证了GBK 对GB 2312 的完全兼容。
同时，GBK 内码与GB 13000.1 代码一一对应，为GBK 向GB 13000.1 的转换提供了解决办法。
微软对GB 2312 的扩展，也就是CP936 字码表(Code Page 936)的扩展（原来的CP936 和GB 2312-80 一模一样），最初出现于Windows 95 简体中文版中。
汉字编码字符集
汉字编码字符集汉字编码字符集是指用于表示和存储汉字的一套编码系统。
在计算机领域，为了能够准确地表示和处理汉字，人们设计了多种不同的汉字编码字符集。
本文将介绍几种常见的汉字编码字符集，包括GB2312、GBK、Unicode以及UTF-8。
一、GB2312GB2312是中国国家标准局于1980年发布的一种汉字编码字符集，是最早被广泛使用的汉字字符集之一。
GB2312字符集包含了7445个汉字和682个非汉字字符，采用双字节表示每个字符。
其中，第一个字节的范围是0xB0至0xF7，第二个字节的范围是0xA1至0xFE。
GB2312字符集主要适用于简体中文。
二、GBK随着计算机技术的发展和汉字数量的增加，GB2312字符集的容量已经无法满足需求。
为了解决这个问题，国家标准局于1995年发布了GBK字符集，它是对GB2312字符集的扩充和改进。
GBK字符集兼容GB2312字符集，同时加入了21003个汉字，总计包含了21886个汉字。
GBK字符集同样采用双字节表示每个字符，第一个字节的范围是0x81至0xFE，第二个字节的范围是0x40至0xFE。
GBK字符集支持简体中文和繁体中文。
三、UnicodeUnicode是一种国际标准字符集，旨在为全球所有字符提供唯一的编码。
Unicode采用16位的编码方案，可以支持最多65536个不同的字符。
不仅包括了各个国家语言的文字，还包括了数学符号、技术符号、图形符号等。
Unicode字符集为各种语言的文字提供了一个统一的编码标准。
四、UTF-8UTF-8是一种可变长度的Unicode编码方案，更好地解决了存储效率和兼容性的问题。
UTF-8使用1至4个字节来表示一个字符，根据不同的字符而变化。
对于单字节的字符，编码和ASCII码相同，兼容ASCII码。
对于多字节的字符，第一个字节的高位标识了字节数。
UTF-8字符集可以表示Unicode字符集中的所有字符。
在计算机系统中，为了使不同的系统能够正确地处理汉字编码，一般需要统一选择一种字符集来使用。
信息技术中文编码字符集
信息技术中文编码字符集一、什么是中文编码字符集中文编码字符集是一套用来对汉字进行编码和存储的规则集合。
由于汉字的数量庞大，需要使用编码方式来表示每个汉字的唯一标识。
中文编码字符集的出现解决了中文在计算机中的表示和处理问题。
二、历史背景2.1 ASCII码ASCII码是最早的编码字符集，它采用了7位二进制来表示128个字符，包括英文字母、数字和一些符号。
然而，ASCII码无法表示汉字，因此无法满足中文的编码需求。
2.2 GB2312为了解决汉字编码问题，中国制定了GB2312字符集，它是一种双字节编码方案。
GB2312字符集使用了16位来表示每个汉字，可以表示6763个常用汉字。
GB2312字符集的出现使得中文在计算机中的处理变得可能。
2.3 GBK随着汉字数量的不断增加，GB2312字符集无法满足日益增长的需求。
为了解决这个问题，中国推出了GBK字符集。
GBK字符集在GB2312的基础上增加了新的汉字编码，使得它可以表示21003个汉字。
GBK字符集成为了中文编码字符集的标准，被广泛应用在各种计算机系统中。
2.4 GB18030为了统一国内和国际上汉字编码的标准，中国发布了GB18030字符集。
GB18030是一种多字节编码方案，可以表示广泛的汉字范围。
它兼容GB2312和GBK字符集，并且还包括了更多的汉字和国际字符。
三、Unicode编码3.1 Unicode的出现尽管GBK字符集在国内广泛使用，但在国际间存在兼容性问题。
为了解决这个问题，国际组织制定了Unicode编码标准。
Unicode编码使用32位编码方式，可以表示所有的字符，包括汉字和国际字符。
Unicode编码为全球各个国家提供了一种统一的字符编码方案。
3.2 UTF-8由于Unicode编码使用32位，传输和存储上存在很大的不便。
为了解决这个问题，UTF-8编码应运而生。
UTF-8编码采用变长字节表示字符，比如对于ASCII字符，只需一个字节表示，而对于汉字需要3个字节或4个字节。
各种文字编码简介+常见的编码都有介绍
各种文字编码简介ASCIIASCII码是7位编码，编码范围是0×00-0×7F。
ASCII字符集包括英文字母、阿拉伯数字和标点符号等字符。
其中0×00-0×20和0×7F共33个控制字符。
只支持ASCII码的系统会忽略每个字节的最高位，只认为低7位是有效位。
HZ字符编码就是早期为了在只支持7位ASCII系统中传输中文而设计的编码。
早期很多邮件系统也只支持ASCII编码，为了传输中文邮件必须使用BASE64或者其他编码方式。
GB2312GB2312是基于区位码设计的，区位码把编码表分为94个区，每个区对应94个位，每个字符的区号和位号组合起来就是该汉字的区位码。
区位码一般用10进制数来表示，如1601就表示16区1位，对应的字符是“啊”。
在区位码的区号和位号上分别加上0xA0就得到了GB2312编码。
区位码中01-09区是符号、数字区，16-87区是汉字区，10-15和88-94是未定义的空白区。
它将收录的汉字分成两级：第一级是常用汉字计3755个，置于16-55区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字计3008个，置于56-87区，按部首/笔画顺序排列。
一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。
GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。
可以用繁体汉字测试某些系统是不是只支持GB2312编码。
GB2312的编码范围是0xA1A1-0×7E7E，去掉未定义的区域之后可以理解为实际编码范围是0xA1A1-0xF7FE。
EUC-CN可以理解为GB2312的别名，和GB2312完全相同。
区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。
常用字符集编码详解：ASCII、GB2312、GBK、GB18030、...
ASCIIASCII 码是7位编码，编码范围是0x00-0x7F ASCII 字符集包括英文字母、 阿拉伯数字和标点符号等字符。
其中 0x00-0x20和0x7F 共33个控制字符。
只支持ASCI 码的系统会忽略每个字节的最高位，只认为低 7位是有效位。
HZ 字符编码就是早期为了在只支持 7位ASCII 系统中传输中文而设计的编码。
早期很多邮件系统也只支持ASCII 编码，为了传输中文邮件必须使用 BASE64或 者其他编码方式。
GB2312GB2312是基于区位码设计的，区位码把编码表分为 94个位，每个字符的区号和位号组合起来就是该汉字的区位码。
10进制数来表示，如 1601就表示 16区1 位，对应的字符是 区号和位号上分别加上0xA0就得到了 GB2312编码。
区位码中 01-09区是符号、数字区， 16-87区是汉字区，未定义的空白区。
它将收录的汉字分成两级：第一级是常用汉字计 3755 个，置于 16-55 区，按汉语拼音字母 /笔形顺序排 列；第二级汉字是次常用汉字计 3008 个，置于 56-87 区，按部首 /笔画顺序排 列。
一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中 的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。
GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片 假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。
可以 用繁体汉字测试某些系统是不是只支持 GB2312编码。
GB2312的编码范围是0xA1-0x7E 去掉未定义的区域之后可以理解为实际 编码范围是 0xA1-0xF7FE 。
EUC-CN 可以理解为GB2312的别名，和GB2312完全相同。
区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而 94个区，每个区对应 区位码一般用 “啊”。
在区位码的10-15和 88-94是GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。
编码规则和字符集
编码规则和字符集是计算机中用于表示和处理文本数据的重要概念。
编码规则（Encoding）定义了如何将字符映射为计算机内部的二进制数据表示形式。
不同的编码规则采用不同的映射方式，可以表示不同范围的字符集。
字符集（Character Set）是一组字符的集合，它定义了一个编码规则所能表示的字符的范围。
常见的字符集包括ASCII、Unicode等。
下面是一些常见的编码规则和字符集：1. ASCII（American Standard Code for Information Interchange）：ASCII是最早的字符集和编码规则之一，包含128个字符，用7位二进制数表示，包括英文字母、数字、标点符号等常见字符。
2. Unicode：Unicode是一种字符集，包含了全球范围内几乎所有的字符。
它用于表示各种语言文字、符号、表情符号等。
Unicode使用不同的编码规则，最常见的是UTF-8、UTF-16、UTF-32。
其中，UTF-8是较为常用的编码规则，使用1至4个字节表示一个字符，兼容ASCII 字符集。
3. UTF-8（Unicode Transformation Format-8）：UTF-8是一种可变长度的Unicode编码规则。
它使用8位字节表示一个字符，能够表示Unicode字符集中的所有字符。
4. UTF-16（Unicode Transformation Format-16）：UTF-16使用16位字节表示一个字符，能够表示Unicode字符集中所有的字符，包括较为罕见的字符。
除了上述编码规则和字符集，还有一些其它编码规则如GB2312、GBK、Big5等，它们主要用于表示中文字符集。
在处理文本数据时，需要明确所使用的编码规则和字符集，以确保正确地解码和显示文本内容。
如果编码规则和字符集不匹配，就可能导致乱码或无法正确显示文本。
因此，在处理文本数据时，应注意确认输入输出所使用的编码规则，并进行适当的编码和解码操作。
常用的中文编码
常用的中文编码一、引言在计算机领域，中文编码起着至关重要的作用。
无论是输入、输出、存储还是网络传输，都离不开编码的转换。
为了让计算机能够识别和处理中文，我国制定了多种中文编码标准。
接下来，我们将详细介绍几种常用的中文编码，以便大家更好地理解和应用。
二、常用的中文编码概述1.GBK编码GBK（全称为：汉字内码扩展规范）是我国制定的一种汉字编码标准。
它兼容GB2312编码，可以表示大部分现代汉字。
GBK编码的字符集分为两个部分：基本集和扩展集。
基本集包含了GB2312编码中的所有汉字，共计6763个；扩展集则增加了更多的汉字，共计21003个。
GBK编码在我国的政府部门、企事业单位以及众多软件中得到了广泛应用。
2.GB2312编码GB2312编码是我国最早制定的一种汉字编码标准，于1980年发布。
它包含了6763个汉字，主要覆盖了现代汉字的基本需求。
GB2312编码的字符集分为两个部分：基本集和辅助集。
基本集包含了6763个汉字，辅助集则包含了一些特殊符号和拉丁字母。
GB2312编码在我国历史上发挥了重要作用，如今在很多场合仍然可以看到它的身影。
3.BIG5编码BIG5编码（全称为：大五码）是台湾地区制定的一种汉字编码标准。
它包含了13068个汉字，主要覆盖了现代汉字和一些繁体字。
BIG5编码在台湾地区及其周边地区广泛应用，是许多台湾出版的书籍、软件和网站的标准编码。
在大陆地区，BIG5编码也逐渐被GBK和UTF-8编码所取代。
4.UTF-8编码UTF-8编码是一种国际通用的编码标准，可以表示世界上几乎所有的字符集，包括中文、英文、数字、特殊符号等。
UTF-8编码具有兼容性、高效性和扩展性等优点，成为了互联网上最常用的编码之一。
许多国际化的软件和网站都采用UTF-8编码作为默认的字符集。
在我国，UTF-8编码也逐渐成为了一种重要的编码选择。
三、编码转换实例在日常生活中，我们可能会遇到不同编码之间的转换需求。
数据库字符集类型
数据库中常用的字符集类型有以下几种：
ASCII：ASCII（American Standard Code for Information Interchange）是美国标准信息交换码，用于表示英语字符的编码标准。
ASCII 字符集包含128 个字符，包括字母、数字、标点符号等。
UTF-8：UTF-8（Unicode Transformation Format-8）是一种针对Unicode 字符集的可变长度字符编码方案。
UTF-8 支持包括中文、日文、韩文等各种字符，是目前最常用的字符集之一。
UTF-8 中的字符可以使用1 到4 个字节表示，英文字符占用一个字节，中文字符占用三个字节。
UTF-16：UTF-16 是Unicode 字符集的一种编码方案，采用16 位编码表示字符。
UTF-16 中的字符可以使用2 个或 4 个字节表示，英文字符占用 2 个字节，中文字符占用 4 个字节。
GBK：GBK（GuoBiao Kuozhan）是国家标准扩展码的简称，是对汉字进行编码的字符集标准。
GBK 包含了GB2312 字符集的全部字符，并增加了许多繁体字和生僻字。
Big5：Big5 是繁体中文的字符集标准，广泛应用于台湾、香港等地区。
Big5 字符集可以表示繁体中文字符，不包含简体中文字符。
ISO-8859-1：ISO-8859-1（又称Latin-1）是国际标准化组织制定的字符集标准，包含了西欧各国所需的字符。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ASCII
ASCII码是7位编码，编码范围是0x00-0x7F。
ASCII字符集包括英文字母、阿拉伯数字和标点符号等字符。
其中0x00-0x20和0x7F共33个控制字符。
只支持ASCII码的系统会忽略每个字节的最高位，只认为低7位是有效位。
HZ字符编码就是早期为了在只支持7位ASCII系统中传输中文而设计的编码。
早期很多邮件系统也只支持ASCII编码，为了传输中文邮件必须使用BASE64或者其他编码方式。
GB2312
GB2312是基于区位码设计的，区位码把编码表分为94个区，每个区对应94个位，每个字符的区号和位号组合起来就是该汉字的区位码。
区位码一般用10进制数来表示，如1601就表示16区1位，对应的字符是“啊”。
在区位码的区号和位号上分别加上0xA0就得到了GB2312编码。
区位码中01-09区是符号、数字区，16-87区是汉字区，10-15和88-94是未定义的空白区。
它将收录的汉字分成两级：第一级是常用汉字计3755个，置于16-55区，按汉语拼音字母/笔形顺序排列；第二级汉字是次常用汉字计3008个，置于56-87区，按部首/笔画顺序排列。
一级汉字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。
GB2312字符集中除常用简体汉字字符外还包括希腊字母、日文平假名及片假名字母、俄语西里尔字母等字符，未收录繁体中文汉字和一些生僻字。
可以用繁体汉字测试某些系统是不是只支持GB2312编码。
GB2312的编码范围是0xA1A1-0x7E7E，去掉未定义的区域之后可以理解为实际编码范围是0xA1A1-0xF7FE。
EUC-CN可以理解为GB2312的别名，和GB2312完全相同。
区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而GB2312及EUC-CN是实际计算机环境中支持这种字符集的编码。
HZ和ISO- 2022-CN是对应区位码字符集的另外两种编码，都是用7位编码空间来支持汉字。
区位码和GB2312编码的关系有点像Unicode和UTF-8。
GBK
GBK编码是GB2312编码的超集，向下完全兼容GB2312，同时GBK收录了Unicode基本多文种平面中的所有CJK汉字。
同GB2312一样，GBK也支持希腊字母、日文假名字母、俄语字母等字符，但不支持韩语中的表音字符（非汉字字符）。
GBK还收录了GB2312不包含的汉字部首符号、竖排标点符号等字符。
GBK的整体编码范围是为0x8140-0xFEFE，不包括低字节是0×7F的组合。
高字节范围是0×81-0xFE，低字节范围是0x40-7E和0x80-0xFE。
低字节是0x40-0x7E的GBK字符有一定特殊性，因为这些字符占用了ASCII码的位置，这样会给一些系统带来麻烦。
有些系统中用0x40-0x7E中的字符（如“|”）做特殊符号，在定位这些符号时又没有判断这些符号是不是属于某个GBK字符的低字节，这样就会造成错误判断。
在支持GB2312的环境下就不存在这个问题。
需要注意的是支持GBK的环境中小于0x80的某个字节未必就是ASCII符号；另外就是最好选用小于0×40的ASCII符号做一些特殊符号，这样就可以快速定位，且不用担心是某个汉字的另一半。
Big5编码中也存在相应问题。
CP936和GBK的有些许差别，绝大多数情况下可以把CP936当作GBK的别名。
GB18030
GB18030编码向下兼容GBK和GB2312，兼容的含义是不仅字符兼容，而且相同字符的编码也相同。
GB18030收录了所有Unicode3.1中的字符，包括中国少数民族字符，GBK不支持的韩文字符等等，也可以说是世界大多民族的文字符号都被收录在内。
GBK和GB2312都是双字节等宽编码，如果算上和ASCII兼容所支持的单字节，也可以理解为是单字节和双字节混合的变长编码。
GB18030编码是变长编码，有单字节、双字节和四字节三种方式。
GB18030的单字节编码范围是0x00-0x7F，完全等同与ASCII；双字节编码的范围和GBK相同，高字节是0x81-0xFE，低字节的编码范围是0x40-0x7E和0x80-FE；四字节编码中第一、三字节的编码范围是0x81-0xFE，二、四字节是0x30-0x39。
Windows中CP936代码页使用0x80来表示欧元符号，而在GB18030编码中没有使用0x80编码位，用其他位置来表示欧元符号。
这可以理解为是GB18030向下兼容性上的一点小问题；也可以理解为0x80是CP936对GBK的扩展，而GB18030只是和GBK兼容良好。
unicode
每一种语言的不同的编码页，增加了那些需要支持不同语言的软件的复杂度。
因而人们制定了一个世界标准，叫做unicode。
unicode为每个字符提供了唯一的特定数值，不论在什么平台上、不论在什么软件中，也不论什么语言。
也就是说，它世界上使用的所有字符都列出来，并给每一个字符一个唯一特定数值。
Unicode的最初目标，是用1个16位的编码来为超过65000字符提供映射。
但这还不够，它不能覆盖全部历史上的文字，也不能解决传输的问题(implantation head-ache's)，尤其在那些基于网络的应用中。
已有的软件必须做大量的工作来程序16位的数据。
因此，Unicode用一些基本的保留字符制定了三套编码方式。
它们分别是UTF-8,UTF-16和UTF-32。
正如名字所示，在UTF－8中，字符是以8位序列来编码的，用一个或几个字节来表示一个字符。
这种方式的最大好处，是UTF－8保留了ASCII字符的编码做为它的一部分，例如，在UTF－8和ASCII中，“A”的编码都是0x41.
UTF－16和UTF－32分别是Unicode的16位和32位编码方式。
考虑到最初的目的，通常说的Unicode就是指UTF-16。
在讨论Unicode时，搞清楚哪种编码方式非常重要。
UTF-8
Unicode Transformation Format-8bit，允许含BOM，但通常不含BOM。
是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24为（三个字节）来编码。
UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。
UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。
如，如果是UTF8编码，则在外国人的英文IE上也能显示中文，他们无需下载IE的中文语言支持包。
GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。
GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBD大。
GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换：
GBK、GB2312－－Unicode－－UTF8
UTF8－－Unicode－－GBK、GB2312
对于一个网站、论坛来说，如果英文字符较多，则建议使用UTF－8节省空间。
不过现在很多论坛的插件一般只支持GBK。