汉字标准化述论_孙建伟

汉字标准化述论

孙建伟

（北京师范大学文学院，北京 100875）

摘　要：计算机时代所说的汉字标准化主要指汉字交换码的统一，是汉字规范的要素之一。汉字编码标准化经历了由国家标准到国际标准，再由国际标准实现为国家标准的过程。汉字编码标准目前主要存在以下4个问题：认同规则需进一步科学化，已编码字需进一步考察确认，未编码字需进一步提取，与汉字编码相关的理论问题需进一步探讨。

关键词：汉字 规范 标准 编码

Summary and Comment on Standardization of Chinese Characters

SUN Jian-wei

（School of Chinese Language and Literature, Beijing Normal University, Beijing 100875 ）

Abstract: In computer age, the Chinese characters standardization mainly refers to unification the Chinese characters exchange code, which is one of the elements of Chinese characters norm . Chinese characters coding standardization developed form national standards to international standards, then to national standards. Nowadays, Chinese characters coding standard mainly has four questions: identification rules needs to be more scientific, encoded words need to be further reviewed and confirmed, no coding words need to be extracted, and theoretical problems about the Chinese characters coding need to be deeper discussed.

Keywords: Chinese characters , norm standard , coding

1 汉字规范与汉字标准化

汉字自产生起，便与“规范”结下了不解之缘。一般认为秦朝的“书同文”是对汉字首次系统的规范，汉许慎著《说文解字》的目的之一即针对当时“俗儒啚夫，翫其所习，蔽所希闻，不见通学，未尝睹字例之条……人用己私，是非无正，巧说邪辞”[1]等用字混乱现象。魏晋南北朝至唐初，社会动乱，汉字使用的混乱局面又到了一个高峰。《颜氏家训?杂艺篇》云：“北朝丧乱之馀，书迹鄙陋，加以专辙造字，猥拙甚于江南。”[2] 《字林》、《玉篇》、《千字文》在改变这种状况方面功不可没。此外，尽管“正始三体石经”的主要目的是“以弘儒训，以重儒教”，但石经文字有校正文献内容与文字、书体之功用，在汉字规范方面同样功不可没。唐时更加重视对社会用字的规范，汉字规范工作进入了一个新的历程，即“字样学”的建立和发展，《干禄字书》、《五经文字》、《九经字样》均因此而成。同魏晋石经一样，唐代“开成石经”在字形规整、统一方面也功勋非凡。到宋时雕

作者简介：孙建伟（1984-）男，北京师范大学文学院博士生。主要研究方向为汉语言文字学。

29

版技术兴起，汉字的规范程度较之前有了很大的进步。明清之际，相关字书的编纂，比如《字汇》、《正字通》、《康熙字典》等，都对当时的社会用字有很强的规范作用。到了上世纪，汉字规范更是取得了前所未有的成绩，汉字拼音标记、汉字简化、异体字整理、新旧字形的处理等。

纵观传统的汉字规范，其所涉及的问题主要是汉字的形、音、义、序、用，而自上世纪80年代以来，随着计算机技术的飞速发展，汉字的规范涉及到一个新问题，即如何统一汉字的交换码。汉字要想实现数字化，就必须有科学合理的输入码、内码、交换码以及字型码。不同的计算机系统之间要想通畅地处理汉字信息，则需要统一制定的交换码。汉字交换码指不同的具有汉字处理功能的计算机系统之间在交换汉字信息时所用的代码标准。于是，计算机时代的汉字规范新增了一个规范的要素：码的规范。上世纪50年代国家提出过汉字标准化，主要指“四定”，即定量、定形、定音、定序；而到计算机时代，汉字标准化则主要指汉字计算机交换码的统一。只有完全一致的汉字交换码，才能使得使用汉字的不同国家、地区间畅通无阻地交流信息。

2 汉字标准化的进程

字符的编码是信息处理的基础，汉字编码程度的高低直接决定着汉字在当今社会中的地位，同时也直接影响着我国社会、经济等各方面的发展。上世纪60年代初，美国便已制定了英文字母和数字的国家标准，全称为《美国信息处理交换用字符编码标准》，简称ASCII码（后来国际标准化组织将其定为国际标准ISO 646）。就汉字计算机编码而言，总体上来说是从国家标准到国际标准，再从国际标准到国家标准这样一个过程。

2.1 汉字信息技术编码国家标准

1978年，日本基于ISO 2022制定了世界上最早的汉字编码字符集JIS C 6226。我国对汉字的统一编码主要有两个，一是大陆的GB码系列，一是台湾的工业标准BIG5码。

1980年，大陆地区公布了GB 2312-80《信息交换用汉字编码字符集 基本集》[3] ，1981年正式实施，这是我国首个汉字统一编码字符集。收字标准上，《基本集》主要参考了《第一批异体字整理表》（1955），《简化字总表》（1964），《印刷通用汉字字形表》（1965）等相关汉字规范标准，同时依据当时社会信息处理的需要，按汉字使用频度的高低、构词能力的强弱等为参照原则；字形上，《基本集》以《印通表》为准，《印通表》缺的字以《新华字典》（1979）、《现代汉语词典》（1979）、《辞海》（1979）为参考；读音上，《基本集》以《普通话异读词三次审音总表初稿》（1963）为准，《初稿》缺的以《汉字正字小字汇（初稿）》（1966）、《新华字典》、《现代汉语词典》、《辞海》为参照。《基本集》采用一字一码的原则，共收录7,445个字符，非汉字符号682个，汉字6,763个。所收汉字又分为两级，第一级汉字3,755个，以汉语拼音字母顺序排列，同音字以笔画顺序排列，起笔相同的按第二笔，置于16区至55区；第二级汉字3,008个，按部首排列，同笔画数的字再按起笔顺序排列，置于56区至87区。《基本集》是我国第一个汉字计算机编码标准，是我国信息技术领域的重要基础标准。这一标准在推动汉字信息化和整个社会的信息化中具有极其重要的价值，它奠定了我国中文信息处理技术发展的基础。

其后又不断扩充《基本集》，制定相关辅助集，即基本集以外的汉字编码字符集。主要有GB 12345-90《信息交换用汉字编码字符集 第一辅助集》，GB 7589-87《信息交换用汉字编码字符集 第二辅助集》，GB 13131-91《信息交换用汉字编码字符集 第三辅助集》，GB 7590-87《信息交换用汉字编码字符集 第四辅助集》，GB 13132-91《信息交换用汉字编码字符集 第五辅助集》，GB 16500-98《信息交换用汉字编码字符集 第七辅助集》，SJ 11239-01《信息交换用汉字编码字符集 第八辅助集》。其中，《基本集》、《第二辅助集》、《第四辅助集》是简体字集，《第一辅助集》、《第三辅助集》、《第五辅助集》分别是前三者的繁体字映射集，对应的简繁体字在两个字集中编码相同。上面6个字符集统一采用双7位编码方式，每个7位选取94个编码位置，也就是每个字符集分为94个区位，前15区为非汉

30

字区或保留待用，16区至94区为汉字区。《第七辅助集》收录了GB 13000.1未收录的3,778个汉字，依照GB 13000.1的排列顺序排列；《第八辅助集》收录了GB 2312和GB 7590之外的2,501个汉字。

为了推动国字标准化政策实施，自1969年起，台湾“教育部”奉“中央”指示，开始运用比较科学的方法整理国字。1970年，“教育部”制定了“研订公布常用字、制定标准字体，以划一印刷字体字模”的政策。1973 年，“教育部”正式委托台湾师范大学国文研究所成立项目小组，负责研订国民常用字及标准字体。1975年9月15日“教育部”社教司印行《国民常用字表初稿》，分赠各界参考，共收4,709字。1982年又颁布了《常用国字标准字体表》（4,808字）和《次常用国字标准字体表》（6,341字）。1983年10月，“教育部”印行《罕用国字标准字体表》（18,388字）。1984年3月，“教育部”印行《异体字表》（18,588字，补遗22字）。1994年7月，“教育部”编订《国字标准字体<教师手册>》，供教育界教学参考。1995年5月颁布《常用国字标准字体笔顺手册》，规定国字标准的笔顺写法。1997年颁布《国字标准字体研定原则》。在进行汉字整理与规范的同时，台湾地区也着手推进汉字的统一编码。1983年，台湾“国家科学委员会”、“教育部国语推行委员会”，“中央标准局”等共同制定了《通用汉字标准交换码》（CNS 11643-83），经过修订后于1992年以《中文标准交换码》（CNS 11643-92）的名称公布。BIG5码正是在上面标准的基础上编制而成的内码，采用双字节编码方案，共收录汉字13,060个。其中常用字5,401个，具体有常用《标准字体表》的4,808个，教科书常用的587个，异体字6个。BIG5码是目前台湾、香港地区使用非常普遍的区域性编码标准。

除中国外，日本、韩国、越南等国，也有自设的汉字交换码，致使汉字编码上莫衷一是，各抒己见，给汉字信息化以及各国、地区间的信息、文化交流带来极大的不便。这种汉字使用“书同文”难以实现的背景下，势必要求实现“编同码”，于是便催生了汉字国际统一编码。

2.2 汉字信息技术编码国际标准

为了从根本上解决全世界所有不同文种之间的信息交换，1984年国际标准化组织（ISO）文字编码委员会（SC2）决议制定出统一的编码规格来处理世界上的文字，同时成立工作小组（WG2）。此编码最初的构想是采用16位，将中国、日本等国的汉字编码原则照实采用，但这样无法实现大一统。后于1989年提出将各国汉字统合的构想，1990年完成了ISO 10646的草案，但这个构想仍是各汉字使用区分别编码，于统一大计无益，后被否决。除ISO 10646项目外，由多语言软件制造商组建的统一码联盟（Unicode Consortium）也致力于创建不同文种的统一编码。两项目最初采用了不同的标准，从1991年开始，统一码联盟与WG2达成协议，计划制定全球统一编码字符集，并成立了中日韩联合研究小组。

该小组重新定义规范、制定ISO 10646统一码。1993年，国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会第二分委员会（SC2，负责字符集及信息编码）下属的第二工作组（WG2）共同发布了一个编码标准ISO/IEC 10646.1-1993，即Universal Multiple-Object Code Character Set（UCS，大陆译为《信息技术通用多八位编码字符集》，台湾译为《广用多八位编码字符集》）。它将全球范围内迄今为止尚存的语言按其文字进行统一编码，其宗旨即为全球所有文字统一编码，支持世界各国文字信息的统一处理。这一体系中，表意文字工作组（IRG）制定了CJK《中日韩统一表意文字》，较好地解决了汉字使用区各自为阵所造成的问题，从而极大地便利了数字出版、网页显示、古籍数字化及多语言交际等活动，也为全球数字图书馆的建设和资源共享奠定了基础。

“CJK统一汉字字符集”与工业标准Unicode码完全兼容，其1.0版本《中日韩统一表意文字》共收汉字20,902个，每组均按中国大陆、台湾、日本、韩国这样的顺序排列，通过预先制定的认同规则，为认同之后的文字编制唯一的计算机交换码。CJK字符集所收的字主要来源于中国大陆的《基本集》、《第一辅助集》、《第三辅助集》、《第五辅助集》、《第七辅助集》、《第八辅助集》。《第二辅助集》、《第四辅助集》的简化字大多是从《第三辅助集》、《第五辅助集》的繁体字类推而来，实用性很小，因此没有参与CJK的甄选和认同，这

31

也是《汉语大字典》等工具书收录的部分类推简化字无法录入电脑的原因所在，台湾的《中文资讯交换码》（CCCII）中的常用字集、《通用汉字标准交换码》（CNS 11643）中的常用汉字集、次常用字集、使用者加字区字集，日本的《信息交换用汉字字符集》（JIS X 0280-90）、《信息交换用汉字辅助集》（JIS X 0212-90），韩国的KS C 5601-87、KS C XXXX-91（草案）。经过统一的认同规则，整理收集了20,902个汉字，采用多8位编码方式，排序方式以《康熙字典》、《大汉和辞典》、《汉语大字典》、《大字源》4种大字典的合并偏旁部首为序。

其后，CJK字符集又不断扩容，现已完成的有扩展A区（2000年，6,582字）、扩展B区（2001年，42,711字）、扩展C区（2003年，4,149字）、扩展D 区（2010年，222字，又称作“急用汉字”），扩展E 区已提交，计有1,303字，扩展F区的搜集工作已经展开。至2012年发布的CJK 6.1版本，共收录汉字74,617个，这里面尚不包括扩展E区、扩展F区的汉字。

2.3 汉字信息技术编码国际标准的国家化

虽然CJK字符集包含了GB 2313-80中的全部汉字，但两者的编码和排列方式完全不同，也意味着CJK字符集与国内已有计算机系统不兼容。《中日韩统一表意文字》发布之后，为了实现与国际接轨，国内先后制定了GB 13000.1-93、GBK、GB 18030-2000等3个规范标准。这3个标准中的第一、第三为国家标准，GBK为国家规范。

1993年，我国等同采用了ISO/IEC 10646-1的标准，制定了GB 13000.1-93《信息技术 通用多八位编码字符集（UCS）第一部分：体系结构与基本多文种平面》。从性质上来说，该标准是ISO 10646.1-1993国际标准的国家化，收录了《简化字总表》（1988）、《现代汉语通用字表》（1988）中的全部汉字，与GB 2312-80《基本集》完全兼容，共有汉字和偏旁21,003个。但由于此编码体系与我国现已通用的操作系统、外部设备等不兼容，因此，这个标准的施行需要一个过程。

GB 13000.1-93是国际标准的国家化，还不能够直接作为工业实践中的具体操作规范。1996年，国家制定并发布《汉字内码扩展规范1.0版》（GBK），是GB 2312-80标准的扩展规范，采用双字节编码方案，共23,940个码位，收录汉字21,003个，包容了台湾地区BIG5中的全部汉字，支持国际标准ISO/IEC 10646-1以及国家标准GB 13000.1中的全部中日韩汉字，其中GB 2312-80部分的汉字和符号保持不变，其余的按CJK顺序排列。微软1995后的操作系统，简体中文版大都支持GBK编码方案。总体上说来，GBK并非国家标准，而是技术规范指导性文件，是从GB 2312-80向ISO/IEC 10646-1过渡的规范。

此后，于2000年又发布了GB 18030-2000《信息技术 信息交换用汉字编码字符集 基本集的扩充》，是继GB 2312-80、GB 13000.1-93之后最重要的汉字编码标准。该标准双字节部分收录了GB 13000.1的全部CJK统一汉字字符，GB 13000.1的CJK兼容区挑出来的21个汉字，此外还有其他非汉字符号；四字节部分还包括CJK统一汉字扩充A在内的GB 13000.1中的全部字符，最终形成包括27,484个汉字在内的兼容性、前瞻性并重的方案。技术支持上，GB 18030-2000涵盖了GBK的所有内容，因此，GB 18030-2000是大陆最新的通用字符集。因原始GB 13000.1字符集业界并未使用，从而GB 18030-2000在技术上兼容的是GBK而非GB 13000.1。

随着CJK统一汉字字符集的不断扩容，GB 18030-2000也进一步扩展。2005年，国家修订了GB 18030-2000，发布了GB 18030-2005《信息技术 中文编码字符集》。GB 18030-2005标准与第一版相比，增加了编码汉字的数量，四字节部分增收了CJK扩展B区的汉字，共收录汉字70,244个，是目前我国收录汉字最多的国家标准。

3 汉字标准化存在的主要问题

目前已经编码的汉字有75,000之多，对于一般情况下的汉字使用来说足够了，但对于更深层次的应用和研究来说，是远远不够的。目前来看，对于CJK统一汉字字符集的研究多限于CJK本身，而我们也需要对更重要的一些问题进行研究。

3.1 认同规则有待清理

随着汉字编码的国际化，各国各地区所适用的同一个字只能有一个计算机交换码的情况下，就需要对来自不同地区的汉字进行认同。《CJK汉字的认

32

同程序和排序》中，有对CJK汉字认同范围、程序、原则等的详细图解，就现有研究来看，该规范有进一步清理的必要。具体操作上，需要我们将已编码字与认同规则逐条对照，看现有规则合理与否，不合理的就需要重新考虑、重新归纳。

3.2 已编码字字形有待逐一考察

总体上来看，中国大陆所提交编码的汉字，除了已经系统整理过的《基本集》、《现代汉语通用字表》、《简化字总表》等国家发布的规范字表外，大量的是出自《康熙字典》、《汉语大字典》、《词源》、《辞海》、《汉语大词典》、《现代汉语词典》、《汉语方言大词典》、《殷周金文集成引得》、《中华字典》等工具书以及《中国大百科全书》、《四库全书》等实际文献，这些工具书及实际文献中的字形将直接影响CJK字表的质量。就目前的研究水平来看，我们对上述工具书和普通文献中的文字的形体、字际关系的整理是非常初步的。《汉语大字典》（第二版）可以说是目前对楷字整理的最新、最高水平的成果，但其字头形体、字际关系等仍然问题重重，其余的工具书所收录的汉字亦难免此种问题。

具体来说，需要首先整理相关工具书中所收录的文字的形体、字际关系，梳理每一个汉字在历代字书中的流变情况，再拿已编码的汉字跟梳理的结果一一比对，以便验证编码字正确与否。杨宝忠《ISO-10646 国际编码字符集存在的问题》[4] 一文，从字形、简化、笔画数、归部、部首写法等7个方面，对扩展B区的汉字进行了研究。此外，杨氏的《台湾<次常用国字标准字体表>存在的问题——以<丙表>心部字为例》[5] 一文，对国字标准字体《次常用字表》从收字、字形、排序等多个角度进行研究。客观上来说，每个现有字表都需要从其本身出发，结合收字来源，逐一考察。

3.3 未编码字需要进一步提取

尽管已编码汉字有75,000之多，但事实上我们会发现，古代文献中仍然有不少字是未经编码的。摆在我们面前的任务十分繁重，我们必须尽快整理出汉语文献中的未编码字，以实现全汉字编码的宏愿。从操作层面而言，我们需要先整理字书中的汉字。一般来说，楷体汉字整理对象主要有两大部分，一类是普通文本，一类是字书。与普通文本相比较，字书中的字头具有较丰富的信息，因为字书中的字头大多是字书编纂者从实际文本中搜集出来并整理过的，具有形体、读音、意义、结构、排序、正俗等多种属性，这些属性是全面整理汉字的基础和快捷方式。通过整理字书中的字头及与之相关的信息，一方面可以在短时期内用最少的材料提取尽可能多的字头，另一方面可以获取大量相关文字的属性。从操作层面而言，对汉字进行整理时，先整理字书中的文字，再整理普通文本中的文字，是合乎科学规律的。整理出字书中的未编码字后，再对普通文本中的用字进行全面、系统的清理。因为涉及的数据量非常大，对整理者的要求也更高。

3.4 进一步深入汉字相关理论研究

汉字国际编码中的重要理论问题，比如什么是一个字，如何定义字的相关单位，对这些问题的不同回答，都会影响认同规则，而认同规则的不同则直接关系到某些字是否已经编码，某些字是否需要编码。此外，跟认同规则相关的，需要探究广义汉字研究相关问题，只有从使用汉字的各主体出发去考察，才能制定出合理又科学的认同规则。

许慎.说文解字[M] .北京：中华书局，1963.

颜之推.颜氏家训[M]. 北京：北京燕山出版社，1995.

中国标准出版社编.字符集和信息编码国家标准汇编（上、下）[M].北京：中国标准出版社，1998.

杨宝忠. ISO-10646国际编码字符集存在的问题[J]. https://www.360docs.net/doc/e6464124.html,/CDF/.

杨宝忠.台湾<次常用国字标准字体表>存在的问题——以<丙表>心部字为例[J].河北大学学报（哲学社会科学版），2011（4）.

参考文献

[1]

[2]

[3]

[4]

[5]

（责任编辑：邵雅文）

33