唯有处理好面前中翰墨符集存在的各样问题，咱们的历史文件才能在数字媒体上不打扣头地陈述信得过的中国故事。而字符集问题的处理，关于现时干系专科规模来说，并非极其繁难之事。

　　中国传统文化的基本载体是历史文件，唯有通过这些第一手文件的阅读，东说念主们才能战斗确切的传统文化。关联词，受限于中翰墨符集修复的发展水平，咱们的历史文件在当下主流信息传播平台上存在说话艰难，主要发扬为三方面的问题。

“一字多码”，使得传统文化的数字传播与应用受损

　　电脑字符勾搭的每个字符，都应该唯有一个独一编码，才能被进行灵验的数字处理。但是，当今的电脑通用字符勾搭有不少翰墨单元与码位不独一双应的情况。这一问题，主如若由于在中日韩结伙进行字符集编码进程中、各家都但愿我方的惯用字形尽可能充分进入字符集而形成的。这些字，多为历史文件中的常用字，且常常是退却易隔离互相的构形微别字，如“户”、“戶”与“戸”，“宫”与“宮”。这种构形微别字同构形相反显著的异体字、繁简字不同，后二者如“铺（内码8216）”与“舗（内码8217）”，“汇（5F59）”与“彚（5F5A）”，由于构形上存在显著相反，在输入时很容易被隔离开来；而构形微别字在输入进程中，因为有这种一字多码的输入源，很容易导致同字却使用不同内码字的情况。由此，东说念主们在收罗或干统统据库查找文件时，就会出现以下情况：该找到的找不到，该搜王人的搜不王人，而查找搜索者却误认为这等于确切检索戒指，传统文化矿藏的应用无形中被打了扣头。如“文渊阁四库全书”（“Complete Library in Four Branchesof Literature”），是一个相等预防区别异体字、反应文件原貌的电子古籍检索系统，但也未免因同字多码问题而导致全文检索的舛讹。如“彝（5F5D）”，另有三个不同编码而同字者：彛（5F5B）、彜（5F5C）、彞（5F5E）。如果全文检索“彝（5F5D）”，匹配的戒指是32041个，但是用另外三个字形彛（5F5B）、彜（5F5C）、彞（5F5E）去全文检索，匹配项却唯有22054，也等于说，文件检索规模内另有9987个“彝”的文例失检。再如在“国粹各人”网上检索“户”，得到93349个检索戒指，而输入“戸”，则唯有24046个检索戒指。

　　而尤当引起防御的是，即使在面前最通用的GBK字符勾搭，一样的同字多码者也好多，除了上举一字四码者外，一字三码的情况如：

    娱（5A1B）娯（5A2F）娱（5A31）

    揺（63FA）搖（6416）摇（6447）

    吳（5433）吴（5434）呉（5449）

    奨（5968）奬（596C）獎（734E）

    户（6236）户（6237）戸（6238）

    挿（633F）插（63D2）揷（63F7）

    一字二码的数目愈加可不雅：

    执（634F）揑（63D1）；

    尙（5C19）尚（5C1A）；

    尓（5C13）尔（5C14）；赵小贝

    尪（5C2A）尫（5C2B）；

    捜（635C）搜（641C）；

    尶（5C36）尴（5C37）；

    寜（5BDC）寧（5BE7）；

    帯（5E2F）带（5E36）；

    掲（63B2）揭（63ED）；

    宫（5BAB）宮（5BAE）；

    孳（5B73）孶（5B76）；

    悳（60B3）惪（60EA）；

    悞（609E）悮（60AE）；

    愼（613C）慎（614E）；

    悅（6085）悦（60A6）；

    恵（6075）惠（60E0）；

    徴（5FB4）徵（5FB5）；

    徳（5FB3）德（5FB7）……

　　仅以上并不无缺的整理，所得多码字合计432个，这仍是占了字符集的终点比例。可念念而知，通过这么一个字符集进行传统文件的数字传播和阅读，不防御一字多码问题的把控，是很难充分应用文件且保证文件不被误读漏检的。

编码汉字的使用受限于现存时期，使得传统文件的收罗阅读失真

　　面前在通用电脑字符勾搭已编码汉字的总和已达74588个，但是除了中枢部分GBK的20902字外，CJK膨胀集的5万多字在数据库中并不可用，无法收场检索、查询、统计等各式处理；而GBK的20902个字和膨胀A的6582个字之外的编码汉字无法收场上网查询。

　　比如在网上查找“（图1）”字（《集韵》“色入切，木茂貌”），而赢得的检索戒指却是“穑”等一些绝不干系的字。形成这种情况的原因很通俗：天然好多汉字仍是编码，在字符集的海外范例中有了正当地位，但是当今的电脑顺次系统却并不跟进这种字符集范例的发展，因而形成绝大多数编码汉字不被兼容。编码字遭受收罗捣毁的戒指，等于检索查找的对象被张冠李戴，传统文件的收罗阅读失真或敬爱错失。表面上说，这个问题应该是不错跟着电脑时期和范例的完善得到处理的，但事实上，改换这种景色。面前还不在咱们的武艺规模内。根柢原因是，电脑时期是一种受海外范例严格制约的时期，而主导这种时期的乃是微软等少数海外时期把持企业。新的字符集范例天然仍是出台，但这些企业却能决定全国上各个电脑末端是否摄取这种范例。跟进这种新字符集范例需要的参加，比较其受众面窄而势必导致的微弱产出，决定了企业面前不会去选拔活动。这等于面前数据库、互联网不守旧占编码汉字绝大部分的膨胀字符集的根柢原因。极端要引起防御的是，仍是认真在海外范例字符勾搭赢得正当地位的汉字，竟有70%以上还在遭受这种“回击允待遇”，这对我国传统文化的数字传播形成的负面影响是难以量度的。

古翰墨编码缺位，使最具历史厚度的传统文化资源成为收罗传播盲区

　　面前海外范例电脑字符勾搭仍是编码的汉字，或者说通用字符勾搭已有的汉字，相对汉字发展史上原有的汉字，有着宽广的遮掩盲区。处于盲区的汉字，无法在通用的电脑末端、手机上赢得处理。这种情况，在古翰墨文件中发扬得尤为隆起。

　　以《新甲骨文编》（纠原来)为例，该书正编2268字，其中796字是集外字：

　　挨僾賹譺谙啽埯抝墺仈坺覇佰薭舨捠谤襃賲藵靤虣喺偝惫辈愂誖崩埲逬偪柀胇觱藊覍缏辪杓褾摈擯冫梹僠撥侼舶蔔捕勏乲惭蠺賶乽拆勑谗缠产谄讇椙腸……

　　而该书附录的1224字目全属集外字，即一王人3492字目中属集外字的有2020个。据此不错不详判断，甲骨文中的集外字约占60%。甲骨文如斯，其他类型古翰墨文件也存在一样情况。字符的大片缺位，导致大宗罕有古翰墨文件的收罗阅读无法信得过收场。面前传世文件，仍是基本不错收场收罗检索，而出土古翰墨文件则基本处于收罗资源的盲区，咱们若依靠收罗来阅读、检索甲骨卜辞，戒指会令东说念主缺憾：比如在“国粹各人”网查《甲骨文告籍》第六片，即会发现8个集外字开了天窗（上图框红者）。

　　很显著，唯有处理好上述各样字符集问题，咱们的历史文件才能在数字媒体上不打扣头地陈述信得过的中国故事。而字符集问题的处理，关于现时干系专科规模来说，并非极其繁难之事。主要的问题是，咱们需要顽强到此事的症结性，运行积极选拔措施。在这方面，政府的顶层缱绻和战略招引会起到要道作用。

　　天然，问题的具体处理，还需要区别情况分别对待。最初，对“一字多码”问题，不错开荒针对性的输入法，用领导多码字的表情来匡助输入者回避不妥翰墨输入，收场各内码字同传统文件的精确对应；在收罗数据库检索的门径，则不错通过开荒灵验的同字多码认可顺次来保证检索数据的准确性。

　　其次，对第二类问题，即膨胀字符的收罗和数据库使用艰难问题，针对性的顺次开荒是处理问题的上策。

　　关于第三类问题，即如何补充字符集缺口，问题会复杂一些。事实上，汉字古翰墨在海外范例字符勾搭的编码，在中国的股东下，于本世纪初即已运行，但因为是在干系海外范例化组织框架下运作，碰到了不少问题，于今并莫得本色性进展。鉴于这种情况，咱们不妨先走国标阶梯，即先为中国历史文件的集外字收场中国范例的长入编码，在情况允许时，再使之与海外范例对接。面前，干系酌量规模都是摄取字体时期来应付这一难题，其重心等于应用通用GBK字符勾搭古翰墨文件用不到的字符码位，来填入该字符集本不包含的那些集外字，以“鸠夺鹊巢”的表情，来构建一个对应古翰墨文件用字的新字符集。这方面，如华东师范大学中国翰墨酌量与应用中心开荒的新版“翰墨网”古翰墨文件数字平台，就对集外字的编码与检索作念了长入范例的灵验尝试，收场了已公布古翰墨文件的全面整理与一王人文件用字的检索清晰，取得了较为丰富的训导。该“翰墨网”系列古翰墨文件数据库分别为甲骨文、金文、楚简、秦简等数据库配备极端字体，关于环球整个电脑末端来说，只须下载这些字体，数据库的使用就不错得到王人备守旧。何况，华东师大翰墨中心以该系列数据库为根基的出土文件智能翰墨识别释读系统“文镜万象”系列正在开荒中，其中“商周金文智能镜”日前已举行发布会，这一效果具有以下新功能——收场翰墨过火各式属性的系统识别，收场成篇翰墨材料的合座性识别，收场翰墨载体的特征性影像的识别。“商周金文智能镜”通过字形识别来买互市周金文各样数据关联对接，周转数字化营造的商周金文大数据系统，股东商周金文酌量迈向智能化期间。由上述酌量效果不错看出，字体研发上的训导，关于促成范例字符集出台及出台后的科学使用，具有相等积极的敬爱。

阅读原文

作家｜刘凌 刘志基(华东师范大学中国翰墨酌量与应用中心)

泉源｜文讲演

剪辑｜郑海容

编审｜吴潇岚

• 赵小贝
• 文讲演
• 期间
• 数字化
• 如安