在计算机硬体中，编码（coding）是指用代码来表示各组数据资料，使其成为可利用计算机进行处理和分析的信息。代码是用来表示事物的记号，它可以用数字、字母、特殊的符号或它们之间的组合来表示

将数据转换为代码或编码字元，并能译为原数据形式。是计算机书写指令的过程，程式设计中的一部分。在地图自动製图中，按一定规则用数字与字母表示地图内容的过程，通过编码，使计算机能识别地图的各地理要素。

n位二进制数可以组合成2的n次方个不同的信息，给每个信息规定一个具体码组，这种过程也叫编码。

数字系统中常用的编码有两类，一类是二进制编码，另一类是十进制编码。

GB编码标準中，比较常用的是GB2312和GBK两种，GB2312是GBK的一个子集，GB2312编码範围是 0xA1A1 - 0xFEFE ，如果纯粹的 GB2312编码，处理起来是十分简单的，但处理GBK字元集时有些小的提示，先说说GBK编码的标準吧：

GBK 採用双位元组表示，总体编码範围为 8140-FEFE，首位元组在 81-FE 之间，尾位元组在 40-FE 之间，剔除 xx7F 一条线。总计 23940 个码位，共收入 21886 个汉字和图形符号，其中汉字（包括部首和构件）21003 个，图形符号 883 个。

1. 汉字区。包括：

a. GB 2312 汉字区。即 GBK/2: B0A1-F7FE。收录 GB 2312 汉字 6763 个，按原顺序排列。

b. GB 13000.1 扩充汉字区。包括：

(1) GBK/3: 8140-A0FE。收录 GB 13000.1 中的 CJK 汉字 6080 个。

(2) GBK/4: AA40-FEA0。收录 CJK 汉字和增补的汉字 8160 个。

CJK 汉字在前，按 UCS 代码大小排列；增补的汉字（包括部首和构件）在后，按《康熙字典》的页码/字位排列。

a. GB 2312 非汉字元号区。即 GBK/1: A1A1-A9FE。其中除 GB 2312 的符号外，

还有 10 个小写罗马数字和 GB 12345 增补的符号。计符号 717 个。

b. GB 13000.1 扩充非汉字区。即 GBK/5: A840-A9A0。BIG-5 非汉字元号、结构符和“○”排列在此区。计符号 166 个。

(1) AAA1-AFFE，码位 564 个。

(2) F8A1-FEFE，码位 658 个。

(3) A140-A7A0，码位 672 个。

第(3)区儘管对用户开放，但限制使用，因为不排除未来在此区域增补新字元的可能性。

一、在php中，字元编码是按所传送的编码为準的，因此使用的就是用户输入的编码，不会自动改变，但在asp中，默认的编码是unicode，这样我们很容易就能得到gbk->unicode的编码对照表，这样即使在毫无基础库的情况下也能很容易的实现gbk到utf-8的转换了；

二、由于GBK是高位最低数值是0x40，即是64，因此，有时候组织一些涉及中文的字串时，分割字元最好用64之前的ascii码，这样在任意情况下替换或分割都不会出现乱码，比较常用的是 ","、";"、":"、" "、" "、" "，这些字元永远都不会给gb编码添乱。

我们日常接触到的档案分ASCII和Binary两种。ASCII是“美国信息交换标準编码”的英文字头缩写，可称之为“美标”。美标规定了用从0到127的128个数字来代表信息的规範编码，其中包括33个控制码，一个空格码，和94个形象码。形象码中包括了英文大小写字母，阿拉伯数字，标点符号等。我们平时阅读的英文电脑文本，就是以形象码的方式传递和存储的。美标是国际上大部分大小电脑的通用编码。

然而电脑中的一个字元大都是用一个八位数的二进制数字表示。这样每一字元便可能有256个不同的数值。由于美标只规定了128个编码，剩下的另外128个数码没有规範，各家用法不一。另外美标中的33个控制码，各厂家用法也不尽一致。这样我们在不同电脑间交换档案的时候，就有必要区分两类不同的档案。第一类档案中每一个字都是美标形象码或空格码。这类档案称为“美标文本档案”(ASCII Text Files)，或略为“文本档案”，通常可在不同电脑系统间直接交换。第二类档案，也就是含有控制码或非美标码的档案，通常不能在不同电脑系统间直接交换。这类档案有一个通称，叫“二进制档案”(Binary Files)。

“国标”是“中华人民共和国国家标準信息交换用汉字编码”的简称。国标表（基本表）把七千余汉字、以及标点符号、外文字母等，排成一个94行、94列的方阵。方阵中每一横行叫一个“区”，每个区有九十四个“位”。一个汉字在方阵中的坐标，称为该字的“区位码”。例如“中”字在方阵中处于第54区第48位，它的区位码就是5448。

其实94这个数字。它是美标中形象码的总数。国标表沿用这个数字，本意大概是要用两个美标形象符代表一个汉字。由于美标形象符的编码是从33到126，汉字区位码如果各加上32，就会与美标形象码的範围重合。如上例“中”字区、位码加上32后，得86,80。这两个数字的十六进制放在一起得5650，称为该字的“国标码”，而与其相对应的两个美标符号，VP，也就是“中”字的“国标符”了。

这样就产生了一个如何区分国标符与美标符的问题。在一个中英文混用的档案里，“VP”到底代表“中”字呢，还是代表某个英文字头缩写？电子工业部第六研究所开发CCDOS的时候，使用了一个简便的解决方案：把国标码的两个数字各加上128，上升到非美标码的位置。（改变后的国标码，习惯上仍叫“国标”。）

这个方案固然解决了原来的问题，可是新的问题随之产生。中文档案成了“二进制档案”，既不能可靠地在不同电脑系统间交换，也不与市场上大部分以美标符号为设计对象的软体兼容。

为了区分以上两种“国标”，我们把原与美标形象码重合的国标码称为“纯国标” ，而把CCDOS加上128的国标码称为“準国标”。

GBK码是GB码的扩展字元编码，对多达2万多的简繁汉字进行了编码，简体版的Win95和Win98都是使用GBK作系统内码。

从实际运用来看，微软自win95简体中文版开始，系统就採用GBK代码，它包括了TrueType宋体、黑体两种GBK字型档（北京中易电子公司提供），可以用于显示和列印，并提供了四种GBK汉字的输入法。此外，浏览器IE4.0简体、繁体中文版内部提供了一个GBK-BIG5代码双向转换功能。此外，微软公司为IE提供的语言包中，简体中文支持（Simplified Chinese Language Support Kit）的两种字型档宋体、黑体，也是GBK汉字（珠海四通电脑排版系统开发公司提供）。其他一些中文字型档生产厂商，也开始提供TrueType或PostScript GBK字型档。

许多外挂式的中文平台，如南极星、四通利方（Richwin）等，提供GBK码的支持，包括字型档、输入法和GBK与其他中文代码的转化器。

网际网路方面，许多网站网页使用GBK代码。

但是多数搜寻引擎都不能很好的支持GBK汉字搜寻，大陆地区的搜寻引擎有些能不完善的支持GBK汉字检索。

其实，GBK是又一个汉字编码标準，全称《汉字内码扩展规範》（Chinese Internatial Code Specification），1995年颁布。GB是国标，K是汉字“扩展”的汉语拼音第一个字母。

GBK向下与GB-2312编码兼容，向上支持ISO 10646.1国际标準，是前者向后者过渡的一个承启标準。

GBK规範收录了ISO 10646.1中的全部CJK汉字和符号，并有所补充。具体包括：GB 2312中的全部汉字、非汉字元号；GB 13000.1中的其他CJK汉字。以上合计20902个GB化汉字；《简化总表中》未收入GB 13000.1的52个汉字；《康熙字典》以及《辞海》中未被收入GB 13000.1的28个部首及重要构件；13个汉字结构符；BIG-5中未被GB 2312收入、但存在于GB 13000.1的139个图形符号；GB 12345增补的6个拼音符号；GB 12345增补的19个竖排图形符号（GB 12345较GB 2312增补竖排标点符号29个，其中10个未被GB 13000.1收入，故GBK亦不收）；从GB 13000.1的CJK兼容区挑选出的21个汉字；GB 13000.1收入的31个IBM OS/2专用符号。GBK亦採用双位元组表示，总体编码範围为0x8140~0xFEFE之间，首位元组在0x81~0xFE之间，尾位元组在0x40~0xFE之间，剔除0x××7F一条线，总计23940个码位，共收入21886个汉字和图形符号，其中汉字（包括部首和构件）21003个，图形符号883个。

BIG5码是针对繁体汉字的汉字编码，在台湾、香港的电脑系统中得到普遍套用。BIG5码的编码範围参考下文。

HZ 码是中国留学生为了使汉字信息能在网路上直接传送而产生的。因目前大多数 （西方）网路系统为7位，最高位被禁止掉，因此 GB 码无法被直接传输，HZ 码是为了达到在7位网路系统中直接传递汉字信息的目的而规範的。

“HZ”方案的特点，是以“纯国标”的中文与美标码混用。那幺“HZ”是怎样区分国标符和美标符的呢？答案其实也很简单：当一串美标码中间插入一段国标码的时候，我们便在国标码的前面加上~，后面加上~。这些附加码分别叫“逃出码”和“逃入码”。 由于这些附加码本身也是美标形象码，整个档案就俨然是一个美标文本档案，可以安然地 在电脑网上传递，也和大部分英文文本处理软体兼容。

ISO-2022是国际标準组织（ISO）为各种语言字元制定的编码标準。採用二个位元组编码，其中汉语编码称ISO-2022 CN，日语、韩语的编码分别称JP、KR。一般将三者合称CJK码。CJK码主要在Internet网路中使用。

1993年，国际标準ISO10646 定义了通用字元集(Universal Character Set, UCS)。 UCS 是所有其他字元集标準的一个超集。它保证与其他字元集是双向兼容的。就是说， 如果你将任何文本字元串翻译到 UCS格式，然后再翻译回原编码, 你不会丢失任何信息。

UCS 包含了用于表达所有已知语言的字元。不仅包括拉丁语，希腊语，斯拉夫语，希伯来语,阿拉伯语，亚美尼亚语和乔治亚语的描述， 还包括中文，日文和韩文这样的象形文字，以及平假名，片假名，孟加拉语,旁遮普语果鲁穆奇字元(Gurmukhi)，泰米尔语， 印.埃纳德语(Kannada)，Malayalam，泰国语， 寮语， 汉语拼音(Bopomofo)， Hangul，Devangari，Gujarati， Oriya，Telugu 以及其它语种。对于还没有加入的语言, 由于正在研究怎样在计算机中最好地编码它们， 因而最终它们都将被加入。这些语言包括Tibetian，高棉语，Runic(古代北欧文字)，衣索比亚语， 其他象形文字，以及各种各样的印-欧语系的语言，还包括挑选出来的艺术语言比如 Tengwar，Cirth 和克林贡语(Klingon)。UCS 还包括大量的图形的，印刷用的，数学用的和科学用的符号，包括所有由 TeX，Postscript，MS-DOS，MS-Windows， Macintosh， OCR字型， 以及许多其他字处理和出版系统提供的字元。

ISO 10646 定义了一个 31 位的字元集。 然而， 在这巨大的编码空间中, 迄今为止只分配了前 65534 个码位 (0x0000 到 0xFFFD)。这个UCS的16位子集称为基本多语言面 (Basic Multilingual Plane, BMP)。 将被编码在16位BMP以外的字元都属于非常特殊的字元(比如象形文字), 且只有专家在历史和科学领域里才会用到它们。按当前的计画， 将来也许再也不会有字元被分配到从0x000000到0x10FFFF这个覆盖了超过100万个潜在的未来字元的 21 位的编码空间以外去了。ISO 10646-1标準第一次发表于1993年, 定义了字元集与 BMP 中内容的架构。定义 BMP以外的字元编码的第二部分 ISO 10646-2 正在準备中， 但也许要过好几年才能完成。新的字元仍源源不断地加入到 BMP 中, 但已经存在的字元是稳定的且不会再改变了。

UCS 不仅给每个字元分配一个代码， 而且赋予了一个正式的名字。表示一个 UCS 或 Unicode 值的十六进制数, 通常在前面加上 “U+”， 就象U+0041 代表字元“拉丁大写字母A”。UCS字元U+0000到U+007F 与 US-ASCII(ISO 646) 是一致的， U+0000 到 U+00FF 与 ISO8859-1(Latin-1) 也是一致的。从 U+E000 到 U+F8FF，已经BMP 以外的大範围的编码是为私用保留的。

1993年，ISO10646中定义的USC-4 (Universal Character Set) ，使用了4 个位元组的宽度以容纳足够多的相当可观的空间，但是这个过于肥胖的字元标準在当时乃至21世纪都有其不现实的一面，就是会过分侵占存储空间并影响信息传输的效率。 与此同时，Unicode 组织于约 10 年前以 Universal, Unique和Uniform 为主旨也开始开发一个16位字元标準， 为避免两种16位编码的竞争，1992年两家组织开始协商，以期折衷寻找共同点，这就是今天的 UCS-2 (BMP，Basic Multilingual Plane，16bit) 和Unicode，但它们仍然是不同的方案。

Unicode

关于Unicode我们需要追溯一下它产生的渊源。

当计算机普及到东亚时，遇到了使用表意字元而非字母语言的中、日、韩等国家。在这些国家使用的语言中常用字元多达几千个，而原来字元採用的是单位元组编码，一张代码页中最多容纳的字元只有2^8=256个，对于使用表意字元的语言是在无能为力。既然一个位元组不够，自然人们就採用两个位元组，所有出现了使用双位元组编码的字元集(DBCS)。不过双位元组字元集中虽然表意字元使用了两个位元组编码，但其中的ASCII码和日文片假名等仍用单位元组表示，如此一来给程式设计师带来了不小的麻烦，因为每当涉及到DBCS字元串的处理时，总是要判断当中的一个位元组到底表示的是一个字元还是半个字元，如果是半个字元，那是前一半还是后一半？由此可见DBCS并不是一种非常好的解决方案。

人们在不断寻找这更好的字元编码方案，最后的结果就是Unicode诞生了。Unicode其实就是宽位元组字元集，它对每个字元都固定使用两个位元组即16位表示，于是当处理字元时，不必担心只处理半个字元。

Unicode在网路、Windows系统和很多大型软体中得到套用。

编码(Encoding)在认知上是解释传入的刺激的一种基本知觉的过程。技术上来说，这是一个複杂的、多阶段的转换过程，从较为客观的感觉输入（例如光、声）到主观上有意义的体验。

字元编码(Character encoding)是一套法则，使用该法则能够对自然语言的字元的一个集合（如字母表或音节表），与其他东西的一个集合（如号码或电脉冲）进行配对。

文字编码(Text encoding)使用一种标记语言来标记一篇文字的结构和其他特徵，以方便计算机进行处理。

语义编码(Semantics encoding)，以正式语言乙对正式语言甲进行语义编码，即是使用语言乙表达语言甲所有的辞彙（如程式或说明）的一种方法。

电子编码(Electronic encoding)是将一个信号转换成为一个代码，这种代码是被最佳化过的以利于传输或存储。转换工作通常由一个编解码器完成。

PCM 脉冲编码调製是Pulse Code Modulation的缩写。（又叫脉冲编码调製）：数字通信的编码方式之一。主要过程是将话音、图像等模拟信号每隔一定时间进行取样，使其离散化，同时将抽样值按分层单位四捨五入取整量化，同时将抽样值按一组二进制码来表示抽样脉冲的幅值。

神经编码(Neural encoding)是指信息在神经元中被如何描绘的方法。

记忆编码(Memory encoding)是把感觉转换成记忆的过程。

加密(Encryption)是为了保密而对信息进行转换的过程。

解码(Transcoding)是将编码从一种格式转换到另一种格式的过程。

码转换轻鬆实现

在LINUX上进行编码转换时，既可以利用iconv函式族编程实现,还可以利用iconv命令去实现，只不过后者是针对档案的,也就是将指定档案从一种编码转换为另一种编码。

iconv函式族的头档案是iconv.h，使用前需包含之。

#include

iconv函式族有三个函式，原型如下：

(1) iconv_t iconv_open(const char *tocode, const char *fromcode)

此函式说明将要进行哪两种编码的转换，tocode是目标编码，fromcode是原编码，该函式返回一个转换句柄，供以下两个函式使用。

(2)size_ticonv(iconv_t cd，char **inbuf，size_t *inbytesleft，char **outbuf，size_t *outbytesleft)

此函式从inbuf中读取字元，转换后输出到outbuf中，inbytesleft用以记录还未转换的字元数，outbytesleft用以记录输出缓冲的剩余空间。 (3) int iconv_close(iconv_t cd)

此函式用于关闭转换句柄,释放资源。

例子1： 用C语言实现的转换示例程式

/* f.c ：代码转换示例C程式 */

#include

#define OUTLEN 255

main()

{

char *in_utf8 = "姝e?ㄥ??瑁?"

char *in_gb2312 = "正在安装"

char out[OUTLEN]

//unicode码转为gb2312码

rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN)

printf("unicode-->gb2312 out=%sn",out)

//gb2312码转为unicode码

rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN)

printf("gb2312-->unicode out=%sn",out)

}

//代码转换：从一种编码转为另一种编码

int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)

{

iconv_t cd;

int rc;

char **pin = &inbuf;

char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);

if (cd==0) return -1;

memset(outbuf,0,outlen);

if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;

iconv_close(cd);

return 0;

}

//UNICODE码转为GB2312码

int u2g(char *inbuf,int inlen,char *outbuf,int outlen)

{

return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);

}

//GB2312码转为UNICODE码

int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)

{

return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);

}

例子2: 用C++语言实现的转换示例程式

/* f.cpp : 代码转换示例C++程式 */

#include

#include

#define OUTLEN 255

using namespace std;

// 代码转换操作类

class CodeConverter {

private:

iconv_t cd;

public:

// 构造

CodeConverter(const char *from_charset,const char *to_charset) {

cd = iconv_open(to_charset,from_charset;

}

// 析构

~CodeConverter() {

iconv_close(cd);

}

// 转换输出

int convert(char *inbuf,int inlen,char *outbuf,int outlen) {

char **pin = &inbuf;

char **pout = &outbuf;

memset(outbuf,0,outlen);

return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);

}

};

int main(int argc, char **argv)

{

char *in_utf8 = "姝e?ㄥ??瑁?";

char *in_gb2312 = "正在安装";

char out[OUTLEN];

// utf-8-->gb2312

CodeConverter cc = CodeConverter("utf-8","gb2312");

cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);

cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8

CodeConverter cc2 = CodeConverter("gb2312","utf-8");

cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);

cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;

}

LINUX上进行编码转换时，既可以利用iconv函式族编程实现,也可以利用iconv命令来实现，只不过后者是针对档案的,即将指定档案从一种编码转换为另一种编码。

iconv命令用于转换指定档案的编码，默认输出到标準输出设备,亦可指定输出档案。

用法： iconv [选项...] [档案...]

有如下选项可用：

输入/输出格式规範：

-f, --from-code=名称 原始文本编码

-t, --to-code=名称 输出编码

信息：

-l, --list 列举所有已知的字元集

输出控制：

-c 从输出中忽略无效的字元

-o, --output=FILE 输出档案

-s, --silent 关闭警告

--verbose 列印进度信息

-?, --help 给出该系统求助列表

--usage 给出简要的用法信息

-V, --version 列印程式版本号

例子：

iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt

这个命令读取aaa.txt档案，从utf-8编码转换为gb2312编码，其输出定向到bbb.txt档案。

小结：LINUX为我们提供了强大的编码转换工具,给我们带来了方便。