再论字符集

再论字符集
老熊
http://www.itpub.net/viewthread.php?tid=933964&highlight=%D7%D6%B7%FB%BC%AF

原文见我的blog http://space.itpub.net/?69924
字符集是一个老生常谈的问题了。论坛中很多贴子探讨过这个问题，这个问题的引起，绝大部分是因为“乱码”。而乱码是由于客户端与服务器的字符集的不同进行字符集转换而引起的。不过很多贴子提到了转换，却没有提到这个转换是在哪个阶段和哪里发生的？是在服务器向块里写入数据的时候吗？在客户端还是在服务器端？

正确的答案是，普通字符串转换发生在客户端（具体来说是由OCI LIBRARY完成的），国家字符串经过两次转换，第一次发生在客户端，第二次发生在服务器端。下面做个测试：

连接到:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining options

SQL> select * from nls_database_parameters where parameter like '%CHARACTERSET%';

PARAMETER VALUE
------------------------------ ------------------------------
NLS_CHARACTERSET ZHS16GBK
NLS_NCHAR_CHARACTERSET AL16UTF16

SQL> create table t1(a varchar2(100));

表已创建。

SQL>

SQL> insert into t1 values ('中');

已创建 1 行。

SQL>

在本次连接中，我没有设置NLS_LANG变量。则客户端字符集为操作系统的缺省字符集ZHS16GBK。通过捕获网络包，可以发现客户端传送给客户端的数据（不能上传图片，郁闷）：

00000090 00 00 00 00 00 00 00 00 00 00 00 28 DB 00 01 1C ...........(....
000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v
000000B0 61 6C 75 65 73 20 28 27 D6 D0 27 29 01 00 00 00 alues.('..')....
000000C0 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................

注意红色的部分，16进制D6 D0正是“中”字的GBK编码。（关于怎么获取汉字的各种编码，暂且略过，如有需要再交流）

现在我们退出SQLPLUS，设置环境变量NLS_LANG：

SQL> rollback;

回退已完成。

SQL> exit
从 Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining options
断开

C:\Documents and Settings\Administrator>set nls_lang=american_america.us7ascii

C:\Documents and Settings\Administrator>sqlplus test/test@dmdb

SQL*Plus: Release 10.2.0.1.0 - Production on Mon Jan 28 00:48:41 2008

Copyright (c) 1982, 2005, Oracle. All rights reserved.


Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - Production
With the Partitioning, Real Application Clusters, OLAP and Data Mining options

SQL> insert into t1 values ('中');

1 row created.

抓获的网络包发现，在SQL提交给服务器之前已经转换了。OCI库认为提交过来的编码是US7ASCII，因此要将转换为服务器端的ZHS16GBK编 码，然而“中”的编码即16进制D6 D0并不是有效的US7ASCII编码，所以ORACLE OCI就转为了转省值3F3F（US7ASCII是单字节字符集，会认为“中”字是两个字符，因此为有两个3F) 这就是“??”号的由来。

00000090 00 00 00 00 00 00 00 00 00 00 00 C8 1D FF 00 1C ................
000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v
000000B0 61 6C 75 65 73 20 28 27 3F 3F 27 29 01 00 00 00 alues.('??')....
000000C0 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................


我们再看看将客户端NLS_LANG设置为simplified chinese_china.zhs16cgb231280会发生什么：

SQL> insert into t1 values ('中');

已创建 1 行。

00000090 00 00 00 00 00 00 00 00 00 00 00 00 EC 01 01 1C ................
000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v
000000B0 61 6C 75 65 73 20 28 27 D6 D0 27 29 01 00 00 00 alues.('..')....
000000C0 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................

嗯，这里仍然是D6 D0，我们知道ZHS16GBK近似于ZHS16CGB231280超级。“中”对两种字符集来说，都是同一个编码。
看看我们使用生僻字会发生什么：

SQL> insert into t1 values ('喫');
ERROR:
ORA-01756: 引号内的字符串没有正确结束

居然没有捕获到这个INSERT INTO语句提交到服务器的网络吧。由于在客户端要将“喫”字从ZHS16GB231280转换为ZHS16GBK，但这个字并不是一个有效的 GB2312编码的字。但为什么出现了ORA-01756？转换过程认为“喫”字是GB2312编码，而操作系统传过来的编码是16进制86 CB，GB2312的编码，每个字节都是大于A1，因此认为第1个字节是一个8位的单字符，下一个字节大于A1，因此转换过程就将CB和下一个字节“'” 合起来成为一个GB2312的双字节字符，因此就造成了这个错误信息。然而下面的语句是可以通过的：

SQL> insert into t1 values ('喫1');

已创建 1 行。

抓获的网络包却发现是下面的结果：

00000090 00 00 00 00 00 00 00 00 00 00 00 10 EC 01 01 1D ................
000000A0 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 31 20 76 insert.into.t1.v
000000B0 61 6C 75 65 73 20 28 27 3F A3 BF 27 29 01 00 00 alues.('?..')...
000000C0 00 01 00 00 00 00 00 00 00 00 00 00 00 00 00 00 ................

验证了上面的观点。第1字节被作为一个单字节字符转换，但是也不能转换为GBK字符，因此就转为了3F，但后面的两个字节仍然不是有效的GBK编码，就转为了A3 BF（全角的“？”）

下面将讨论国家字符集的转换。

再论字符集（二）

上一篇讲到普通字符串的转换，本篇将讲到国家字符集字符串的转换：

客户端的NLS_LANG为默认值，即ZHS16GBK：

SQL> create table t1 ( id number ,aa varchar2(20),bb nvarchar2(20));

表已创建。

SQL> insert into t1 values (1,'中','中');

已创建 1 行。

捕获的网络包如下：

00000090 00 00 00 00 00 00 EA 4E DB 00 AC 0D DC 00 00 00 .......N........
000000A0 00 00 23 69 6E 73 65 72 74 20 69 6E 74 6F 20 74 ..#insert.into.t
000000B0 31 20 76 61 6C 75 65 73 20 28 31 2C 27 D6 D0 27 1.values.(1,'..'
000000C0 2C 27 D6 D0 27 29 01 00 00 00 01 00 00 00 00 00 ,'..')..........

SQL> select dump(aa) aa,dump(bb) bb from t1;

AA BB
------------------------------ ------------------------------
Typ=1 Len=2: 214,208 Typ=1 Len=2: 78,45

客户端发送给数据库的SQL语句，两个“中”字均为D6 D0，但服务器对NVARCHAR2类似的列作了转换，将其从ZHS16GBK编码转换为AL16UTF16，转换后的结果为10进制78，45,即16进制的4E 2D

因此对于国家字符集，客户端在提交SQL时实际并不区分是否国家字符集，统一将SQL中的字符转换为数据库字符集，服务器端再将国家字符集的列，从数据集字符集转换为国家字符集。因此，我们可以设想，如果数据库字符集与国家字符集不兼容，会发生什么？或者说是从数据库字符集转换为国家字符集是不是也会出现问题？我们用另一个数据库测试一下：

SQL> select * from nls_database_parameters where parameter like '%CHARACTERSET%'
;

PARAMETER VALUE
------------------------------ ------------------------------
NLS_CHARACTERSET US7ASCII
NLS_NCHAR_CHARACTERSET AL16UTF16

将客户端的NLS_LANG设置为AMERICAN_AMERICA.US7ASCII

SQL> create table t1 (id number,aa varchar2(20),bb nvarchar2(20));

SQL> insert into t1 values (1,'中','中');

1 row created.

SQL> select dump(aa) aa,dump(bb) bb from t1;

AA BB
------------------------------ ------------------------------
Typ=1 Len=2: 214,208 Typ=1 Len=4: 0,86,0,80

注意看这里dump出的结果，与前一个库dump出的结果，aa列是一样的，而bb列dump出来变成了10进制的0,86,0,80。我们看看这个值是怎么来的：
1.客户端NLS_LANG与数据库字符集相同，因此在客户端并没对SQL中的字符进行转换。
2.服务器在执行SQL时，将bb列的值从数据库字符集编码（10进制214，208）转换为AL16UTF16编码（这种编码每个字符为固定的两字节）。由于数据库字符集为单字节字符集，在转换时认为是两个字符，同时US7ASCII字符的高位应该为0，而214-128=86，208-128=80.因此转换后其结果就为字符串“VP"了：

SQL> select * from t1;

ID AA BB
---------- -------------------- --------------------
1 中 VP

因此，如果选择了错误的数据库字符集，虽然可以通过设置NLS_LANG将客户端字符集设置为与服务器字符集一致，但国家字符集却有可能不能正常地从数据库字符集转换为国家字符集。

下面要讨论的是数据查询时和数据导出时的字符集转换。

[ 本帖最后由 magic007 于 2008-1-28 16:24 编辑 ]