泰安网络推广公司推荐,长沙官网seo诊断,软件开发的五个阶段,酒店分销平台有哪些一#xff0e;引言 ORACLE数据库字符集#xff0c;即Oracle全球化支持(Globalization Support)#xff0c;或即国家语言支持#xff08;NLS#xff09;其作用是用本国语言和格式来存储、处理和检索数据。利用全球化支持#xff0c;ORACLE为用户提供自己熟悉的数据库母语环… 一引言 ORACLE数据库字符集即Oracle全球化支持(Globalization Support)或即国家语言支持NLS其作用是用本国语言和格式来存储、处理和检索数据。利用全球化支持ORACLE为用户提供自己熟悉的数据库母语环境诸如日期格式、数字格式和存储序列等。Oracle可以支持多种语言及字符集其中oracle8i支持48种语言、76个国家地域、229种字符集而oracle9i则支持57种语言、88个国家地域、235种字符集。由于oracle字符集种类多且在存储、检索、迁移oracle数据时多个环节与字符集的设置密切相关因此在实际的应用中数据库开发和管理人员经常会遇到有关oracle字符集方面的问题。本文通过以下几个方面阐述对oracle字符集做简要分析 二字符集基本知识 2.1字符集 实质就是按照一定的字符编码方案对一组特定的符号分别赋予不同数值编码的集合。Oracle数据库最早支持的编码方案是US7ASCII。 Oracle的字符集命名遵循以下命名规则: Languagebit sizeencoding 即: 语言比特位数编码 比如: ZHS16GBK表示采用GBK编码格式、16位两个字节简体中文字符集 2.2字符编码方案2.2.1 单字节编码 1单字节7位字符集可以定义128个字符最常用的字符集为US7ASCII 2单字节8位字符集可以定义256个字符适合于欧洲大部分国家 例如WE8ISO8859P1(西欧、8位、ISO标准8859P1编码)2.2.2 多字节编码 1变长多字节编码 某些字符用一个字节表示其它字符用两个或多个字符表示变长多字节编码常用于对亚洲语言的支持 例如日语、汉语、印地语等 例如AL32UTF8其中AL代表ALL,指适用于所有语言、zhs16cgb231280 2定长多字节编码 每一个字符都使用固定长度字节的编码方案目前oracle唯一支持的定长多字节编码是AF16UTF16也是仅用于国家字符集2.2.3 unicode编码 Unicode是一个涵盖了目前全世界使用的所有已知字符的单一编码方案也就是说Unicode为每一个字符提供唯一的编码。UTF-16是unicode的16位编码方式是一种定长多字节编码用2个字节表示一个unicode字符AF16UTF16是UTF-16编码字符集。 UTF-8是unicode的8位编码方式是一种变长多字节编码这种编码可以用1、2、3个字节表示一个unicode字符AL32UTF8UTF8、UTFE是UTF-8编码字符集 2.3 字符集超级 当一种字符集字符集A的编码数值包含所有另一种字符集字符集B的编码数值并且两种字符集相同编码数值代表相同的字符时则字符集A是字符集B的超级或称字符集B是字符集A的子集。 Oracle8i和oracle9i官方文档资料中备有子集-超级对照表subset-superset pairs例如WE8ISO8859P1是WE8MSWIN1252的子集。由于US7ASCII是最早的Oracle数据库编码格式因此有许多字符集是US7ASCII的超集例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。 2.4 数据库字符集oracle服务器端字符集 数据库字符集在创建数据库时指定在创建后通常不能更改。在创建数据库时可以指定字符集(CHARACTER SET)和国家字符集(NATIONAL CHARACTER SET)。2.4.1字符集 (1)用来存储CHAR, VARCHAR2, CLOB, LONG等类型数据 (2)用来标示诸如表名、列名以及PL/SQL变量等 (3)用来存储SQL和PL/SQL程序单元等2.4.2国家字符集 (1)用以存储NCHAR, NVARCHAR2, NCLOB等类型数据 (2)国家字符集实质上是为oracle选择的附加字符集主要作用是为了增强oracle的字符处理能力因为NCHAR数据类型可以提供对亚洲使用定长多字节编码的支持而数据库字符集则不能。国家字符集在oracle9i中进行了重新定义只能在unicode编码中的AF16UTF16和UTF8中选择默认值是AF16UTF162.4.3查询字符集参数 可以查询以下数据字典或视图查看字符集设置情况 nls_database_parameters、props$、v$nls_parameters 查询结果中NLS_CHARACTERSET表示字符集NLS_NCHAR_CHARACTERSET表示国家字符集2.4.4修改数据库字符集 按照上文所说数据库字符集在创建后原则上不能更改。如果需要修改字符集通常需要导出数据库数据重建数据库再导入数据库数据的方式来转换或通过ALTER DATABASE CHARACTER SET语句修改字符集但创建数据库后修改字符集是有限制的只有新的字符集是当前字符集的超集时才能修改数据库字符集例如UTF8是US7ASCII的超集修改数据库字符集可使用ALTER DATABASE CHARACTER SET UTF8。 2.5 客户端字符集NLS_LANG参数2.5.1客户端字符集含义 客户端字符集定义了客户端字符数据的编码方式任何发自或发往客户端的字符数据均使用客户端定义的字符集编码,客户端可以看作是能与数据库直接连接的各种应用例如sqlplus,exp/imp等。客户端字符集是通过设置NLS_LANG参数来设定的。2.5.2 NLS_LANG参数格式 NLS_LANGlanguage_territory.client character set Language:显示oracle消息,校验日期命名 Territory指定默认日期、数字、货币等格式 Client character set指定客户端将使用的字符集 例如NLS_LANGAMERICAN_AMERICA.US7ASCII AMERICAN是语言AMERICA是地区US7ASCII是客户端字符集2.5.3客户端字符集设置方法 1)UNIX环境 $NLS_LANG“simplified chinese”_china.zhs16gbk $export NLS_LANG 编辑oracle用户的profile文件 2)Windows环境 编辑注册表 Regedit.exe---HKEY_LOCAL_MACHINE---SOFTWARE---ORACLE—HOME02.5.4 NLS参数查询 Oracle提供若干NLS参数定制数据库和用户机以适应本地格式例如有NLS_LANGUAGE,NLS_DATE_FORMAT,NLS_CALENDER等可以通过查询以下数据字典或v$视图查看。 NLS_DATABASE_PARAMETERS--显示数据库当前NLS参数取值包括数据库字符集取值 NLS_SESSION_PARAMETERS--显示由NLS_LANG 设置的参数或经过alter session 改变后的参数值不包括由NLS_LANG 设置的客户端字符集 NLS_INSTANCE_PARAMETE--显示由参数文件initSID.ora 定义的参数V$NLS_PARAMETERS--显示数据库当前NLS参数取值2.5.5修改NLS参数 使用下列方法可以修改NLS参数 1修改实例启动时使用的初始化参数文件 2修改环境变量NLS_LANG 3使用ALTER SESSION语句在oracle会话中修改 4使用某些SQL函数 NLS作用优先级别Sql functionalter session环境变量或注册表参数文件数据库默认参数 三导入/导出与字符集转换 3.1 EXP/IMP Export 和 Import 是一对读写Oracle数据的工具。Export 将 Oracle 数据库中的数据输出到操作系统文件中, Import 把这些文件中的数据读到Oracle 数据库中由于使用exp/imp进行数据迁移时数据从源数据库到目标数据库的过程中有四个环节涉及到字符集如果这四个环节的字符集不一致将会发生字符集转换。 EXP ____________ _________________ _____________ |imp导入文件|-|环境变量NLS_LANG|-|数据库字符集| ------------ ----------------- ------------- IMP ____________ _________________ _____________ |imp导入文件|-|环境变量NLS_LANG|-|数据库字符集| ------------ ----------------- ------------- 四个字符集是 1源数据库字符集 2Export过程中用户会话字符集通过NLS_LANG设定 3Import过程中用户会话字符集通过NLS_LANG设定 4目标数据库字符集 3.2导出的转换过程 在Export过程中如果源数据库字符集与Export用户会话字符集不一致会发生字符集转换并在导出文件的头部几个字节中存储Export用户会话字符集的ID号。在这个转换过程中可能发生数据的丢失。例:如果源数据库使用ZHS16GBK而Export用户会话字符集使用US7ASCII由于ZHS16GBK是16位字符集,而US7ASCII是7位字符集这个转换过程中中文字符在US7ASCII中不能够找到对等的字符所以所有中文字符都会丢失而变成“?? ”形式这样转换后生成的Dmp文件已经发生了数据丢失。因此如果想正确导出源数据库数据则Export过程中用户会话字符集应等于源数据库字符集或是源数据库字符集的超集 3.3导入的转换过程 1确定导出数据库字符集环境 通过读取导出文件头可以获得导出文件的字符集设置 2确定导入session的字符集即导入Session使用的NLS_LANG环境变量 3IMP读取导出文件 读取导出文件字符集ID和导入进程的NLS_LANG进行比较 4如果导出文件字符集和导入Session字符集相同那么在这一步骤内就不需要转换如果不同就需要把数据转换为导入Session使用的字符集。可以看出导入数据到数据库过程中发生两次字符集转换 第一次:导入文件字符集与导入Session使用的字符集之间的转换如果这个转换过程不能正确完成Import向目标数据库的导入过程也就不能完成。 第二次:导入Session字符集与数据库字符集之间的转换。 然而,oracle8i的这种转换只能在单字节字符集之间进行,oracle8i导入Session不支持多字节字符集之间的转换因此为了避免第一次转换导入Session使用的NLS_LANG与导出文件字符集相同第二次转换通过SQL*Net支持任何两种字符集。以上情况在Oracle9i中略有不同 四乱码问题 oracle在数据存储、迁移过程中经常发生字符乱码问题归根到底是由于字符集使用不当引起。下面以使用客户端sqlplus向数据库插入数据和导入/导出EXP/IMP过程为例说明乱码产生的原因。 4.1使用客户端sqlplus向数据库存储数据 这个过程存在3个字符集设置 1客户端应用字符集 2客户端NLS_LANG参数设置 3服务器端数据库字符集(Character Set)设置 客户端应用sqlplus中能够显示什么样的字符取决于客户端操作系统语言环境(客户端应用字符集)但在应用中录入这些字符后这些字符能否在数据库中正常存储还与另外两个字符集设置紧密相关其中客户端NLS_LANG参数主要用于字符数据传输过程中的转换判断。常见的乱码大致有两种情形 1汉字变成问号“”当从字符集A 转换成字符集B时如果转换字符之间不存在对应关系NLS_LANG使用替代字符“”替代无法映射的字符 2汉字变成未知字符虽然有些是汉字但与原字符含义不同转换存在对应关系但字符集A 中的字符编码与字符集B 中的字符编码代表不同含义 4.2发生乱码原因 乱码产生是由于几个字符集之间转换不匹配造成分以下几种情况 注字符集之间如果不存在子集、超集对应关系时的情况不予考虑因为这种情况下字符集之间转换必产生乱码 1服务器端数据库字符集与客户端应用字符集相同与客户端NLS_LANG参数设置不同 如果客户端NLS_LANG字符集是其它两种字符集的子集转换过程将出现乱码。 解决方法将三种字符集设置成同一字符集或NLS_LANG字符集是其它两种字符集的超集 2服务器端数据库字符集与客户端NLS_LANG参数设置相同与客户端应用字符集不同 如果客户端应用字符集是其它两种字符集的超集时转换过程将出现乱码但对于单字节编码存储中文问题可参看本文第5章节的分析 3客户端应用字符集、客户端NLS_LANG参数设置、服务器端数据库字符集互不相同 此种情况较为复杂但三种字符集之间只要有不能转换的字符则必产生乱码 4.3导入/导出过程出现乱码原因 这个过程存在4个字符集设置在3.1章节中已分析 1源数据库字符集 2EXP过程中NLS_LANG参数 3IMP过程中NLS_LANG参数 4目标数据库字符集 出现乱码原因 1当源数据库字符集不等于EXP过程中NLS_LANG参数且源数据库字符集是EXP过程中NLS_LANG的子集才能保证导出文件正确其他情况则导出文件字符乱码 2EXP过程中NLS_LANG字符集不等于IMP过程中NLS_LANG字符集且EXP过程中NLS_LANG字符集是IMP过程中NLS_LANG字符集的子级, 才能保证第一次转换正常否则第一次转换中出现乱码。 3如果第一次转换正常IMP过程中NLS_LANG字符集是目标数据库字符集的子集或相同才能保证第二次转换正常否则则第二次转换中出现乱码 五单字节编码存储中文问题 由于历史的原因早期的oracle没有中文字符集如oracle6、oracle7、oracle7.1,但有的用户从那时起就使用数据库了并用US7ASCII字符集存储了中文或是有的用户在创建数据库时不考虑清楚随意选择一个默认的字符集如WE8ISO8859P1或US7ASCII而这两个字符集都没有汉字编码虽然有些时候选用这种字符集好象也能正常使用但用这种字符集存储汉字信息从原则上说就是错误的它会给数据库的使用与维护带来一系列的麻烦。 正常情况下要将汉字存入数据库数据库字符集必须支持中文而将数据库字符集设置为US7ASCII等单字节字符集是不合适的。US7ASCII字符集只定义了128个符号并不支持汉字。另外如果在SQL*PLUS中能够输入中文操作系统缺省应该是支持中文的但如果在NLS_LANG中的字符集设置为US7ASCII显然也是不正确的它没有反映客户端的实际情况。但在实际应用中汉字显示却是正确的这主要是因为Oracle检查数据库与客户端的字符集设置是同样的那么数据在客户与数据库之间的存取过程中将不发生任何转换但是这实际上导致了数据库标识的字符集与实际存入的内容是不相符的。而在SELECT的过程中Oracle同样检查发现数据库与客户端的字符集设置是相同的所以它也将存入的内容原封不动地传送到客户端而客户端操作系统识别出这是汉字编码所以能够正确显示。 在这个例子中数据库与客户端都没有设置成中文字符集但却能正常显示中文从应用的角度看好象没问题。然而这里面却存在着极大的隐患比如在应用length或substr等字符串函数时就可能得到意外的结果。 对于早期使用US7ASCII字符集数据库的数据迁移到oracle8i/9i中使用zhs16gbk由于原始数据已经按照US7ASCII格式存储对于这种情况可以通过使用Oracle8i的导出工具设置导出字符集为US7ASCII导出后使用UltraEdit等工具打开dmp文件修改第二、三字符修改 0001 为0354,这样就可以将US7ASCII字符集的数据正确导入到ZHS16GBK的数据库中。 六结束语 为了避免在数据库迁移过程中由于字符集不同导致的数据损失oracle提供了字符集扫描工具character set scanner通过这个工具我们可以测试在数据迁移过程中由于字符集转换可能带来的问题然后根据测试结果确定数据迁移过程中最佳字符集解决方案。 参考文献[1]Biju Thomas , Bob Bryla《oracle9i DBA基础I 学习指南》电子工业出版社 2002 耿立宏中国科学院计算机网络信息中心北京100080 转载于:https://www.cnblogs.com/xiaomaohai/archive/2007/01/13/6157422.html
