Oracle中IMP匯入資料時提示字元集不一致解決

最後更新：2018-01-17 來源：互聯網

上載者：User

創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

生產環境中經常使用到Oracle的IMP匯入和EXP匯出來功能來達到資料移轉的目的,通常在來源資料庫和目標資料庫中查詢字元集是否致,

測試環境中匯入IMP匯入報錯資訊如下:

匯入命令如下:

[oracle@localhost.localdomain:/soft]$imp scott/scott file=/soft/scott_v1.dmp log=/soft/scott_v1.log ignore=y full=y

Import: Release 11.2.0.4.0 - Production on Sun Oct 22 16:26:27 2017

Copyright (c) 1982, 2011, Oracle and/or its affiliates. All rights reserved.

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

Export file created by EXPORT:V11.02.00 via conventional path
import done in ZHS16GBK character set and AL16UTF16 NCHAR character set --提示字元集不一致
. importing SCOTT's objects into SCOTT
. . importing table "BONUS" 0 rows imported
. . importing table "DEPT"
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_DEPT) violated--提示各種亂碼問題
Column 1 10
Column 2 ǎ
Column 3
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_DEPT) violated
Column 1 20
Column 2 в
Column 3 ±±
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_DEPT) violated
Column 1 30
Column 2 к
Column 3
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_DEPT) violated
Column 1 40
Column 2
Column 3 0 rows imported
. . importing table "EMP"
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7369
Column 2 itpux01
Column 3 τ
Column 4 7902
Column 5 17-DEC-1980:00:00:00
Column 6 800
Column 7
Column 8 20
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7499
Column 2 itpux02
Column 3 к
Column 4 7698
Column 5 20-FEB-1981:00:00:00
Column 6 1600
Column 7 300
Column 8 30
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7521
Column 2 itpux03
Column 3 к
Column 4 7698
Column 5 22-FEB-1981:00:00:00
Column 6 1250
Column 7 500
Column 8 30
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7566
Column 2 itpux04
Column 3
Column 4 7839
Column 5 02-APR-1981:00:00:00
Column 6 2975
Column 7
Column 8 20
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7654
Column 2 itpux05
Column 3 к
Column 4 7698
Column 5 28-SEP-1981:00:00:00
Column 6 1250
Column 7 1400
Column 8 30
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7698
Column 2 itpux06
Column 3
Column 4 7839
Column 5 01-MAY-1981:00:00:00
Column 6 2850
Column 7
Column 8 30
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7782
Column 2 itpux07
Column 3
Column 4 7839
Column 5 09-JUN-1981:00:00:00
Column 6 2450
Column 7
Column 8 10
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7788
Column 2 itpux08
Column 3 ·
Column 4 7566
Column 5 19-APR-1987:00:00:00
Column 6 3000
Column 7
Column 8 20
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7839
Column 2 itpux09
Column 3
Column 4
Column 5 17-NOV-1981:00:00:00
Column 6 5000
Column 7
Column 8 10
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7844
Column 2 itpux10
Column 3 к
Column 4 7698
Column 5 08-SEP-1981:00:00:00
Column 6 1500
Column 7 0
Column 8 30
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7876
Column 2 itpux11
Column 3 τ
Column 4 7788
Column 5 23-MAY-1987:00:00:00
Column 6 1100
Column 7
Column 8 20
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7900
Column 2 itpux12
Column 3 τ
Column 4 7698
Column 5 03-DEC-1981:00:00:00
Column 6 950
Column 7
Column 8 30
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7902
Column 2 itpux13
Column 3 ·
Column 4 7566
Column 5 03-DEC-1981:00:00:00
Column 6 3000
Column 7
Column 8 20
IMP-00019: row rejected due to ORACLE error 1
IMP-00003: ORACLE error 1 encountered
ORA-00001: unique constraint (SCOTT.PK_EMP) violated
Column 1 7934
Column 2 itpux14
Column 3 τ
Column 4 7782
Column 5 23-JAN-1982:00:00:00
Column 6 1300
Column 7
Column 8 10 0 rows imported
. . importing table "SALGRADE" 5 rows imported
About to enable constraints...
Import terminated successfully with warnings.

如何查詢字元集

方法1:查詢表(在知道來源資料庫和目標資料庫):

select * from nls_database_parameters;

1 NLS_LANGUAGE AMERICAN
2 NLS_TERRITORY AMERICA
3 NLS_CURRENCY $
4 NLS_ISO_CURRENCY AMERICA
5 NLS_NUMERIC_CHARACTERS .,
6 NLS_CHARACTERSET ZHS16GBK --此處是顯示字元集
7 NLS_CALENDAR GREGORIAN
8 NLS_DATE_FORMAT DD-MON-RR
9 NLS_DATE_LANGUAGE AMERICAN
10 NLS_SORT BINARY
11 NLS_TIME_FORMAT HH.MI.SSXFF AM
12 NLS_TIMESTAMP_FORMAT DD-MON-RR HH.MI.SSXFF AM
13 NLS_TIME_TZ_FORMAT HH.MI.SSXFF AM TZR
14 NLS_TIMESTAMP_TZ_FORMAT DD-MON-RR HH.MI.SSXFF AM TZR
15 NLS_DUAL_CURRENCY $
16 NLS_COMP BINARY
17 NLS_LENGTH_SEMANTICS BYTE
18 NLS_NCHAR_CONV_EXCP FALSE
19 NLS_NCHAR_CHARACTERSET AL16UTF16
20 NLS_RDBMS_VERSION 11.2.0.4.0

方法2:在不知道dmp中字元集是什麼,如何查看

1　　查看dmp檔案的中字元集

cat '/home/soft/scott.dmp' |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6

結果為：0345

2　　然後用以下SQL查出它對應的字元集:

SQL> select nls_charset_name(to_number('0354','xxxx')) from dual;
NLS_CHARSET_NAME(TO_NUMBER('0354','XXXX'
----------------------------------------
ZHS16GBK

如何修改字元集

修改字元集有幾種方法

方法1、修改伺服器端中的環境變數中的字元集設定（伺服器端匯入只要設定管理員端，用戶端匯入的話還要設定用戶端字元集），註：此方法在伺服器修改後再及時修改回去

方法2、修改資料庫中字元集

方法3、修改dmp檔案中字元集

本環境是在伺服器端匯入的，所以採用方法1

1、查詢當前環境變數

[oracle@localhost.localdomain:/soft]$cat ~/.bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

# Oracle Settings oracle
TMP=/tmp; export TMP
TMPDIR=$TMP; export TMPDIR
PS1="[`whoami`@`hostname`:"'$PWD]$'
alias sqlplus="rlwrap sqlplus"
alias rman="rlwrap rman"
alias alert="cd /oracle/app/oracle/diag/rdbms/db01/db01/trace"
alias lsnrctl="rlwrap lsnrctl"
alias adrci="rlwrap adrci"
export LANG=en_US
ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0; export ORACLE_HOME
ORACLE_SID=db01; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM

PATH=/usr/sbin:$PATH; export PATH
PATH=$ORACLE_HOME/bin:$PATH; export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATH
NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMAT
NLS_LANG=AMERICAN_AMERICA.ZHS16GBK;export NLS_LANG

if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi

2、配置環境變數
[oracle@localhost.localdomain:/soft]$vi ~/.bash_profile

3、查詢配置後資訊

[oracle@localhost.localdomain:/soft]$cat ~/.bash_profile
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin

export PATH

# Oracle Settings oracle
TMP=/tmp; export TMP
TMPDIR=$TMP; export TMPDIR
PS1="[`whoami`@`hostname`:"'$PWD]$'
alias sqlplus="rlwrap sqlplus"
alias rman="rlwrap rman"
alias alert="cd /oracle/app/oracle/diag/rdbms/db01/db01/trace"
alias lsnrctl="rlwrap lsnrctl"
alias adrci="rlwrap adrci"
export LANG=en_US
ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0; export ORACLE_HOME
ORACLE_SID=db01; export ORACLE_SID
ORACLE_TERM=xterm; export ORACLE_TERM

PATH=/usr/sbin:$PATH; export PATH
PATH=$ORACLE_HOME/bin:$PATH; export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export CLASSPATH
NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"; export NLS_DATE_FORMAT
#NLS_LANG=AMERICAN_AMERICA.ZHS16GBK;export NLS_LANG
NLS_LANG=AMERICAN_AMERICA.AL16UTF16;export NLS_LANG

if [ $USER = "oracle" ] || [ $USER = "grid" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi

4、配置後可以通過SQL查詢修改後字元集是否變更

select * from nls_database_parameters;

5、再次重啟匯入資料

[oracle@localhost.localdomain:/soft]$imp scott/scott file=/soft/scott_v1.dmp log=/soft/scott_v1.log1 ignore=y full=y

Import: Release 11.2.0.4.0 - Production on Sun Oct 22 16:46:17 2017

Copyright (c) 1982, 2011, Oracle and/or its affiliates. All rights reserved.

Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options

Export file created by EXPORT:V11.02.00 via conventional path
import done in ZHS16GBK character set and AL16UTF16 NCHAR character set
. importing SCOTT's objects into SCOTT
. . importing table "BONUS" 0 rows imported
. . importing table "DEPT" 4 rows imported
. . importing table "EMP" 14 rows imported
. . importing table "SALGRADE" 5 rows imported
About to enable constraints...
Import terminated successfully without warnings.--此時匯入比較成功，沒有報錯了

知識延伸閱讀

測試的時候，本機oracle安裝採用了utf8字元集，而項目的要求是gbk字元集，為了防止以後有不同字元集資料資訊匯入匯出的問題，整理以下文檔。
修改oracle字元集新裝了oracle,裝為AL32UTF8格式,無奈一個工程匯出包是ZHS16GBK格式,想了想辦法轉換,以下是學習
一、什麼是oracle字元集
　　Oracle字元集是一個位元組資料的解釋的符號集合,有大小之分,有相互的包容關係。ORACLE 支援國家語言的體繫結構允許你使用本地化語言來儲存，處理，檢索資料。它使資料庫工具，錯誤訊息，排序次序，日期，時間，貨幣，數字，和日曆自動適應本地化語言和平台。

　　影響oracle資料庫字元集最重要的參數是NLS_LANG參數。它的格式如下:

　　NLS_LANG = language_territory.charset

　　它有三個組成部分(語言、地區和字元集)，每個成分控制了NLS子集的特性。其中:

　　Language 指定伺服器訊息的語言，territory 指定伺服器的日期和數字格式，charset 指定字元集。如:AMERICAN _ AMERICA. ZHS16GBK

　　從NLS_LANG的組成我們可以看出，真正影響資料庫字元集的其實是第三部分。所以兩個資料庫之間的字元集只要第三部分一樣就可以相互匯入匯出資料，前面影響的只是提示資訊是中文還是英文。

　　二、如何查詢Oracle的字元集

　　很多人都碰到過因為字元集不同而使資料匯入失敗的情況。這涉及三方面的字元集，一是oracel server端的字元集，二是oracle client端的字元集;三是dmp檔案的字元集。在做資料匯入的時候，需要這三個字元集都一致才能正確匯入。開始—運行—sqlplus，使用者名稱輸入：system as sysdba
密碼：XXXX

　　1、查詢oracle server端的字元集

　　有很多種方法可以查出oracle server端的字元集，比較直觀的查詢方法是以下這種:SQL>select userenv(‘language’) from dual;

　　結果類似如下:AMERICAN _ AMERICA. ZHS16GBK （本機結果SIMPLIFIED CHINESE_CHINA.AL32UTF8）

　　2、如何查詢dmp檔案的字元集

　　用oracle的exp工具匯出的dmp檔案也包含了字元集資訊，dmp檔案的第2和第3個位元組記錄了dmp檔案的字元集。如果dmp檔案不大，比如只有幾M或幾十M，可以用UltraEdit開啟(16進位方式)，看第2第3個位元組的內容，如0354，然後用以下SQL查出它對應的字元集:

　　SQL> select nls_charset_name(to_number('0354','xxxx')) from dual;

　　ZHS16GBK

　　如果dmp檔案很大，比如有2G以上(這也是最常見的情況)，用文字編輯器開啟很慢或者完全打不開，可以用以下命令(在unix主機上):

　　cat exp.dmp |od -x|head -1|awk '{print $2 $3}'|cut -c 3-6

　　然後用上述SQL也可以得到它對應的字元集。

　　3、查詢oracle client端的字元集

　　這個比較簡單。在windows平台下，就是註冊表裡面HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\HOME0\NLS_LANG 。還可以在dos視窗裡面自己設定，比如:

　　set nls_lang=AMERICAN_AMERICA.ZHS16GBK

　　這樣就隻影響這個視窗裡面的環境變數。

　　在unix平台下，就是環境變數NLS_LANG。

　　$echo $NLS_LANG

　　AMERICAN_AMERICA.ZHS16GBK

　　如果檢查的結果發現server端與client端字元集不一致，請統一修改為同server端相同的字元集。

　　三、修改oracle的字元集

　　上文說過，oracle的字元集有互相的包容關係。如us7ascii就是zhs16gbk的子集,從us7ascii到zhs16gbk不會有資料解釋上的問題,不會有資料丟失。在所有的字元集中utf8應該是最大,因為它基於unicode,雙位元組儲存字元(也因此在儲存空間上佔用更多)。

　　一旦資料庫建立後，資料庫的字元集理論上講是不能改變的。因此，在設計和安裝之初考慮使用哪一種字元集十分重要。根據Oracle的官方說明，字元集的轉換是從子集到超集受支援,反之不行。如果兩種字元集之間根本沒有子集和超集的關係，那麼字元集的轉換是不受oracle支援的。對資料庫server而言，錯誤的修改字元集將會導致很多不可測的後果，可能會嚴重影響資料庫的正常運行，所以在修改之前一定要確認兩種字元集是否存在子集和超集的關係。一般來說，除非萬不得已，我們不建議修改oracle資料庫server端的字元集。特別說明，我們最常用的兩種字元集ZHS16GBK和ZHS16CGB231280之間不存在子集和超集關係，因此理論上講這兩種字元集之間的相互轉換不受支援。

　　1、修改server端字元集(不建議使用)

　　在oracle 8之前，可以用直接修改資料字典表props$來改變資料庫的字元集。但oracle8之後，至少有三張系統資料表記錄了資料庫字元集的資訊，只改props$表並不完全，可能引起嚴重的後果。正確的修改方法如下:

　　$sqlplus /nolog

　　SQL>conn / as sysdba;

以上方法測試不行，用scott/tiger登陸sqlplus然後connect sys/sys as sysdba，然後輸入命令即可

　　若此時資料庫伺服器已啟動，則先執行SHUTDOWN IMMEDIATE命令關閉資料庫伺服器，然後執行以下命令:

　　SQL>STARTUP MOUNT;

　　SQL>ALTER SYSTEM ENABLE RESTRICTED SESSION;

　　SQL>ALTER SYSTEM SET JOB_QUEUE_PROCESSES=0;

　　SQL>ALTER SYSTEM SET AQ_TM_PROCESSES=0;

　　SQL>ALTER DATABASE OPEN;

　　SQL>ALTER DATABASE CHARACTER SET INTERNAL_USE ZHS16GBK; //跳過超子集檢測

　　SQL>ALTER DATABASE national CHARACTER SET INTERNAL ZHS16GBK;

這一行不起作用，執行後出錯ORA-00933: SQL 命令未正確結束，不過執行上一行命令已經生效，其他文章裡未提到本行。

　　SQL>SHUTDOWN IMMEDIATE;

　　SQL>STARTUP

　　2、修改dmp檔案字元集

　　上文說過，dmp檔案的第2第3位元組記錄了字元集資訊，因此直接修改dmp檔案的第2第3位元組的內容就可以‘騙’過oracle的檢查。這樣做理論上也僅是從子集到超集可以修改，但很多情況下在沒有子集和超集關係的情況下也可以修改，我們常用的一些字元集，如US7ASCII，WE8ISO8859P1，ZHS16CGB231280，ZHS16GBK基本都可以改。因為改的只是dmp檔案，所以影響不大。

　　具體的修改方法比較多，最簡單的就是直接用UltraEdit修改dmp檔案的第2和第3個位元組。比如想將dmp檔案的字元集改為ZHS16GBK，可以用以下SQL查出該種字元集對應的16進位代碼:

　　SQL> select to_char(nls_charset_id('ZHS16GBK'), 'xxxx') from dual;

　　0354

　　然後將dmp檔案的2、3位元組修改為0354即可。

　　如果dmp檔案很大，用ue無法開啟，就需要用程式的方法了。網上有人用java預存程序寫了轉換的程式(用java預存程序的好處是通用性教好，缺點是比較麻煩)。我在windows下測試通過。但要求oracle資料庫一定要安裝JVM選項。有興趣的朋友可以研究一下程式碼

在註冊表中更改ORACLE的字元集編碼方式的操作：regedit
註冊表路徑：HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\HOME0
把 NLS_LANG 的值從 SIMPLIFIED CHINESE_CHINA.ZHS16GBK
改為 AMERICAN_AMERICA.US7ASCII american_america.we8dec
PS:
Oracle UTF8 編碼問題
其實這是一個老問題，處理過多次了，每次都沒有記住，這次決定寫下來了。其實很簡單，
1）Oracle其實非常好，它會自動處理編碼的轉換。
2）用戶端（輸入資料的機器）保證自結資料不出錯就好了。
在這個基礎上，要用Oracle,並且用UTF8（多數情況下是為了應付多語言）儲存資料，只需要做兩件事情：
a)Oracle資料庫的執行個體的編碼設定為UTF8;(NLS_LANG=AMERICAN _ AMERICA.UTF8)
b)資料檔案是什麼編碼，就將用戶端設定為什麼編碼（例如NLS_LANG=AMERICAN _ AMERICA.ZHS16GBK 在註冊表中修改），然後用工具匯入資料。
就可以了--在Java程式中可以盡情使用UTF8來顯示中日韓等多國語言了

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

Sales Support

1 on 1 presale consultation

Chat Contact Sales
After-Sales Support

24/7 Technical Support 6 Free Tickets per Quarter Faster Response

Open a Ticket
Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

Learn More