SQL Server批量数据导出导入BCP使用

BCP简介

bcp是SQL Server中负责导入导出数据的一个命令行工具，它是基于DB-Library的，并且能以并行的方式高效地导入导出大批量的数据。bcp可以将数据库的表或视图直接导出，也能通过SELECT FROM语句对表或视图进行过滤后导出。在导入导出数据时，可以使用默认值或是使用一个格式文件将文件中的数据导入到数据库或将数据库中的数据导出到文件中

BCP执行方式

1. bcp通过控制台命令行执行
2. 通过调用SQL Server的一个系统存储过程xp_cmdshell以SQL语句的方式运行

*注：通过xp_cmdshell方式，需要启用xp_cmdshell

EXEC sp_configure 'show advanced options', 1
GO
RECONFIGURE
GO
EXEC sp_configure 'xp_cmdshell', 1
GO
RECONFIGURE
GO

BCP的参数说明

bcp共有四个动作可以选择。
(1) 导入。
这个动作使用in命令完成，后面跟需要导入的文件名。
(2) 导出。
这个动作使用out命令完成，后面跟需要导出的文件名。
(3) 使用SQL语句导出。
这个动作使用queryout命令完成，它跟out类似，只是数据源不是表或视图名，而是SQL语句。
(4) 导出格式文件。
这个动作使用format命令完成，后而跟格式文件名。
下面介绍一些常用的选项：
-f format_file
format_file表示格式文件名。这个选项依赖于上述的动作，如果使用的是in或out，format_file表示已经存在的格式文件，如果使用的是format则表示是要生成的格式文件。
-x
这个选项要和-f format_file配合使用，以便生成xml格式的格式文件。
-F first_row
指定从被导出表的哪一行导出，或从被导入文件的哪一行导入。
-L last_row
指定被导出表要导到哪一行结束，或从被导入文件导数据时，导到哪一行结束。
-c
使用char类型做为存储类型，没有前缀且以" "做为字段分割符，以" "做为行分割符。
-w
和-c类似，只是当使用Unicode字符集拷贝数据时使用，且以nchar做为存储类型。
-t field_term
指定字符分割符，默认是" "。
-r row_term
指定行分割符，默认是" "。
-S server_name[ instance_name]
指定要连接的SQL Server服务器的实例，如果未指定此选项，bcp连接本机的SQL Server默认实例。如果要连接某台机器上的默认实例，只需要指定机器名即可。
-U login_id
指定连接SQL Sever的用户名。
-P password
指定连接SQL Server的用户名密码。
-T
指定bcp使用信任连接登录SQL Server。如果未指定-T，必须指定-U和-P。
-k
指定空列使用null值插入，而不是这列的默认值。

**命令格式: bcp {dbtable | query} {in | out | queryout | format} 数据文件

[-m 最大错误数] [-f 格式化文件] [-e 错误文件]
[-F 首行] [-L 末行] [-b 批大小]
[-n 本机类型] [-c 字符类型] [-w 宽字符类型]
[-N 将非文本保持为本机类型] [-V 文件格式版本] [-q 带引号的标识符]
[-C 代码页说明符] [-t 字段终止符] [-r 行终止符]
[-i 输入文件] [-o 输出文件] [-a 数据包大小]
[-S 服务器名称] [-U 用户名] [-P 密码]
[-T 可信连接] [-v 版本] [-R 允许使用区域设置]
[-k 保留空值] [-E 保留标识值]
[-h"加载提示"] [-x 生成xml 格式化文件]

使用bcp导出数据

1. 使用bcp导出整个表或视图。

     --命令行执行使用密码连接

bcp OEDB.dbo.kqdata out c:a.txt -c -S "XXX.XXX.XXX.XXX" -U "sa" -P "password" 

bcp OEDB.dbo.kqdata out c:A.txt -c -S"XXX.XXX.XXX.XXX" -T --使用信任连接

--sql语句方式执行

EXEC master..xp_cmdshell 'bcp oedb.dbo.kqdata out c:a.txt -c  -U"sa" -P"password"'

2. 对导出过滤后的结果数据

EXEC master..xp_cmdshell 'bcp "SELECT TOP 1000 * FROM oedb.dbo.kqdata where kqdata<'2016-01-01'" queryout c:a.txt -c  -U"sa" -P"password"'

--取第10条到13条记录进行导出

EXEC master..xp_cmdshell 'bcp "SELECT TOP 20 * FROM oedb.dbo.kqdata" queryout c:a.txt -F 10 -L 13 -c -U"sa" -P"password"'

--导出成csv
Exec master..xp_cmdshell 'bcp "oedb.dbo.kqdata" out "c:a.csv" -c -t"," -r" " -T'

3.使用bcp导出格式文件

bcp不仅可以根据表、视图导入导出数据，还可以配合格式文件对导入导出数据进行限制。格式文件以纯文本文件形式存在，分为一般格式和xml格式。用户可以手工编写格式文件，也可以通过bcp命令根据表、视图自动生成格式文件

EXEC master..xp_cmdshell 'bcp "ltk.dbo.t480" format nul -f "C:Fromformat.xml" -x -c -t  -S "127.0.0.1" -U "xxx" -P "yyyy"'

--上述命令将t480表的结构生成了一个格式文件format.xml

注意之处：

a.命令与下面都可成功导出数据格式文件；请注意-f 、-S、-U、-P后有无空格都是一样的

EXEC master..xp_cmdshell 'bcp "ltk.dbo.t480" format nul -f"C:Fromformat2.xml" -x -c -t  -S"127.0.0.1" -U"sa" -P"yyyy"'

b.命令不可以换行，换行将导致输出失败，且没有提示，例如下面

           EXEC master..xp_cmdshell 'bcp "ltk.dbo.t480" format nul -f"C:Fromformat2.xml"
           -x -c -t -S"127.0.0.1" -U"xx" -P"yy"'

c.若是使用sql语句试图生成格式文件，则导致失败，例如：

EXEC master..xp_cmdshell 'bcp "select TraySerial,LotBarcode,Judgement,Cell,MachineID,OperatorID,DataTime from ltk.dbo.t480" format nul -f"C:Fromformat2.xml" -x -c -t -S"127.0.0.1" -U"sa" -P"yyyy"'

        d.所生成的格式文件，不仅可以用于bcp导入，也可应用于bulk导入

4.使用bcp导入数据

bcp可以通过in命令将上面所导出的a.txt再重新导入到数据库中
将数据导入到kqdata表中
EXEC master..xp_cmdshell 'bcp ohr.dbo.kqdata in c:a.txt -c -T'
导入数据也同样可以使用-F和-L选项来选择导入数据的记录行。
EXEC master..xp_cmdshell 'bcp ohr.dbo.kqdata in c:a.txt -c -F 10 -L 13 -T'
在导入数据时可以根据已经存在的格式文件将满足条件的记录导入到数据库中，不满足则不导入。
使用普通的格式文件
EXEC master..xp_cmdshell 'bcp ohr.dbo.kqdata in c:a.txt -F 10 -L 13 -c -f c:a_format.fmt -T'
使用xml格式的格式文件
EXEC master..xp_cmdshell 'bcp ohr.dbo.kqdata in c:a.txt -F 10 -L 13 -c -x -f c:a_format2.fmt -T'

导入csv格式文件
Exec master..xp_cmdshell 'bcp "ohr.dbo.kqdata" in "c:a.csv" -c -t"," -r" " -T'

导入文件示例：

导入文本数据样本如下

TraySerial,LotBarcode,Judgement,Cell,MachineID,OperatorID,DataTime
0004175,00615027A9N27D32BD0S,1,00,07,5105420648,2005/01/21 02:30:38
0003972,00615027A9N27D32BD0S,1,00,07,5105420648,2005/01/21 02:30:44
0001152,00615027A9N27D32BD0S,1,00,07,5105420648,2005/01/21 02:30:49
0004503,00615027A9N27D32BD0S,1,00,07,5105420648,2005/01/21 02:30:51

分析：数据字段使用“,”分隔符，行位是默认，所以应使用命令 -c -t"," 

Exec master..xp_cmdshell 'bcp "LTK.dbo.t490" in C:Fromdata.txt  -f C:Fromformat.xml -c -t","  -S "." -U "sa" -P "password"'

 

常见错误：

错误1：Error = [Microsoft][SQL Server Native Client 10.0]String data, right truncation

       原因：数据类型不一致导致，检查数据文件是否首行是列头，数据应该从数据文件的第二行开始,即命令中增加 -F 2

      错误2：

NULL
Starting copy...
NULL
0 rows copied.
Network packet size (bytes): 4096
Clock Time (ms.) Total : 1
NULL

原因：数据格式存在问题，可尝试先从数据库导出数据，然后再导入，测试成功后回头再比对两份文件的差异；