C#利用ODP.NET往oracle中高效插入百万数据
由于工作的原因,要使用winform来处理大量的数据,但是c#自带的System.data.OracleClient效率不是很高,在网上找了很久,找到了ODP.NET,是oracle为c#提供的。貌似从vs2010开始,微软开始推荐使用ODP.NET。效率的话,在没有索引的情况下,100万数据,不到10秒。
1.从官网上下载ODAC,如果你是32位的机器,那下载32的;64位的,就下载64的。我的win7, 64位,所以我下载的是ODAC1120320_x64,具体地址:
64位:http://www.oracle.com/technetwork/database/windows/downloads/index-090165.html
32位:http://www.oracle.com/technetwork/developer-tools/visual-studio/downloads/index.html
2.解压,然后点击 setup.exe 安装,然后在这个地址:D:app12product11.2.0client_1odp.netin2.x
双击 OraProvCfg.exe,会自动配置环境
3.在安装的目录下,依次找到以下dll:
oci.dll ociw32.dll Oracle.DataAccess.dll orannzsbb11.dll oraocci11.dll oraociicus11.dll OraOps11w.dll
然后将这些dll放到bindebug目录下(这里是c/s项目,b/s的话貌似放在bin目录下)
4.在项目中,添加引用,就可以使用了,用法跟自带的System.data.OracleClient差不多
5.批量插入:
1 //设置一个数据库的连接串 2 string connectStr = "User Id=scott;Password=tiger;Data Source="; 3 OracleConnection conn = new OracleConnection(connectStr); 4 OracleCommand command = new OracleCommand(); 5 command.Connection = conn; //到此为止,还都是我们熟悉的代码,下面就要开始喽 6 //这个参数需要指定每次批插入的记录数 7 command.ArrayBindCount = recc; 8 //在这个命令行中,用到了参数,参数我们很熟悉,但是这个参数在传值的时候 9 //用到的是数组,而不是单个的值,这就是它独特的地方 10 command.CommandText = "insert into dept values(:deptno, :deptname, :loc)"; 11 conn.Open(); 12 //下面定义几个数组,分别表示三个字段,数组的长度由参数直接给出 13 int[] deptNo = new int[recc]; 14 string[] dname = new string[recc]; 15 string[] loc = new string[recc]; 16 // 为了传递参数,不可避免的要使用参数,下面会连续定义三个 17 // 从名称可以直接看出每个参数的含义,不在每个解释了 18 OracleParameter deptNoParam = new OracleParameter("deptno", 19 OracleDbType.Int32); 20 deptNoParam.Direction = ParameterDirection.Input; 21 deptNoParam.Value = deptNo; command.Parameters.Add(deptNoParam); 22 OracleParameter deptNameParam = new OracleParameter("deptname", 23 OracleDbType.Varchar2); 24 deptNameParam.Direction = ParameterDirection.Input; 25 deptNameParam.Value = dname; 26 command.Parameters.Add(deptNameParam); 27 OracleParameter deptLocParam = new OracleParameter("loc", OracleDbType.Varchar2); 28 deptLocParam.Direction = ParameterDirection.Input; 29 deptLocParam.Value = loc; 30 command.Parameters.Add(deptLocParam); 31 Stopwatch sw = new Stopwatch(); 32 sw.Start(); 33 //在下面的循环中,先把数组定义好,而不是像上面那样直接生成SQL 34 for (int i = 0; i < recc; i++) 35 { 36 deptNo[i] = i; 37 dname[i] = i.ToString(); 38 loc[i] = i.ToString(); 39 } 40 //这个调用将把参数数组传进SQL,同时写入数据库 41 command.ExecuteNonQuery(); 42 sw.Stop(); 43 System.Diagnostics.Debug.WriteLine("批量插入:" + recc.ToString() 44 + "所占时间:" +sw.ElapsedMilliseconds.ToString());
6.上面的代码太乱,给一个已经封装好的批量插入的方法:
1 /** 2 * 批量插入数据 3 * @tableName 表名称 4 * @columnRowData 键-值存储的批量数据:键是列名称,值是对应的数据集合 5 * @conStr 连接字符串 6 * @len 每次批处理数据的大小 7 */ 8 public static int BatchInsert(string tableName, Dictionary<string, object> columnRowData, string conStr, int len) 9 { 10 if (string.IsNullOrEmpty(tableName)) 11 { 12 throw new ArgumentException("必须指定批量插入的表名称", "tableName"); 13 } 14 15 if (columnRowData == null || columnRowData.Count < 1) 16 { 17 throw new ArgumentException("必须指定批量插入的字段名称", "columnRowData"); 18 } 19 20 int iResult = 0; 21 string[] dbColumns = columnRowData.Keys.ToArray(); 22 StringBuilder sbCmdText = new StringBuilder(); 23 if (columnRowData.Count > 0) 24 { 25 //准备插入的SQL 26 sbCmdText.AppendFormat("INSERT INTO {0}(", tableName); 27 sbCmdText.Append(string.Join(",", dbColumns)); 28 sbCmdText.Append(") VALUES ("); 29 sbCmdText.Append(":" + string.Join(",:", dbColumns)); 30 sbCmdText.Append(")"); 31 32 using (OracleConnection conn = new OracleConnection(conStr)) 33 { 34 using (OracleCommand cmd = conn.CreateCommand()) 35 { 36 //绑定批处理的行数 37 cmd.ArrayBindCount = len; 38 cmd.BindByName = true; 39 cmd.CommandType = CommandType.Text; 40 cmd.CommandText = sbCmdText.ToString(); 41 cmd.CommandTimeout = 600;//10分钟 42 43 //创建参数 44 OracleParameter oraParam; 45 List<IDbDataParameter> cacher = new List<IDbDataParameter>(); 46 OracleDbType dbType = OracleDbType.Object; 47 foreach (string colName in dbColumns) 48 { 49 dbType = GetOracleDbType(columnRowData[colName]); 50 oraParam = new OracleParameter(colName, dbType); 51 oraParam.Direction = ParameterDirection.Input; 52 oraParam.OracleDbTypeEx = dbType; 53 54 oraParam.Value = columnRowData[colName]; 55 cmd.Parameters.Add(oraParam); 56 } 57 //打开连接 58 conn.Open(); 59 60 /*执行批处理*/ 61 var trans = conn.BeginTransaction(); 62 try 63 { 64 cmd.Transaction = trans; 65 iResult = cmd.ExecuteNonQuery(); 66 trans.Commit(); 67 } 68 catch (Exception ex) 69 { 70 trans.Rollback(); 71 throw ex; 72 } 73 finally 74 { 75 if (conn != null) conn.Close(); 76 } 77 78 } 79 } 80 } 81 return iResult; 82 } 83 84 /** 85 * 根据数据类型获取OracleDbType 86 */ 87 private static OracleDbType GetOracleDbType(object value) 88 { 89 OracleDbType dataType = OracleDbType.Object; 90 if (value is string[]) 91 { 92 dataType = OracleDbType.Varchar2; 93 } 94 else if (value is DateTime[]) 95 { 96 dataType = OracleDbType.TimeStamp; 97 } 98 else if (value is int[] || value is short[]) 99 { 100 dataType = OracleDbType.Int32; 101 } 102 else if (value is long[]) 103 { 104 dataType = OracleDbType.Int64; 105 } 106 else if (value is decimal[] || value is double[] || value is float[]) 107 { 108 dataType = OracleDbType.Decimal; 109 } 110 else if (value is Guid[]) 111 { 112 dataType = OracleDbType.Varchar2; 113 } 114 else if (value is bool[] || value is Boolean[]) 115 { 116 dataType = OracleDbType.Byte; 117 } 118 else if (value is byte[]) 119 { 120 dataType = OracleDbType.Blob; 121 } 122 else if (value is char[]) 123 { 124 dataType = OracleDbType.Char; 125 } 126 return dataType; 127 }
7.调用封装的方法:
8.完成。
对于服务器上的oracle版本问题,我们的是10g,但是我用的ODP是11g的,还是可以插入数据,没什么问题,貌似可以向下兼容