• Sql批量删除/插入


    在这里主要介绍下Sql批量插入的用法,让我们先看下批量删除一般如何来做。
    1.批量删除很简单,大家可能都用过:

       

    DELETE FROM TestTable WHERE ID IN (1, 3, 54, 68) --sql2005下运行通过

        当用户在界面上不连续的选择多项进行删除时,该语句比循环调用多次删除或多条delete语句中间加分号一次调用等方法都高效的多。

    2.批量插入的写法:

    代码
    sql写法:

    INSERT INTO TestTable SELECT
    1, 'abc' UNION SELECT 2, 'bcd' UNION SELECT 3, 'cde'
    --TestTable表没有主键,ID不是主键

    oracle写法:

    INSERT INTO TestTable SELECT
    1, 'abc' From daul UNION SELECT 2, 'bcd' From daul
    --TestTable表没有主键,ID不是主键

      曾经测试过,这种写法插入1000条数据比循环调用1000次insert或1000条insert语句简单叠加一次调用要高效得多,大概快20多倍(调试状态不是太准)。其实很简单,就用了个union(union all 也可以),但当时得出测试结果时还是很惊喜的。
      另外,union和union all是有区别的,UNION在进行表链接后会筛选掉重复的记录,所以在表链接后会对所产生的结果集进行排序运算,删除重复的记录再返回结果。 而UNION ALL只是简单的将两个结果合并后就返回。这样,如果返回的两个结果集中有重复的数据,那么返回的结果集就会包含重复的数据了。从效率上说,UNION ALL 要比UNION快很多,所以,如果可以确认合并的两个结果集中不包含重复的数据的话,那么就使用UNION ALL。

      但是要使用上述方法来进行批量插入的话,需要两个条件:

          1、表不能有主键或者主键是数据库默认的(sql用自动递增列,oracle用序列)

          2、组合sql语句时只能直接用字符串连接,不能用参数化sql语句的写法(就是在组合的sql中用@parm做占位符,再给Command对象添加Parameter)

        以上两条任意一条不满足,效率的提高都不明显。


        由于是考虑到大数据量的批量插入,于是我想到了ADO.NET2.0的一个新的特性:SqlBulkCopy。有关这个的性能,很早之前我是亲自做过性能测试的,效率非常高。

    代码
    private static long SqlBulkCopyInsert()
    {
    //Stopwatch stopwatch = new Stopwatch();
    //stopwatch.Start();
    DataTable dataTable = CreateDataTable();
    string passportKey;
    for (int i = 0; i < count; i++)
    {
    passportKey
    = Guid.NewGuid().ToString();
    DataRow dataRow
    = dataTable.NewRow();
    dataRow[
    0] = passportKey;
    dataTable.Rows.Add(dataRow);
    }

    SqlBulkCopy sqlBulkCopy
    = new SqlBulkCopy(connectionString);
    sqlBulkCopy.DestinationTableName
    = "Passport";
    sqlBulkCopy.BatchSize
    = dataTable.Rows.Count;
    //SqlConnection sqlConnection = new SqlConnection(connectionString);
    //sqlConnection.Open();
    if (dataTable!=null && dataTable.Rows.Count!=0)
    {
    sqlBulkCopy.WriteToServer(dataTable);
    }
    sqlBulkCopy.Close();
    //sqlConnection.Close();
    //stopwatch.Stop();
    //return stopwatch.ElapsedMilliseconds;
    }
  • 相关阅读:
    Python中常见字符串去除空格的方法总结
    Python多版本pip安装库的问题
    报错No module named IPython的解决方法
    Win10家庭版如何启用本地组策略
    Oracle 11gR2新建空表不分配Segment
    Hadoop Balance
    Hive报错之java.lang.NoClassDefFoundError: org/codehaus/jackson/JsonFactory
    Hive文件格式
    Hive报错之java.sql.SQLException: Field 'IS_STOREDASSUBDIRECTORIES' doesn't have a default value
    Oracle之Union与Union all的区别
  • 原文地址:https://www.cnblogs.com/chenbg2001/p/2029603.html
Copyright © 2020-2023  润新知