• 批量数据插入 (.Net, ODBC)


        我们有时候需要向数据库大量插入数据,这种情况下效率成了个关键问题。如果是数据进行转移,我们可以使用SqlBulkCopy类,还有一个很傻的办法就是将insert语句拼装一下,比如将100个sql语句连起来构成一个sql,然后执行。前面一种办法只适合转移数据,如果直接插入就不行了,后面那个办法有的数据库不支持。

        其实在.Net里我们可以用DataAdapter解决这个问题,不过方法比较土鳖。大体思路是用一个条件恒定不满足的select语句先获取表结构,Fill一个空的DataTable。然后用CommandBuilder构建增删改语句,最后批量的先将数据插入到这个DataTable里面,然后用DataAdapter的Update方法更新。这样会快很多。

        下面的例子向TimesTen数据库插入了100000条数据,使用了.Net的ODBC接口,在我电脑上(intel i3 530, 4G)的运行时间是59.7秒。当然,代码比较糙,还有待优化。

    1
    2 using (OdbcConnection con =new OdbcConnection("Dsn=TimesTenClient"))
    3 {
    4 OdbcCommand command =new OdbcCommand("SELECT * FROM PEOPLE WHERE 1=2",con);
    5 OdbcDataAdapter adapter =new OdbcDataAdapter(command);
    6 OdbcCommandBuilder cmdBuilder =new OdbcCommandBuilder(adapter);
    7 var dt =new DataTable();
    8 adapter.Fill(dt);
    9
    10 int count =0;
    11 for (int i =0; i <100000; i++)
    12 {
    13 if (count >1000)
    14 {
    15 adapter.Update(dt);
    16
    17 dt.Rows.Clear();
    18 count =0;
    19 }
    20 dt.Rows.Add(i, "alala");
    21 Show.Show(i.ToString());
    22 Show.ShowLine();
    23 ++count;
    24 }
    25 }
  • 相关阅读:
    快速幂算法
    素数筛
    数论知识点总结
    ABOUT MY NAME
    CF1043F Make It One
    树形DP
    魔兽世界联盟8.1主线任务
    模板std::mutex用法:
    【转】正确的提问方式
    第一个Python游戏窗口
  • 原文地址:https://www.cnblogs.com/alala666888/p/1932315.html
Copyright © 2020-2023  润新知