• SQLite事务 SQLite插入多条语句为什么这么慢?.net (C#)


    今天有个朋友测试 SQLite,然后得出的结论是:
    SQLite 效率太低,批量插入1000条记录,居然耗时 2 分钟!
    下面是他发给我的测试代码。我晕~~~~~~  

    using System.Data;
    using System.Data.Common;
    using System.Data.SQLite;
    
    // 创建数据库文件
    File.Delete("test1.db3");
    SQLiteConnection.CreateFile("test1.db3");
    
    DbProviderFactory factory = SQLiteFactory.Instance;
    using (DbConnection conn = factory.CreateConnection())
    {
      // 连接数据库
      conn.ConnectionString = "Data Source=test1.db3";
      conn.Open();
    
      // 创建数据表
      string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)";
      DbCommand cmd = conn.CreateCommand();
      cmd.Connection = conn;
      cmd.CommandText = sql;
      cmd.ExecuteNonQuery();
    
      // 添加参数
      cmd.Parameters.Add(cmd.CreateParameter());
      
      // 开始计时
      Stopwatch watch = new Stopwatch();
      watch.Start();
      
      // 连续插入1000条记录
      for (int i = 0; i < 1000; i++)
      {
        cmd.CommandText = "insert into [test1] ([s]) values (?)";
        cmd.Parameters[0].Value = i.ToString();
    
        cmd.ExecuteNonQuery();
      }
    
      // 停止计时
      watch.Stop();
      Console.WriteLine(watch.Elapsed);
    }

    哎~~~~ 一个常识性的错误,我加几行代码 (新增代码标记 "// <-------------------")。

    using System.Data;
    using System.Data.Common;
    using System.Data.SQLite;
    
    // 创建数据库文件
    File.Delete("test1.db3");
    SQLiteConnection.CreateFile("test1.db3");
    
    DbProviderFactory factory = SQLiteFactory.Instance;
    using (DbConnection conn = factory.CreateConnection())
    {
      // 连接数据库
      conn.ConnectionString = "Data Source=test1.db3";
      conn.Open();
    
      // 创建数据表
      string sql = "create table [test1] ([id] INTEGER PRIMARY KEY, [s] TEXT COLLATE NOCASE)";
      DbCommand cmd = conn.CreateCommand();
      cmd.Connection = conn;
      cmd.CommandText = sql;
      cmd.ExecuteNonQuery();
    
      // 添加参数
      cmd.Parameters.Add(cmd.CreateParameter());
      
      // 开始计时
      Stopwatch watch = new Stopwatch();
      watch.Start();
      
      DbTransaction trans = conn.BeginTransaction(); // <-------------------
      try 
      {
        // 连续插入1000条记录
        for (int i = 0; i < 1000; i++)
        {
          cmd.CommandText = "insert into [test1] ([s]) values (?)";
          cmd.Parameters[0].Value = i.ToString();
    
          cmd.ExecuteNonQuery();
        }
    
        trans.Commit(); // <-------------------
      }
      catch
      {
        trans.Rollback(); // <-------------------
        throw; // <-------------------
      }
    
      // 停止计时
      watch.Stop();
      Console.WriteLine(watch.Elapsed);
    }

    执行一下,耗时 0.2 秒。这差距是不是太大了点? 

    为什么只是简单启用了一个事务会有这么大的差距呢?很简单,SQLite 缺省为每个操作启动一个事务,那么原代码 1000 次插入起码开启了 1000 个事务,"事务开启 + SQL 执行 + 事务关闭" 自然耗费了大量的时间,这也是后面显示启动事务后为什么如此快的原因。其实这是数据库操作的基本常识,大家要紧记,不好的代码效率差的不是一点半点。

  • 相关阅读:
    聊聊自动化的打开方式
    浅谈如何提高自动化测试的稳定性和可维护性 (pytest&allure)
    Jmeter做压力测试的心得
    为什么测试人员必须掌握Linux?
    数据结构与算法系列 目录
    高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备
    Fastdfs文件系统扩容
    Linux下FastDFS分布式存储-总结及部署记录
    How to setup a Alpine Linux mirror
    修改内核参数开启转发
  • 原文地址:https://www.cnblogs.com/smiler/p/3259842.html
Copyright © 2020-2023  润新知