• NET大数据百万级


    .NET 百万级 大数据插入、更新 ,支持多种数据库

     

    功能介绍  (需要版本5.0.45)

    大数据操作ORM性能瓶颈在实体转换上面,并且不能使用常规的Sql去实现

    当列越多转换越慢,SqlSugar将转换性能做到极致,并且采用数据库最佳API

    操作数据库达到极限性能

    功能用法

    BulkCopy 性能远强于现有市场的 ORM框架,比 EFCore Efcore.Bulkextension 快30%

    BulkUpdate 吊打现有所有框架 是 EFCore Efcore.Bulkextension 2-3倍之快

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    //插入 100万 10秒不到
    db.Fastest<RealmAuctionDatum>().BulkCopy(GetList());//性能 比现有任何Bulkcopy都要快30%
     
     
    //更新
    db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList());//更新 吊打所有框架N倍,30列100万8秒更新完
    db.Fastest<RealmAuctionDatum>().BulkUpdate(GetList(),new string[]{"id"},new string[]{"name","time"})//无主键用法
     
     
    //表设置别名
    db.Fastest<RealmAuctionDatum>().AS("tableName").BulkCopy(GetList())

      

    数据库支持

    数据库 API 支持自增
    SqlSever 全支持

    MySql

    连接字符串要加AllowLoadLocalInfile=true

    全支持
    PgSql 全支持 否   
    Oracle BulkCopy

     

    性能测试

    插入方案SqlSugar VS EFCore  EFCore.BulkExtensions

    10万条数据 30列 ,可以看出EFCore.BulkExtensions在第一插入性能非常慢,正常情况下大数据插入也就比第一次

    在更新方面SqlSugar也利用了bulkCopy方式进行更新,这一方面.NET  除了EFCore.BulkExtensions

    并没有发现有相关的产品(收费除外), 在更新操作方案 SqlSugar基本上是独一无二的

    EFCore.BulkExtensions 缺点 只支持 SqlServer 并且性能不如SqlSugar

    使用疑问

    1.比如Sqlite ... 还不支持怎么办?

    答:Sqlite普通插入加上事务就已经是市场上优秀水平了 (后续争取在技术上有突破支持SQLITE)

    1
    db.Insertable(insertObj).ExecuteReturnIdentity();//普通插入并不慢 ,列不多情况1秒可以插入1万

    2.什么情况用db.Fastest

    答: db.Fastest主要是用于大数据插入、更新处理,如果1000条以下就没有必要使用了,毕竟支持的API没有普通插入丰富,

    在小数据插入上也并没有太多优势,db.Fastest性能主要强大1000以上的数据处理 

     

    老版本

    老版本可以这么用,性能不如db.Fastest

    1
    2
    3
    4
    5
    6
    7
    8
    //(3)、blukCopy插入
  • 相关阅读:
    每日立会2015-11-30
    Some Modern Softwares' drawbacks: User experience 12/29/2015
    Sprint 5 summary: UI 界面更新,Azure端部署和用户反馈分析 12/28/2015
    Daily Scrum 12/25/2015
    Daily Scrum 12/24/2015
    Daily Scrum 12/23/2015
    Daily Scrum 12/21/2015
    Daily Scrum 12/18/2015
    Daily Scrum 12/17/2015
    Performance standard (ALPHA release) 12/17/2015
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/15866591.html
Copyright © 2020-2023  润新知