• 去除DataTable重复数据的三种方法


    https://www.cnblogs.com/sunxi/p/4767577.html
    第二种中增加变量。 string name,保存 遍历的到的 i的 name值。倒叙遍历,如果 与之相等。那么就移除 i+1的数据

    业务需求

    最近做一个把源数据库的数据批次导出到目标数据库。源数据库是采集程序采集而来的原始数据库,所以需要对其进行一些处理(过滤一些为空,长度太短或太长,非法字符,重复数据)然后在进行入库。

    其中要避免目标库插入重复数据。这重复数据可能是源数据库本身就有重复数据,还有就是已经插入避免重复插入。

    过滤自身重复数据解决方案

    第一种:采用DataView.ToTable()方法

    DataView.ToTable 方法

    .NET Framework 2.0
     
    根据现有 DataView 中的行,创建并返回一个新的 DataTable

    重载列表

     
    名称说明
    DataView.ToTable () 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    DataView.ToTable (String) 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    DataView.ToTable (Boolean, String[]) 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    DataView.ToTable (String, Boolean, String[]) 根据现有 DataView 中的行,创建并返回一个新的 DataTable

    由 .NET Compact Framework 支持。

    实例代码

    复制代码
     public static DataTable Distinct(DataTable dt, string[] filedNames)
            {
                DataView dv = dt.DefaultView;
                DataTable DistTable = dv.ToTable("Dist", true, filedNames);
                return DistTable;
            }
    复制代码

    第二种方法:循环遍历+DataTable.Select()

    利用for循环遍历DataTable的数据行,利用DataTable.Select 方法判断是否重复,如果重复,则利用DataTable.Rows.RemoveAt(Index)删除重复的那一行。

    具体看代码。

    代码示例

    复制代码
     public DataTable GetDistinctSelf(DataTable SourceDt, string filedName)
            {
     for (int i = SourceDt.Rows.Count - 2; i > 0; i--)
                {
                    DataRow[] rows = SourceDt.Select(string.Format("{0}='{1}'", filedName, SourceDt.Rows[i][filedName]));
                    if (rows.Length > 1)
                    {
                        SourceDt.Rows.RemoveAt(i);
                    }
                }
             return SourceDt;
    
        }</span></pre>
    
    复制代码

    第三种方法

    利用双循环遍历(不推荐)

    复制代码
     public DataTable GetDistinctSelf(DataTable SourceDt, string filedName)
            {
                for (int i = SourceDt.Rows.Count - 2; i > 0; i--)
                {
                    string title = SourceDt.Rows[0][filedName].ToString();
                    for (int j = i + 1; j > 0; i--)
                    {
                        if (SourceDt.Rows[j][filedName].ToString() == title)
                        {
                            SourceDt.Rows.RemoveAt(i);
    
                    }
                }
    
            }
            </span><span style="color: rgba(0, 0, 255, 1)">return</span><span style="color: rgba(0, 0, 0, 1)"> SourceDt;
          }</span></pre>
    
    复制代码
  • 相关阅读:
    docker 打包镜像并传输
    bytes函数——字节
    python——多线程
    Golang基础——随机数rand.Seed
    Golang基础——数据类型:数组
    property 和 setter 装饰器
    qrc文件使用
    SQL优化——索引
    mysql结构及存储引擎
    css样式重置以及定位
  • 原文地址:https://www.cnblogs.com/sunny3158/p/14327661.html
Copyright © 2020-2023  润新知