• C# 多线程处理List数据


    代码思路

    将要处理的数据放到ConcurrentQueue中,然后开启多个线程去处理数据,处理完成后,再到队列中获取下一个待处理数据。

    ConcurrentQueue 表示线程安全的先进先出 (FIFO) 集合,属于 System.Collections.Concurrent 命名空间下的一个数据结构

    直接上代码

    /// <summary>
    /// 多线程处理数据(无返回值)
    /// </summary>
    /// <typeparam name="T">数据类型</typeparam>
    /// <param name="list">待处理数据</param>
    /// <param name="action">数据处理方法(有参数无返回值)</param>
    /// <param name="count">处理线程数量</param>
    /// <param name="waitFlag">是否等待执行结束</param>
    static void RunTask<T>(List<T> list, Action<T> action, int threadCount = 5, bool waitFlag = true)
    {
        ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list);
        Task[] tasks = new Task[threadCount];
        for (int i = 0; i < threadCount; i++)
        {
            tasks[i] = Task.Run(() =>
              {
                  while (queue.TryDequeue(out T t))
                  {
                      action(t);
                  }
              });
        }
        if (waitFlag)
        {
            Task.WaitAll(tasks);
        }
    }
    
    /// <summary>
    /// 多线程处理数据(返回处理后列表)
    /// </summary>
    /// <typeparam name="T">数据类型</typeparam>
    /// <param name="list">待处理数据</param>
    /// <param name="func">数据处理方法(有参数有返回值)</param>
    /// <param name="threadCount">处理线程数量</param>
    /// <returns>数据处理后结果</returns>
    static List<T> RunTask<T>(List<T> list, Func<T, T> func, int threadCount = 5)
    {
        var result = new List<T>();
        ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list);
        Task<List<T>>[] tasks = new Task<List<T>>[threadCount];
        for (int i = 0; i < threadCount; i++)
        {
            tasks[i] = Task.Run<List<T>>(() =>
            {
                var rList = new List<T>();
                while (queue.TryDequeue(out T t))
                {
                    rList.Add(func(t));
                }
                return rList;
            });
        }
        Task.WaitAll(tasks);
        for (int i = 0; i < threadCount; i++)
        {
            result.AddRange(tasks[i].Result);
        }
        return result;
    }
    

    调用方法

    List<int> list = new List<int>() { 1, 2, 3, 4, 5, 6, 7, 8, 9 };
    //输出列表中的数据,且加上“action”字符前缀
    RunTask<int>(list, d => { Console.WriteLine("action" + d); });
    
    //对列表中数据都执行 “*2” 的操作
    var result = RunTask<int>(list, d => { return d * 2; });
    result.ForEach(d => Console.WriteLine(d));
    

    最后的话

    上面的代码只是简单的实现了对数据的处理,并没有考虑到对内存的使用限制,一般的项目中使用还是可以的。
    最后我尝试了下,生成一个100M的列表,然后将其加载到ConcurrentQueue,监控程序内存占用,发现没有很大的内存占用变化。

  • 相关阅读:
    PCA算法---实验代码完整版(实验代码+数据集下载)
    ubuntu 系统 anaconda 虚拟环境下各种包的安装常用命令
    真实机下 ubuntu 18.04 安装GPU +CUDA+cuDNN 以及其版本选择(亲测非常实用)
    ubuntu 18.04/16.04/14.04 双硬盘分区方案
    如何制作 linux 系统 U盘启动盘
    pandas系列 read_excel() 和 to_excel()各参数详解
    pandas系列 read_csv 与 to_csv 方法各参数详解(全,中文版)
    pycharm 修改程序运行所需内存
    如何利用pandas 将excel文件与csv文件进行相互转化
    python读取文件时提示"UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multi
  • 原文地址:https://www.cnblogs.com/cplemom/p/11923115.html
Copyright © 2020-2023  润新知