• C# 多线程处理List数据


    代码思路

    将要处理的数据放到ConcurrentQueue中,然后开启多个线程去处理数据,处理完成后,再到队列中获取下一个待处理数据。

    ConcurrentQueue 表示线程安全的先进先出 (FIFO) 集合,属于 System.Collections.Concurrent 命名空间下的一个数据结构

    直接上代码

    /// <summary>
    /// 多线程处理数据(无返回值)
    /// </summary>
    /// <typeparam name="T">数据类型</typeparam>
    /// <param name="list">待处理数据</param>
    /// <param name="action">数据处理方法(有参数无返回值)</param>
    /// <param name="count">处理线程数量</param>
    /// <param name="waitFlag">是否等待执行结束</param>
    static void RunTask<T>(List<T> list, Action<T> action, int threadCount = 5, bool waitFlag = true)
    {
        ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list);
        Task[] tasks = new Task[threadCount];
        for (int i = 0; i < threadCount; i++)
        {
            tasks[i] = Task.Run(() =>
              {
                  while (queue.TryDequeue(out T t))
                  {
                      action(t);
                  }
              });
        }
        if (waitFlag)
        {
            Task.WaitAll(tasks);
        }
    }
    
    /// <summary>
    /// 多线程处理数据(返回处理后列表)
    /// </summary>
    /// <typeparam name="T">数据类型</typeparam>
    /// <param name="list">待处理数据</param>
    /// <param name="func">数据处理方法(有参数有返回值)</param>
    /// <param name="threadCount">处理线程数量</param>
    /// <returns>数据处理后结果</returns>
    static List<T> RunTask<T>(List<T> list, Func<T, T> func, int threadCount = 5)
    {
        var result = new List<T>();
        ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list);
        Task<List<T>>[] tasks = new Task<List<T>>[threadCount];
        for (int i = 0; i < threadCount; i++)
        {
            tasks[i] = Task.Run<List<T>>(() =>
            {
                var rList = new List<T>();
                while (queue.TryDequeue(out T t))
                {
                    rList.Add(func(t));
                }
                return rList;
            });
        }
        Task.WaitAll(tasks);
        for (int i = 0; i < threadCount; i++)
        {
            result.AddRange(tasks[i].Result);
        }
        return result;
    }
    

    调用方法

    List<int> list = new List<int>() { 1, 2, 3, 4, 5, 6, 7, 8, 9 };
    //输出列表中的数据,且加上“action”字符前缀
    RunTask<int>(list, d => { Console.WriteLine("action" + d); });
    
    //对列表中数据都执行 “*2” 的操作
    var result = RunTask<int>(list, d => { return d * 2; });
    result.ForEach(d => Console.WriteLine(d));
    

    最后的话

    上面的代码只是简单的实现了对数据的处理,并没有考虑到对内存的使用限制,一般的项目中使用还是可以的。
    最后我尝试了下,生成一个100M的列表,然后将其加载到ConcurrentQueue,监控程序内存占用,发现没有很大的内存占用变化。

  • 相关阅读:
    Python 中多线程之 _thread
    Python ftplib 模块关于 ftp的下载
    nessus 漏洞扫描安装和使用
    实战medusa暴力破解
    浅谈python 中正则的一些函数
    一句话木马和中国菜刀的结合拿webshell
    浅说套接字socket做个小小的监控
    小巧的ssh客户端
    统计字符串的数字,英文字母,空格及其他的个数
    mysql字符串函数
  • 原文地址:https://www.cnblogs.com/cplemom/p/11923115.html
Copyright © 2020-2023  润新知