C#下的异步编程及其同步机制

前几天公司内部有人搞了一个关于多线程及其同步问题的讲座，内容很丰富，覆盖面很广，让人听了大呼过瘾。他采取了横向铺陈的方法讲的，罗列了C#下异步编程方法和模式及各种同步机制，这种讲述方式对于熟悉这块的人来说总结一下，帮助很大，但对于新手有可能就云里雾里了。虽然我研究不深，但纵向讲一下这一块内容，对新手入门有可能会有所帮助，也算是自己对这块内容的一种总结。只讨论技术，不涉及细节和Demo。

    本篇文章涵盖一下几部分内容：

    1. 什么是异步编程，为什么会需要异步编程

    2. .NET下的异步编程及其发展

    3. .NET线程同步机制及线程间数据封送

    4. 异步模式

    5. 线程安全及异常处理

    6. 线程取消

什么是异步编程，为什么会需要异步编程

           这个世界上资源是受限的。但资源限制和懒惰一样促进了工业和科技的发展。在计算机方面举个例子，计算机非得是二进制吗？对计算机来说二进制最好吗？不是，这是由于当时工业水平限制，把电压分成两份表示0和1比分成三份更加方便且可靠；虚拟内存管理，Cache等技术都是由当时硬件条件所限逼出来的技术，同样异步编程和分布式编程也是。生活中的好多事物都不是线性的，拿学生时代的一个常见的例子说一下，明天开学，海量作业一点没写，于是找个同学作业抄一下，但在短时间内一个人很难抄得完，于是我花钱请了几个同学一起抄，把一份工作分给几个人去做，这就是异步了。但除去笔迹不同这么做没有一个人抄安全，有可能哥几个把一份内容重复抄了好几遍（线程安全），这期间万一笔，纸，橡皮没准备充分还得有一个资源争用，死锁的问题（同步的问题），哥几个抄得时候还会相互报一下各自进度（线程间数据封送），所以说这么干是有风险的我们就得有个机制避免这种风险的发生，异步编程和这个类似。

          那在编程中异步会用在什么地方呢？一个简单情形，图形界面程序，后台如果要连接数据库查询或写入海量数据或者进行I/O操作，界面会“假死”。之所以发生这种情况是这些处理都在UI线程中，这些操作占用UI线程时，任何拖动UI，点击按钮等操作都得不到及时响应。解决的方法是将这些需要长时间的操作放入一个新的线程异步操作，把UI线程解放出来。其它的应用比如海量数据计算，服务器响应客户端请求等等。

.NET下的异步编程及其发展

         首先说明一点，线程可以分为前台线程和后台线程。前台线程和吸血鬼差不多很恐怖，要想干死进程，就必须把所有的前台进程都干掉，UI线程就是前台线程。而后台线程就是二房生的儿子了，进程消亡后紧跟着死掉了，很明显的后台线程就是Word的拼写检查，或者outlook负责跟服务器同步更新邮件的线程。

        任何平台和编程语言都会有多线程的实现机制和方法。对于C#来讲Thread类就是创建线程，管理线程的一种最初始的手段。但是创建和销毁一个线程是很耗费资源的，而且创建的线程越多，线程间切换就越频繁（计算机CPU个数受限），线程切换也要耗费资源和时间，再加上线程管理是一件很费心的事，所以微软就引入了线程池的概念。线程池是一个先进先出FIFO的队列，程序员只需要把操作或者任务丢给线程池，让.NET framework替程序员管理线程，线程复用等，极大的简化了开发。这里就有一个控制线程池内线程数量的问题。线程池内的线程肯定得根据需要动态变化，但适应这种需要的算法是什么呢？

          一个简单的算法：往线程池中增加一些线程，观察线程池的吞吐量，如果增加后吞吐量增加，说明线程不够，需要增加线程。但这存在一个问题，对于一个很大的任务需要长时间占用线程，增加线程并不能增加吞吐量，此时如果增加线程会加重负担。所以在CLR v4时引入了本地队列（Local  Queue）的概念，如果一个线程内创建了另一个线程，新创建的线程不再丢给全局队列，而是给本地队列排队等候调用。这就又有个问题，如果一个队列内任务执行完了，而另一个队列还有好多怎么办？那就让执行完任务的本地队列从该队列上“偷“一个线程执行。这样达到负载均衡。当然线程池的算法会随着CLR版本升级而不断演进，更加智能的管理线程。对普通开发者而言可以不用考虑这些细节，无缝的体验线程池带来的便利和效率就行了。                   

       线程池如此方便，我们怎么使用线程池呢？可以通过以下几种方式：

• 通过类方法ThreadPool.QueueUserWorkItem直接调用。
• 通过.net Framework 4.0 引入的TPL（Task Parallel Library）任务并行库。

         TPL中最主要的两个类是Task和Parallel。而新版C++标准中也引入了类似的概念parallel_for, parallel_foreach, parallel_invoke等。

         详细信息见以下链接。

• 通过异步委托（BeginInvoke/EndInvoke）调用。
• 通过BackgroundWorker, BackgroundWorker是WinForm， WPF下的一个控件，主要用于提供UI控件下的协作式取消，进度报告等。

        这里我还要讲一下PFX（Parallel FrameWork）。PFX从概念上可以分为数据并行和任务并行。

上层的由两个结构化数据并行APIs组成：PLINQ和Parallel类。而底层的任务并行包含了Task 类和一系列的附属结构用于帮助并行编程。注意PFX是建立在线程池之上的，是更好使用线程池的一种途径，有说法说是用TPL比直接使用线程池效率更高。关于PLINQ，Task，Parallel类及上图所列结构的使用请参考一下链接。

NET线程同步机制及线程间数据封送

        首先.Net的同步机制是干什么的？概况来讲是为了安全。同步机制的存在是因为异步操作是不安全的，会带来一系列的问题，这些问题在第一章节中已经讨论过了。而线程间数据封送和COM与.Net framework数据封送一样，是为了线程间数据和状态的传递。

那么.net的同步机制有哪些呢？概括一下：

1.   简单的锁定方法：Thead类的Sleep, Join等以及Task的Wait方法。
2.   基于对象的锁定:

                 lock（Monitor.Enter/Monitor.Exit）:首先强调一下它不可以跨进程间线程同步。一般跨进间线程同步都有一个特征，就是同步对象都有名字。

                 Mutex和Semophore（slim）：这两个都可以跨进程同步，两者的区别在于：Mutex只能有一等待资源，而Semophore可以有多个。拿厕所举例，Mutex相当于厕所中只有一个蹲位，只能一个上了才能上另一个，而Semophore可以有多个蹲位，可以让多个线程同时阻塞一个线程的执行。就是n个哥们一起蹲着，又来一哥们，然后这n个哥们就占着那啥不那啥。

                 Reade/Writer 锁。

     3.基于信号

                事件等待句柄AutoResetEvent， ManualResetEvent（Slim）：注意这两个也是允许跨进程的，两者用法差不多，使一个线程释放一个信号从而使得其他线程能够执行。

                CountdownEvent（4.0被引入）：这个和上边用法正好相反，它使得一个线程等待收到其他线程的信号后再执行。

                Barrier

                Wait and pulse

     4. 非阻塞的同步结构

                Thread.MemoryBarrier

                Thread.VolatileRead/Write

                Interlocaked   

　　关于以上同步机制具体应用和Demo代码请参考以下链接。

　　而关于线程间数据封送，一个很好的例子就是点击button后开始在新线程中执行某个操作，但执行过程需要在一个label上显示出来，这时候就需要把新线程内表示执行状态的数据对象封送回UI线程。这部分内容可以参考我以前写的一篇帖子：http://www.cnblogs.com/salomon/archive/2012/06/28/2567339.html。                        

异步模式

　   什么需要异步模式？所谓模式，其实是一种方法，就跟上篇博客里所讲的，是从工程实践中总结出来的解决相似或特定问题的一种惯用手段。常见的异步模式包括:

      APM模式： BeginXXX/EndXXX, IAsyncResult

      EAP模式（基于事件的异步模式）

           Windows Form

           MethodNameAsync

           Event

     TAP（基于任务的异步模式）

           MethodNameAsync

           Task/Task<Result>

     这部分内容以下链接讲得很好了，感兴趣可以看一下。更详尽的介绍去MSDN或者官方网站上去找相似的文档。

线程安全及异常处理

　  新线程中抛出的异常会不会自动封送到主线程中？如何处理新线程中抛出的异常？什么是线程安全？怎样做到线程安全？

线程取消

　  正在执行的线程怎么能不能取消，怎么取消合适？暴力取消？协作式取消？

C#5.0新的异步模式Async和await关键字

　  请参考我以前的博客：http://www.cnblogs.com/salomon/archive/2012/06/27/2565862.html

     后几章内容实在写不下去了，先提出问题，以后再补上吧。另外关于讲座PPT视频的内容，不知道原作者是否乐意分享，征得他本人同意后我会附上链接。

References：

http://www.albahari.com/threading/（详尽的C#线程介绍）

http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx（线程池介绍）

http://www.codeproject.com/Articles/152765/Task-Parallel-Library-1-of-n（TPL的介绍）

http://www.cnblogs.com/scy251147/archive/2012/03/03/2378477.html（异步模式介绍）

http://www.codeproject.com/Articles/80825/Concurrency-Runtime-in-Visual-C-2010（C++中的并行库）

http://www.cnblogs.com/yuyijq/archive/2011/02/20/1958925.html

http://www.cnblogs.com/yuyijq/archive/2011/02/22/1960273.html

http://www.cnblogs.com/Zhouyongh/archive/2009/08/31/1557126.html

http://www.cnblogs.com/zhouyongh/archive/2011/01/12/1933414.html

 

分类: C#

做有中国特色的程序员

从出版业说起

网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。

博客园里有许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可能很违背某人的学习习惯，就感觉不好了。

所以说网络是块神奇的空间，很能造就高手，而网络高手是绝对不能小瞧的。

 

建筑工程

建筑工程不乏豆腐杂，但比起软件工程来说，豆腐杂的概率还是很小的。做软件，很可能某程序员在开发阶段一天没干一点正事，但在建筑行业，除非是收尾阶段，否则绝对不可能一个工人一天没干一点活儿。建筑工人还是很较挣钱的，但绝对是血汗钱。程序员还真不一定是血汗钱，因为软件工程没有建筑业成熟，常常因为分配不当，很多程序员每天在干无用功。建筑工人的门槛相对低一些，但也并非容易达到熟练水平，就算那个最低等的搬砖推灰的小工，至少想达到这个水准，你得身体力气跟得上，一月没有一天休息你得熬得住，想想都不容易。

 

中国软件的用处

软件不一定验收了就是有用的，在我看来，一款软件要想达到有用，至少实现以下功能之一：

1，为使用者节省了时间

2，为使用者节省了人力

3，为使用者带来了方便

4，为使用者带来了知识

5，使使用者能做到某种难以实现的事情

6，为使用者带来了快乐（比如游戏）

7，为使用者节省了资源

8，辅助使用者做出了判断

9，为使用者解决了某些问题

10，为使用者提供了资源

 

而有很多软件做出来以后，使用者不用吧已花了钱了，用吧什么也没带来，还得为学习这款软件而费时费力，得不偿失。

但有一个很悲观的消息，除了网络软件之外（包括网站），凡有用的软件中国人都习惯白去使用。而花了一大笔钱的软件，往往带来的好处不多。不是一点没有，是性价比太差。所以现状是：有用的软件没市场，有市场的软件用处有限。多尴尬的事。

而以上的一切带来的现状是：除了网络性软件外，中国的软件挣钱不容易。

 

程序员的被动

如果程序员做的东西要不挣不了钱，要不挣了钱反而让客户感觉不值，这样的话，程序员的价值就降低了。这样，建筑工人灌一天的水泥往往没白干，而程序员开发一周的工作往往白干，这是常事儿。

这使程序的技术定位很尴尬，在中国，说句实话，不是每个程序员都能天天用到内存管理，就连最基础的算法也都被高级语言封装好了，当然也有很多低层的程序员，所以大家不用跟我争这个，最主要的是，高级语言、业务需求、工期决定了有很多编码与操作系统、算法、内存等等越来越脱节，这样的话，很多程序员干了若干年，特定业务熟悉了很多，但编程最基础的知识反而渐渐忘去。这就出现了，让市面上很多程序员去做个基本的数据结构与算法（比如有向图，再比如好像是老赵说的排序），反而不会。这找谁说理去？还不如建筑工人呢,人家说会刷涂料真还做的不错。

有些公司，销售、行政、甚至实施人员都比程序员有优势，他们眼中这群天天如高僧般坐在那儿的人，占公司大半人数，反而做的贡献不多，反而让他们辛苦开拓的客户群都在谩骂。

程序员，好被动。

 

不按套路出牌的中国人

中国到处都有不按套路出牌的现象：不用正版，不守时，造假，山寨，不排队，地沟油，不按合同办事，以次充好，没服务。这是种坏氛围，以至于每天每个人都习惯了这样规律，反而麻木了，不认为这是不对的，就如同我（我也不敢说你也是）每天白看人家的书白用人家的软件，而没有感觉自己有多少罪恶感。

 

中国程序员的出路

中国程序员也有做好的，虽然其最优秀的那些拿到国际上什么也不是，但毕竟能达到不被动，能用自己的努力使生活美好起来的还是很多的。总结一下，有如下几种：

1，教育型，主要是学知识，写书，讲课。

2，自由型，主要是为自己打工，做好的小团队软件，以积累用户而达到做有用的软件，挣有价值的钱。

3，业务人际型，一般都走向偏管理的路子，用高级语言，对数据库、报表、服务器和某个业务领域精通。

4，高级白领型，以进入国际大公司做核心项目为主，因为待遇好，属于打工仔里的高富帅。

5，创业型，当老板，或许这个已不是纯粹的程序员了，所以这个只能算半个。

以上几种路都可以走，但大多数程序员都还不在这5类之中，都是在某些公司不温不火的为生存努力着。

 

读技术书籍未必就真是无敌之出路

我常爱说，会中国常用的三千字写不了个好文章的话，学会中国八万汉字也未必就能写出来。同样，市面上的程序员如果去实现个初期的Facebook大多数还是能做到的，但你会这些知识还不能做出一个像Facebook一样有用的软件，那么你再精读了操作系统、设计模式、代码大全、算法导论......也还是照样做不出来。所以我很反感网上列的程序员必读书目，一列就是五十大本，你花十年啃完这五十本，你还能写代码吗？

 

从环境入手，找到自己所缺少的知识与资源，突破再突破

个人感觉程序员首先应该定位目标，然后界定目标所涉及的环境圈，在环境圈的范围内捕捉问题，界定自己的知识与资源范围，有目标的展开学习与环境方面的突破，这样更适合程序员。

也就是说，你要是教育型的，你在你所涉及的知识范围里要细到知识点；但你是自由型的话，还没必要都细到点，否则你天天不是在开发了，而是在学习了。如果是业务人际型，可能你对操作系统、网络什么的不必要了解太细了，但业务得精纯。

 

尽可能缩小范围，持之以恒是关键

其实不管是技术还是人际，所涉及的学问是无边的，如果都要学精再去做事，我想这样的话就没有做事的机会了。所以尽可能缩小知识领域的范围，比如上面我分5类人才，就是缩小了一层范围，但是这还是很粗的。假如你是教育型的，你想教会大家用设计模式，那尽可能先不要去学习WPF，先把设计模式搞到专家地步再说。此间道理，我想大家是可以理解的。

 

结束语

写了这么多，其实我并非在教育谁，我没有这个资格。博客园高人一把一把的，怎么能轮到我来说教。目的只有一个，想找到程序员的出路，想让程序员不那么民工（或码农)。大家是拍砖也好，送花也罢，这都是对我有帮助的，毕竟我也是在摸索当中。我不喜欢那些写类似《如何让程序员成为百万富翁》而自己连十万都没有的作者，但我确不反对作者们抛砖引玉。

 

 

 

分类: 程序问题, 计算机问题, 生活问题