编者按:近日。由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办的2018全球人工智能与机器人峰会(CCF-GAIR)在深圳召开。在大会的医疗影像专场中。微软亚洲研究院副院长张益肇发表了题为“弱监督学习在医学影像中的探索”的精彩演讲,展望了弱监督学习在人工智能医疗领域中的应用前景。 本文转自微信公众号“雷锋网”。
以下是张益肇博士的精彩演讲内容:
感谢主办方提供机会,让我介绍微软在医学影像领域的探索。
我今天的演讲分为三部分:首先。介绍机器学习和人工智能在医疗领域的机会;其次,介绍我们过去使用的一个算法——弱监督学习。以及它为什么在医学影像领域特别有效;最后,介绍微软在医学影像领域的实践案例。包含北京、印度和剑桥的同事做的一些案例。
希望今天能通过非常短的时间给大家一个印象,让大家了解微软对医疗的看法,以及人工智能在医疗方面的应用。
人工智能在医疗领域的机遇首先分享一个好消息。粗略统计。今天台下听众本人是90后或孩子是90后的人占到了70-80%。我做医学研究的时候曾看到这样一篇报道说。依照医学的发展速度,2000年左右出生的人,超过一半寿命将超过100岁。这将是一个非常了不起的成就,我非常期待。
看到这个好消息,我非常振奋也非常好奇,就去查阅了这篇文章背后的学术论文。
我看到一篇2009年在英国《柳叶刀》杂志上发表的论文,它标题写的是“未来的挑战”。假如未来超过一半的人寿命超过100岁,对社会医疗系统将是非常大的挑战。
如今人口老龄化已经非常严重。通常来说。人的年纪越大医疗成本就越高。假如超过一半人活过100岁,而我们又没有更好的医疗方法。将给社会带来非常大的成本。
我们刚開始做医疗研究时,美国每年大约有14%的GDP耗费在医疗上,如今这一占比已经上升到了18%,越来越高了。按这个趋势发展下去,社会将无法承受。我们相信,解决问题一定要靠技术。
假设没有新的技术,就无法给大家提供好的医疗条件,让大家健康快乐地活到100岁。
我举一个医疗领域的样例——病理切片的解读,这在中国是一个特别大的挑战。中国每10万人口中仅仅有不到两位病理医生。美国每10万人中有超过50位病理医生。日本每10万人中也有超过10位病理医生。也就是说,中国的病理医生非常缺乏。我们再看病理医生要做哪些工作:假如一个人不幸患了肺肿瘤,病理医生要把他的切片切成二三十片。然后仔细观察当中哪一类是病变的,是什么样的病变。A、B、C类型病变的百分比各是多少。这个工作非常耗时间,另外,训练这样的专业人才也非常困难。
假如我们能够用电脑辅助医生做这些工作。是不是能够让他们更加高效?
弱监督学习
所以我们提出了机器学习。这就带出了我的下一个话题——弱监督学习。为什么要提弱监督学习?面对一个病理切片,我们通常有三个目标——分类、分割或聚类。病理图片通常非常大,一张病理图片能够达到5万X5万像素。甚至更大。训练模型有三种方法:一是没有标签的训练,这对病理图片来说非常难;二是弱标签训练。即利用相对简单的标签学习;三是带具体标签的训练,比方刚才提到的肺肿瘤的样例,你须要标注每个肿瘤组织的情况。
以下给大家展示两张图片,看看人类是怎样学习的。
我给几位医生看过这两张图片,他们非常快就发现了当中的区别:上面这张图片中有两种鱼。除了橘色的小丑鱼,另一种黑白相间的鱼;以下这样图片则仅仅有小丑鱼。使用弱监督学习的时候,仅仅要告诉系统这两张图片有区别,不须要说明区别在哪。让他自己学习就好了。
这样一来。标注的工作就少了非常多。
回到病理切片的样例,以下这张图片中既有癌细胞又有正常细胞:上面的是癌细胞,以下的是正常细胞。就像前面讲的,我们仅仅须要提供这两类图片。无需勾画全部癌细胞和正常细胞的边界,系统就能学习。这样的优点在于:中国的病理医生非常缺乏。让他们标这些图像的边界是非常大的工作量并且也非常难。
如今仅仅须要标出有没有癌细胞。就相对easy多了。弱监督学习的优势就在于在降低标注工作量的情况下。更充分、有效地利用数据。
这样的弱监督学习的方法我们从2012年就開始使用了,当时还没有深度学习。以下介绍一项新的研究成果——把弱监督学习和深度学习结合在一起。
大家假设感兴趣。能够查阅我们去年11月发表的论文。
这种方法的基本概念是训练两个分类器,上面是正常细胞,以下是有癌细胞。我们希望自己主动训练分类器。让它在像素级别告诉我们一个细胞究竟是癌细胞还是正常细胞。
我们统计出图片中的细胞有癌还是无癌后,再把它放到下图中的训练方程式里。
以下是一张比較完整的架构图。我们不仅分了好几层,还用到了Area Constraints。
假设光用刚才讲的分类的方法,无论一张图片中有10%的面积是癌细胞。还是60%的面积是癌细胞,它训练的评价模式是一样的。所以它倾向于把越来越多的细胞当成癌细胞。我们想。能不能继续降低标注量,同一时候还能得到更好的效果?于是我们增加了Area Constraints。医生仅仅须要预计里面究竟有10%、20%还是30%的面积是癌细胞就能够了,而不用标出癌细胞在哪,这又减轻了工作量。我们让两位医生标注。假设标注结果不统一,再请第三位医生来看哪个标注结果是正确的。
下图中的数据库是我们微软亚洲研究院和浙大合作的,用一些大肠癌的图片训练。训练数据约有600张。測试数据有两百张左右。
我们用这种方法实验,来看一下结果。
下图中红色标注的是弱监督学习的结果,它的指标与人工判别的情况几乎相同。跟大量标注训练的结果也几乎相同。我们希望通过这样的方法。用很多其它数据来训练——原来仅仅有一两百张。如今能够用几千张——同一时候大幅降低数据标注的成本。
下图也展示了我们的成果:第二列是医生标注的结果,最右边一列是我们系统标出来的结果。能够发现。仅仅要有癌细胞的地方。系统基本都找出来了。这是我们2012年还没实用深度学习时达到的效果,这五年里又取得了非常多进步。
下图中我们改变了训练的数据量,从20%-100%。数据越多,效果就越好。
下图是我们增加Area Constraints前后的对照。
增加Area Constraints之前,系统把大部分细胞当成了癌细胞,增加之后它把全部正常细胞和癌细胞进行了区分。
简单总结一下:我们希望通过端到端的深度学习方法培育这个系统,帮助在标签有限的情况下,进行医学影像的处理、分类和分割。
这样的方法除了前面提到的大肠癌,在非常多其它领域也能够用到,比方肺癌、宫颈癌等。
由于它们面对的是相同的问题,有非常多数据须要标注。假设能降低标注时间。就能利用很多其它的数据。
合作案例
除此以外,我们微软亚洲研究院在别的领域也做了一些研究。比方我们和比尔盖茨基金会合作的疟疾方面的应用。疟疾如今仍是全球的一个大问题,每年有七八十万人——相当于每天有近2000人死于疟疾。大家也许感觉不到,由于疟疾主要发生在欠发达地区。
比尔盖茨基金会和一家厂商合作,开发了一款非常小的设备,它能够自己主动扫描玻璃膜片。在穷乡僻壤帮助诊断疟疾。医务人员仅仅须要抽血做膜片就能够了。不必从膜片中找红血球和疟疾细菌侵入的样本。这个系统能够自己主动扫描出有多少红血球被疟疾细菌侵入了,统计疟疾细菌侵入的密度。密度越高表示病情越严重。长期治疗中,我们能够用这样的方法观察密度的变化。假设膜片有非常多层,系统还能够自己主动对焦,看哪个是最准的。
以下列举了一些案例。图中红色部分是被疟疾侵入的细胞。用肉眼非常难看出来。每天要看这么多膜片,统计被入侵红血球的数量,是一项非常繁琐的工作。这项工作须要专家来做,但在非洲和拉丁美洲的偏远农村,根本不可能找到这方面的专家。所以我们希望通过这样的方法,让电脑自己主动完毕这些工作。
再看一个脑肿瘤病理切片分析的样例。脑肿瘤病理切片分析也是一项庞大的工作。
一个肿瘤被切除后,须要知道切片中的肿瘤属于哪一类,这决定了你的预后处理方式。是观察、化疗。还是放射性治疗。
病理医生须要看切片然后给出建议,这中间存在着两大挑战——分类和分割。
一般病理图片非常大,2014年已经有了深度学习系统。我们当时决定,无论分类还是分割都用深度学习的方法来做。
深度学习不须要涉及特征,而是通过机器学习的方法学习特征。我们用到的是迁移学习的方法,也就是说,特征不是在病理切片等医学影像上训练,而是在ImageNet上训练出来的。
尽管如此。这个神经网络还是能够抽取病理图像的信息。把它送入分类器并分析出来。
下图是我们2014年用这样的方法获得的结果,无论在分类还是分割上都排名第一。当时深度学习刚刚出来,我们在这个课题第一次使用了深度学习,而后面几名都没用,可见当时深度学习的效果。
作为一家平台公司。微软须要跟不同领域的专家和企业合作,才干更大程度地发挥人工智能等前沿技术的价值。
下图介绍了我们和英国剑桥医院的医生合作的一个关于图像分割的项目。
假如一个脑肿瘤患者要做放射性治疗,第一步要把肿瘤分割出来,甚至还要标出一些正常部位,比方管视觉或听觉的部位。通过这样的方法让放射性治疗更精准,避免误伤其它细胞。
我以前问做放射性治疗的医生。做这件事情要花多长时间。他回答说,这件工作挺复杂的,可能须要30分钟左右。
我又问,假设病人是你的母亲,你会花多长时间。他回答说。这样的情况可能要花三个小时。大家都是人,为什么会有这样的区别?这表明。非常多情况下医生无法花那么长时间仔细地做这件事。所以,我们希望利用人工智能和机器学习。帮助医生更高效地完毕工作。
再看一个微软与印度合作的案例。我们和印度一家做眼底设备的企业合作,检測视网膜上的糖网病变,做早期筛查,评估病变的严重程度。
眼下全世界有超过20个国家在使用这家企业的设备,治愈了超过20万名病患。美国FDA不久前刚刚批准了这类应用。
我相信国内也有非常多合作伙伴在做这类事情。我的看法是,这样的技术多多益善。
我们还和印度另一家机构合作。分析病人是不是有近视,会不会转化成严重近视,以及是否会出现视网膜脱落等。这家机构有非常多小孩子在不同年纪拍摄的眼底照片。我们基于这些照片进行机器学习,用算法检測他的眼部疾病是否会继续恶化。
除了医学影像之外,还有没有别的利用人工智能改善医疗的机会?我这里也有一些案例。
美国每年有38000人死于交通事故,非常多交通意外是由人为因素导致的,所以大家对自己主动驾驶充满热情。
假设我们能用自己主动驾驶降低这些人为因素,即使仅仅降低一半,在美国每年也能拯救近2万人的生命,是对社会的巨大贡献。
美国约翰霍普金斯的一个团队做过调查,美国医院里每年有近26万人由于医疗意外(包含交叉感染、意外跌倒等)死亡,是除心脑血管疾病和癌症之外的第三大死因。致死人数是车祸的近6倍。假设我们能用技术降低这样的错误,对社会也是巨大的贡献。
这方面我们也有一些案例。比方,微软跟巴西一家医院合作,通过视频分析病人在病床上的行为。假设病人在床上,可是安全栅栏没拉起来。系统就会发出警报,提醒护士查看。
这里又要提到弱监督学习。由于视频的数据量非常大,假设每一帧都要标注,工作量十分庞大。
採用弱监督学习的方法。仅仅要看到病人有没有下床就能够了,不用每一帧都标注。
未来,在医院的复杂环境中,能够通过计算机视觉推断很多其它情况。比方一个刚刚做完手术的病人是否走得太远了,需不须要人去接他等。
通过这样的方法能够降低医疗意外。
最后高速总结一下:有人开玩笑说,所谓的人工智能是靠大量人工实现少量的智能,比方做图片识别,须要先找大量人对图像进行标注。医疗影像的标注须要专业知识,甚至须要几位专家商议后才干决定怎么标。非常难找到这么多标注人员。标注成本也非常高。
所以我们希望通过弱监督学习的方法提高可被使用的数据量。充分发挥机器学习的能力。构建更复杂和精确的模型。
我案例中提到的非常多场景。从病理切片到视频分解,都能够採用相似的模式来降低数据标注工作。
关于这些案例。我们站点上有具体介绍,欢迎大家訪问浏览。
未来希望能与各地的不同企业和单位合作,在医疗领域充分发挥人工智能的价值,让大家能够健康活到100岁。谢谢。
以下是问答环节的精彩内容:
提问:您刚才提到用AI摄像头监控病房。眼下应该仅仅是做行为观測,有没有更深入一点的,比方分析病人的心跳、呼吸或睁眼等情况?
张益肇:这个想法非常好。须要我们跟合作伙伴一起实现。
你刚才提到的眨眼识别。我们研究院做了一些表情分析的研究。
针对心理疾病患者,能够通过表情的变化进行分析和监測。
提问:微软在医疗领域有没实用人工智能处理CT或者三维数据?
张益肇:有。我刚才提到英国同事做的肿瘤和健康组织的分割就是三维的。另外。我们在北京也在做肺结节识别的研究。也是三维的。今天时间有限所以没有介绍。
提问:微软研究院主要做基础科研,这些技术能不能对外合作?
张益肇:能够。我们希望把人工智能普及化,假设有好的伙伴,我们非常愿意合作。
我们对合作伙伴的要求是。要有数据资源和合理的期望值。由于产品在技术上是可行的。但真正在医院落地是一个漫长的过程。我们希望合作伙伴有真诚的意愿和足够的耐心。
提问:您刚刚介绍的案例大部分是在高端私人医院或大型公立三甲医院。
对于民营综合性医院或社区医院来说,医疗人工智能对它们有价值吗?
张益肇:有。
我刚才提到印度的案例,用设备检測糖尿病的发展情况。在基层和医生资源不够的地方。这样的人工智能发挥的作用更大。我刚才提到的疟疾的样例也是如此。