关于 Apache Pulsar
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcast、Yahoo!、腾讯、中国电信、中国移动、BIGO、VIPKID 等。
关于 Pulsar Summit
Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Commiter 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。于此盛会,大家分享实践经验、交流想法、探讨关于 Pulsar 项目和社区的知识,切磋互动。
Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者,促进 Apache Pulsar 在亚洲地区的发展。Pulsar Summit Asia 2020 将于 11 月 28-29 日以线上直播形式开展。
近期我们将陆续对 Pulsar Summit Asia 2020 中英文专场及分论坛议题予以详细介绍,帮助大家更好地了解即将到来的 Pulsar 社区盛会分享什么、有哪些亮点。今天为大家介绍场景论坛演讲下篇。
备注:下面演讲时间及内容不能保证为最终版本,请关注 Pulsar Summit Asia 2020 官网获取最新动态 https://pulsar-summit.org/en/event/asia-2020 。
Apache Pulsar 在智联招聘搜索推荐中的应用:数亿数据全量更新与实时同步
李世明
智联招聘平台架构组工程师
演讲时间:11 月 29 日 11:30-12:10
演讲详情:
在智联招聘的搜索推荐中,我们使用 Apache Pulsar 进行上亿数据的全量更新和实时同步,保证了搜索推荐多集群之间的数据最终一致性,同时使用 Pulsar SQL 查询和分析曝光记录也更加便捷。同时在机器学习的模型训练上也在使用 Pulsar 进行数据准备、加工和特征抽取的任务。本环节主要分享 Apache Pulsar 在智联招聘的搜索推荐中的应用。
EMQ 联合 Apache Pulsar,打造中国电信 IoT 平台
邓海贵
EMQ X 企业版研发总监,EMQ 企业项目架构师,开源项目重要贡献者之一,拥有多年物联网接入经验,参与多项千万级平台架构设计,在企业级接入,对接开发应用有丰富知识。
演讲时间:11 月 29 日 11:30-12:10
演讲详情:
EMQ 是一个通用物联网平台,本身具有接入设备数目多、数据量大等特点,这对 EMQ 平台架构具备快速水平扩展能力以支撑业务成长提出了要求。EMQ 的目标是寻找到一款高可用、分布式、能够灵活扩展的消息处理平台,Apache Pulsar 正好匹配了需求。在本次分享中,我们将深入解析 Apache Pulsar 与 EMQ 构建的联合应用解决方案,并解析该联合应用解决方案在中国电信物联网场景下的实践案例。
Apache Pulsar 在腾讯 Angel PowerFL 联邦学习平台上的实践
张超
腾讯数据平台部 MQ 团队负责人,负责 Angel PowerFL 联邦通信/PowerFL on K8S 等工作。他和腾讯数据平台部 MQ 团队一起将 Apache Pulsar 引入 PowerFL 联邦学习平台,开启了 Pulsar 在机器学习领域的应用。
演讲时间:11 月 29 日 13:30-14:10
演讲详情:
腾讯 Angel PowerFL 联邦学习平台通过解决数据隐私与数据孤岛问题,实现最大化挖掘数据价值。Apache Pulsar 作为 Angel PowerFL 联邦学习平台的重要模块,为平台提供了安全、稳定、高效的通信服务,目前已经在腾讯广告、安全领域应用场景落地。本次分享将介绍 Apache Pulsar 在腾讯 Angel PowerFL 联邦学习上的实践。
借助 Flink 与 Pulsar,BIGO 打造实时消息处理系统
陈航
陈航是 BIGO 大数据消息团队负责人,负责创建集中式的订阅-发布消息平台以支撑大量在线服务。他将 Apache Pulsar 引入到了 BIGO 消息平台并打通上下游系统生态,如 Flink、ClickHouse 及其他系统,以用来打造实时推荐和分析系统。他专注在 Pulsar 性能调优、新功能开发及 Pulsar 生态集成方向。
演讲时间:11 月 29 日 14:10-14:50
演讲详情:
BIGO 目前旗下有 BIGO Live 和 Likee 短视频两大视频产品与服务,当前 BIGO Live 直播业务已覆盖 150 多个国家与地区,Likee 短视频也拥有超过 1 亿用户,在 Z 世代中广泛流行。在过往的技术架构中, BIGO 采用开源 Kafka 集群来支撑实时数据计算分析与短视频推荐业务。但随着业务不断快速发展,过往架构遇到了巨大挑战。Apache Pulsar 具备的分层架构及低延迟、持久化存储、水平扩展能力等特性帮助我们解决了生产系统中面临的巨大问题。本文将介绍 BIGO 基于 Pulsar 消息流平台,借助 Flink、Flink SQL 支撑实时 ETL 以及 AB-Test 实时数据报表业务中的应用。
Apache Pulsar 助力中国移动:揭秘上云之路
孙方彬
Apache Pulsar Committer,中国移动云能力中心消息中间件团队负责人
演讲时间:11 月 29 日 14:50-15:30
演讲详情:
作为 Apache Pulsar 项目的积极参与者,中国移动在 Pulsar 的研究与技术能力上有着深厚的积累。除了不断贡献功能 Patch 外,目前也在推动将 Apache Pulsar 部署在云端提供相关服务。在本次分享中,将分享中国移动在 Pulsar 方面的实践与心得,如 Pulsar 的 Kubernetes 集群优化,租户功能提升等。
Apache Pulsar 在能源互联网领域的落地实践
付睿
付睿于 2016 年加入清华大学能源互联网创新研究院,任职平台开发工程师。他在英国谢菲尔德大学获得了人工智能与计算科学理学学士,并在香港科技大学师从 Lei CHEN 教授获得研究硕士学位。在清华大学能源互联网创新研究院,他专注在构建 IoT 平台方向。
演讲时间:11 月 29 日 15:30-16:10
演讲详情:
清华大学能源互联网创新研究院(EIRI)是清华大学电子工程系支持下的,致力于能源互联网领域前沿技术与工业开发领域的研究机构。我所在团队主要研究基于事件的时序数据处理平台方向,该平台尝试通过统一的事件处理框架来支撑能源互联网和物联网领域的各种业务。在本次演讲中,我将分享为何我们的平台要引入 Apache Pulsar 作为消息中间件,以及我们在 Apache Pulsar 和 Pulsar Function 方向的收获与经验。同时,我也会分享在参与 Apache Pulsar 社区中的个人经验收获。
同时,还有平安证券、苏宁、华为等企业技术大咖分享各自最佳实践,请持续关注大会资讯,不断解锁彩蛋哦。
高光时刻
Pulsar 高光时刻!大会组委会会甄选出亚洲 2020 年度最佳用户案例,我们为获奖案例精心准备了礼品。敬请期待哦!
时间:11 月 29 日 17:30-18:00
想和 Pulsar 社区大咖谈笑风生吗?那就快来报名参加 Pulsar Summit Asia 2020 吧!
https://www.huodongxing.com/event/7568028151222