• 如何往Spark社区做贡献,贡献代码


             随着社区正在努力准备Apache Spark的下一版本3.0,您可能会问自己“我如何参与其中?”。现在的Spark代码已经很庞大,因此很难知道如何开始自己做出贡献。Spark PMC & Committer Holden Karau以开发人员为中心,教你如何为Spark社区做贡献,逐步发现好的问题点,格式化代码,寻找代码评审者以及在代码评审过程中期望得到什么。除了如何编写代码之外,她还探讨Apache Spark做出贡献的其他方法,从帮助测试RC(Release Candidate)版本,到进行所有重要的代码评审,错误分类等等,也包括例如回答别人的技术问题。

            Apache Spark社区已经有大量中国人的身影,在国内也常常有开发者线下聚会研讨,本文末尾也有示说网参与的上海和杭州地区Apache开源社区活动(完全免费),可以了解目前开源技术社区的前沿动态。

            文末可以查看Holden演讲视频(含中英字幕),以下为PPT原文截图和核心要点整理,希望对如何贡献Apache Spark开源社区的同学有一定启发。

     

            本文是基于Holden Karau在2019年Spark Summit EU上的分享视频整理而成,按照Holden自己的说法,不代表Spark PMC的观点,(虽然Holden是Spark PMC & Committer),仅仅是她个人的建议和看法,供广大开发者朋友参考。

     

    主要讨论如下几个方面:

    • 目前Spark开发社区的状态;
    • 为什么要给Apache Spark做贡献;
    • 给Spark社区做贡献的几个途径;
    • 如何找到可以参与贡献;
    • 贡献代码和文档修改,可能用到的工具集合;
     

    作为Spark的PMC,她认为你可能有如下几个原因,期待能够给Spark社区做出贡献:

    • 修复工作中碰到的Spark的bug或者问题
    • 学习分布式系统
    • 强化你在Scala/Python/R/Java等语言的技能
    • 函数式编程的奇技淫巧
    • 个人成长的光辉记录和成就感,(或许有利于找到更好的工作?)
    • 基于Spark弄点有意思的事
     

    如何向Spark做出自己的贡献?

    • 直接提交相关的代码修改
    • Spark Package中的代码修改
    • 帮助审查Spark代码
    • Spark周边的库代码
    • Spark书籍,技术分享,技术博客等
    • 在Spark邮件列表,StackOverflow等地方回答技术问题
    • Spark测试和发行的验证工作
     

            当然,每个人对于Spark的熟悉程度不一样,这个和每个人的工作内容及兴趣有很大关系,Holden列举了相关的工作涉及到的具体内容和问题。

     
     
     

    假如你希望能从直接为Spark贡献代码:

    • 或许你碰到了Spark的bug并希望修复它
    • 或许你希望给Spark增加新的特性
    • 你得先看看你的想法有没有人已经着手在做了
    • 如果你期待的代码改动比较复杂,除非你已经有相当的经验,否则最好还是挑个简单的开始
    • 千万别一意孤行,干起来再说,至少得先看看http://spark.apache.org/contributing.html 或者读完本文
     

    既然已经下定决心要为Spark做点代码的活,那么先了解一下Spark 3.0目前的模块。

     

            开始之前你还需要了解,Spark的任何改动,都会关联一个JIRA的Issue,你得先注册JIRA,然后关注JIRA上面的Spark社区动静。这个不是Spark独有的,貌似基本上所有的Apache开源项目都是通过JIRA来跟踪各种问题。

     

            基本上JIRA里会包含别人发现,或者计划要做的那些事,如果你想修复一个bug或者增加新的特性,先查查JIRA上有没有人已经提了类似的Issue,如果没有,那很好,你可以创建一个JIRA,并且告诉别人你已经着手做了,当然,你也可以挑一个别人没有着手做的Issue,自己先干起来,当然,干之前你需要在Issue里留下点文字,告诉其他人你已经在做这个共组了。

     

            JIRA里不太适合分配任务(通常这是committer们的活),也不太适合把很长的设计文档放到上面,更好的做法是,把设计文档用google doc来做,然后再JIRA相关的issue下,粘贴以下设计文档的链接,在国内的朋友,你可能还要多一个“fq”用Google Doc的步骤。

     

            在JIRA中,找个简单适合初次贡献Spark代码的小技巧。

     

            还可以在代码中grep一把,看看代码里留下的“TODO”注释,或许你可以从中找点灵感。

     

            大的Spark特性或者改动,需要先提交SPIP(Spark Project Improvement Proposals),会有很多熟悉相关模块的committer和contributor参与到这个修改建议的讨论,等代码都打成默契了,再来决定谁来干,怎么干。

     

            你得熟悉github的玩法,视频原文中有详细的介绍。

     

            怎么编译spark,这里比较简单,实际上的编译工作会涉及到很多的环境参数,还得fq,这个很重要。

     

            如果修改代码可能有点难,也可以先考虑修改文档,文档中的错误总是特别容易出现,而且,一旦修改好后,总是很快会被合并到代码主干。

     

            文档的生成工具

     

            找一个你擅长的开发工具和Spark模块。

     

    测试。。

     

            代码写好了之后,是否符合spark社区的代码规范呢?http://spark.apache.org/contributing.html#code-style-guide 对应有Scala/Java/Python/R等语言的规范,还有Spark社区自己的规范。

     

            MiMa是验证二进制兼容性的工具,确保在不同版本间API的兼容性得到检测,当然这玩意比较敏感,有时候API不兼容是实现设计上的改动,特别是3.0 API的出现,确实会有很多东西和以前不兼容了。

     

            好了,当你已经完成代码改动和测试,终于可以提交PR了。提交之前还有些步骤,报名PR的名称规范,视频原文有演示,有一个网站不要错过:https://spark-prs.appspot.com/ (很不幸,还得fq)

     

            代码PR已经创建后,会有代码评审环节,参与代码评审的人,也是值得尊敬的,是每个contributor成长和帮助别人成长的过程。

     

            找到合适的人帮你评审代码,通常最后把关的是Spark的Committer们,当然不是每个Committer都熟悉所有的模块,需要找对合适的人比较重要,你可以@相关模块的活跃committer,他们通常都会很热心的回复你。

     

    终于到了著名的:LGTM / SGTM,你离代码合并又近了一步。

     

    实际操作PR的一些小建议

     

    当然,PR很多时候是没有办法被合并的,原因和理由有时候会比较难以启口,任何时候都不要沮丧。

     

    代码设计上每个人都有自己的思考和想法,慢慢积累自己的思考,深入了解Spark社区对于代码的规则和要求,你会进步很快的。

     

    当然,有些问题可能和你没有关系,或者committer们太忙,或者jenkins不工作了,或者jenkins不帮你的PR做自动化测试了,大胆的ping committer们。

     
     
     
     

    以人为本,共建和谐社区!以下是各种小建议:

     
     

            社区不是独立存在的,而是来自全球1500名工程师参与探讨的地方,任何大的改动之前,请先知会社区,善于利用邮件列表来沟通。当然,现在会讲普通话的开发者和committer及PMC们越来越多,可以多参加示说网上关于各种大数据相关的技术交流社区,可以面对面和社区大神们探讨技术和技术以外的道道。

    (全文完)

            视频(中英文字幕)见:https://www.slidestalk.com/Spark/GettingStartedContributingtoApacheSparkFromPRCRJIRAandBeyond?video

            另外,欢迎关注开源技术社区的相关内容研讨:

    1)看点:由中国计算机学会(CCF)组织举办的,Alluxio / Hadoop / HBase / Flink / Spark PMC和Committer聚首探讨各自社区的最新动态和发展方向。

    https://www.slidestalk.com/m/64

    2)看点:由阿里云EMR团队和Intel大数据技术团队联合举办,分享Spark在云端环境中的优化及在AI和数据分析领域的最新动态。

    https://www.slidestalk.com/m/61

    3)看点:由StreamNative举办,分享ApachePulsar的动态,您可以和该项目的主创人员好好交流社区开发心得。

    https://www.slidestalk.com/m/65

  • 相关阅读:
    Struts 学习之03Controller(控制器 上)
    解决.netFrameWork1.1中事件丢失
    python中的迭代器(iterable)和迭代对象(iterator), type和isinstance
    如何在快速启动栏添加桌面
    使用WebService构建的C/S代码结构示例
    .NET Framework 中的常见命名空间
    多重委托简单示例一
    匿名方法示例之计算器(委托作为参数和返回值)
    委托与事件示例
    批处理文件入门
  • 原文地址:https://www.cnblogs.com/slidestalk/p/11810499.html
Copyright © 2020-2023  润新知