• 读取生产环境go语言的最佳实践展示


    近期看了一篇关于go产品开发最佳实践的文章,go-in-procution。作者总结了他们在用go开发过程中的非常多实际经验,我们非常多事实上也用到了。鉴于此,这里就简单的写写读后感,兴许我也争取能将这篇文章翻译出来。后面我用soundcloud来指代原作者。

    开发环境

    在soundcloud,每一个人使用一个独立的GOPATH,而且在GOPATH直接依照go规定的代码路径方式clone代码。

    $ mkdir -p $GOPATH/src/github.com/soundcloud
    $ cd $GOPATH/src/github.com/soundcloud
    $ git clone git@github.com:soundcloud/roshi
    

    对于go来说,通常的project管理应该是例如以下的文件夹结构:

    proj/
        src/
            modulea/
                a.go
            moudleb/
                b.go
            app/
                main.go
        pkg/
        bin/
    

    然后我们在GOPATH里面将proj的路径设置上去。这样就能够进行编译执行了。

    这本来没啥,可是假设我们要将其代码提交到github。并同意另外的开发人员使用。我们就不能将整个proj的东西提交上面,假设提交了,就非常蛋疼了。外面的开发人员可能这么引用:

    import "github.com/yourname/proj/src/modulea"
    

    可是我们自己在代码里面就能够直接:

    import "github.com/yourname/proj/modulea"
    

    假设外面的开发人员须要依照去掉src的引用方式,仅仅能把GOPATH设置到proj文件夹,假设import的多了,会让人崩溃的。

    我曾今也被这事情给折腾了好久,最终再看了vitess的代码之后。发现了上面这样的方式。认为非常不错。

    project文件夹结构

    假设一个项目中文件数量不是非常多,直接放在main包里面即可了,不须要在拆分成多个包了。譬如:

    github.com/soundcloud/simple/
        README.md
        Makefile
        main.go
        main_test.go
        support.go
        support_test.go
    

    假设真的有公共的类库,在拆分成单独的包处理。

    有时候,一个project可能会包含多个二进制应用。

    譬如,一个job可能须要一个server,一个worker或者一个janitor,在这样的情况下,建立多个子文件夹作为不同的main包,分别放置不同的二进制应用。

    同一时候使用另外的子文件夹实现公共的函数。

    github.com/soundcloud/complex/
    README.md
    Makefile
    complex-server/
        main.go
        main_test.go
        handlers.go
        handlers_test.go
    complex-worker/
        main.go
        main_test.go
        process.go
        process_test.go
    shared/
        foo.go
        foo_test.go
        bar.go
        bar_test.go
    

    这点我的做法略微有一点不一样,主要是參考vitess,我喜欢建立一个总的cmd文件夹,然后再在里面设置不同的子文件夹,这样外面就不须要推測这个文件夹是库还是应用。

    代码风格

    代码风格这没啥好说的,直接使用gofmt解决,通常我们也约定gofmt的时候不带不论什么其它參数。

    最好将你的编辑器配置成保存代码的时候自己主动进行gofmt处理。

    Google近期公布了go的代码规范,soundcloud做了一些改进:

    • 避免命名函数返回值,除非能明白的表明含义。
    • 尽量少用make和new。除非真有必要。或者预先知道须要分配的大小。
    • 使用struct{}作为标记值,而不是bool或者interface{}。

      譬如set我们就用map[string]struct{}来实现。而不是map[string]bool。

    假设一个函数有多个參数,而且单行长度非常长,须要拆分。最好不用java的方式:

    // Don't do this.
    func process(dst io.Writer, readTimeout,
        writeTimeout time.Duration, allowInvalid bool,
        max int, src <-chan util.Job) {
        // ...
    }
    

    而是使用:

    func process(
        dst io.Writer,
        readTimeout, writeTimeout time.Duration,
        allowInvalid bool,
        max int,
        src <-chan util.Job,
    ) {
        // ...
    }
    

    相似的,当构造一个对象的时候,最好在初始化的时候就传入相关參数,而不是在后面设置:

    f := foo.New(foo.Config{    

        Site: "zombo.com",            

        Out:  os.Stdout,

        Dest: conference.KeyPair{

    Key:   "gophercon",

            Value: 2014,

        },

    })

    // Don't do this. f := &Foo{} // or, even worse: new(Foo) f.Site = "zombo.com" f.Out = os.Stdout f.Dest.Key = "gophercon" f.Dest.Value = 2014

    假设一些变量是兴许通过其它操作才干获取的,我认为就能够在兴许设置了。

    配置

    soundcloud使用go的flag包来进行配置參数的传递,而不是通过配置文件或者环境变量。

    flag的配置是在main函数里面定义的。而不是在全局范围内。

    func main() {
        var (
            payload = flag.String("payload", "abc", "payload data")
            delay   = flag.Duration("delay", 1*time.Second, "write delay")
        )
        flag.Parse()
        // ...
    }
    

    关于使用flag作为配置參数的传递。我持保留意见。

    假设一个应用须要特别多的配置參数,使用flag比較让人蛋疼了。这时候,使用配置文件反而比較好,我个人倾向于使用json作为配置。原因在这里

    日志

    soundcloud使用的是go的log日志。他们也说明了他们的log并不须要太多的其它功能,譬如log分级等。对于log,我參考python的log写了一个,在这里。该log支持log级别。支持自己定义loghandler。

    soundcloud还提到了一个telemetry的概念。我真没好的办法进行翻译,据我的了解可能就是程序的信息收集,包含响应时间。QPS,内存执行错误等。

    通常telemetry有两种方式,推和拉。

    推模式就是主动的将信息发送给特定的外部系统,而拉模式则是将其写入到某一个地方。同意外部系统来获取该数据。

    这两种方式都有不同的定位。假设须要及时,直观的看到数据,推模式是一个非常好的选择,可是该模式可能会占用过多的资源,尤其是在数据量大的情况以下。会非常消耗CPU和带宽。

    soundcloud貌似採用的是拉模型。

    关于这点我是深表赞同,我们有一个服务。须要将其信息发送到一个统计平台共兴许的信息,開始的时候,我们使用推模式。每产生一条记录,我们直接通过http推给后面的统计平台。最终,随着压力的增大。整个统计平台被我们发挂了。拒绝服务。

    最终,我们採用了将数据写到本地,然后通过还有一个程序拉取再发送的方式解决。

    測试

    soundcloud使用go的testing包进行測试,然后也使用flag的方式来进行集成測试,例如以下:

    // +build integration
    
    var fooAddr = flag.String(...)
    
    func TestToo(t *testing.T) {
        f, err := foo.Connect(*fooAddr)
        // ...
    }
    

    由于go test也支持相似go build那种flag传递,它会默认合成一个main package,然后在里面进行flag parse处理。

    这样的方式我如今没有採用。我都是在測试用例里面直接写死了一个全局的配置,主要是为了方便的在根文件夹进行 go test ./...处理。

    只是使用flag的方式我认为灵活性非常大,后面假设有可能会考虑。

    go的testing包提供的功能并不强。譬如没有提供assert_equal这类东西,可是我们能够通过reflect.DeepEqual来解决。

    依赖管理

    这块事实上也是我非常想解决的。

    如今我们的代码就是非常暴力的用go get来解决依赖问题。这个事实上非常有风险的,假设某一个依赖包更改了接口,那么我们go get的时候可能会出问题了。

    soundcloud使用了一种vendor的方式进行依赖管理。事实上非常easy。就是把依赖的东西所有复制到自己的project以下,当做自己的代码来使用。

    只是这个就须要定期的维护依赖包的更新了。

    假设引入的是一个可执行包。在自己的project文件夹以下建立一个_vendor文件夹(这样go的相关tool比如go test就会忽略该文件夹的东西)。

    把_vendor作为单独的GOPATH,比如,拷贝github.com/user/dep到_vendor/src/github.com/user/dep以下。

    然后将_vendor增加自己的GOPATH中,例如以下:

    GO ?= go
    GOPATH := $(CURDIR)/_vendor:$(GOPATH)
    
    all: build
    
    build:
        $(GO) build
    

    假设引入的是一个库。那么将其放入vendor文件夹中。将vendor作为package的前缀,比如拷贝github.com/user/dep到vendor/user/dep,并更改所有的相关import语句。

    由于我们并不须要频繁的对这些引入的project进行go get更新处理。所以大多数时候这样做都非常值。

    我開始的时候也採用的是相似的做法,仅仅只是我不叫vendor,而叫做3rd,后来为了方便还是决定改成直接go get,尽管知道这样风险比較大。没准兴许使用godep可能是一个不错的解决的方法。

    构建和部署

    soundcloud在开发过程中直接使用go build来构建系统,然后使用一个Makefile来处理正式的构建。

    由于soundcloud主要部署非常多无状态的服务,相似Heroku提供了非常easy的一种方式:

    $ git push bazooka master
    $ bazooka scale -r <new> -n 4 ...
    $ # validate
    $ bazooka scale -r <old> -n 0 ...
    

    这方面,我们直接使用一个简单的Makefile来构建系统,例如以下:

    all: build 
    
    build:
        go install ${SRC}
    
    clean:
        go clean -i ${SRC}
    
    test:
        go test ${SRC} 
    

    应用程序的公布採用最原始的scp到目标机器在重新启动的方式,只是如今正在測试使用salt来公布应用。而对于应用程序的启动,停止这些,我们则使用supervisor来进行管理。

    总结

    总的来说,这篇文章非常具体的解说了用go进行产品开发过程中的非常多经验。希望对大家有帮助。

    版权声明:本文博客原创文章。博客,未经同意,不得转载。

  • 相关阅读:
    JQUERY 判断选择器选择的对象 是否存在
    js的reduce方法,改变头等函数
    盒模型 bug 与触发 bfc
    CSS(四)float 定位
    CSS(三)背景 list-style display visibility opacity vertical cursor
    css 负边距
    CSS(二) 颜色 盒模型 文字相关 border
    CSS(一) 引入方式 选择器 权重
    html总结
    主流浏览器及内核
  • 原文地址:https://www.cnblogs.com/lcchuguo/p/4621741.html
Copyright © 2020-2023  润新知