protobuf + maven 爬坑记

疯狂创客圈 死磕Netty 亿级流量架构系列之20

【博客园 总入口 】

本文说明

本篇是 netty+Protobuf 整合实战的 第一篇，完成一个 基于Netty + Protobuf 实战案例。

要实现高并发、大流量，首先需要高传输效率的协议，Protobuf 是迄今为止最高性能之一的传输格式，我们首先将 Protobuf 和Netty整合起来。

顺便说明下：
本文的内容只是一个初稿、初稿，本文的知识，在《Netty Zookeeper Redis 高并发实战》一书时，进行大篇幅的完善和更新，并且进行的源码的升级。 博客和书不一样，书的内容更加系统化、全面化，更加层层升入、层次分明、更多次的错误排查，请大家以书的内容为准。
本文的最终内容， 具体请参考疯狂创客圈 倾力编著，机械工业出版社出版的 《Netty Zookeeper Redis 高并发实战》一书 。
​

本案例源代码

源代码下载链接： netty+protobuf （整合源代码）

1.1. protobuf 代码生成

在创建好.proto协议**文件之后，就需要按照好了对应版本的 protoc.exe工具。 protoc.exe工具是生成Java文件的工具软件。 安装的方法，前面已经讲了。

这里需要提示一下版本。Java 的maven 配置文件中 proto 包的版本，和 .proto文件的版本， 以及生成java 代码的protoc.exe的版本，三者需要一致。

1.1.1. 使用命令生成

下面开始生成 消息的 Java代码。 需要用到下面的指令：

protoc.exe --java_out=输出的Java文件路径名称 .proto文件路径名称

例如：

protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

输入完之后，回车即可在目标目录看到已经生成好的Java文件，然后将该文件放到项目中该文件指定的路径下即可。

本案例的工程中，以及给大家准备好了.bat windows 的命令文件，在 .bat 目录 下执行.bat 文件即可。 .bat 文件如下：

d:
cd D:crazymakercircleJava ettydemochatcommon
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

使用的时候，注意调整为实际的目录。

1.1.2. 命令生成代码的两个大坑

1.1.2.1. 大坑一：可劲儿提示没有协议版本

使用protoc.exe指令生成java代码时，提示没有设置协议版本。错误如下：

D:crazymakercircleJava ettydemochatcommon>protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

[libprotobuf WARNING T:srcgithubprotobufsrcgoogleprotobufcompilerparser.cc:562] No syntax specified for the proto file: proto/ProtoMsg.proto. Please use 'syntax = "proto2";' or 'syntax = "proto3";' to specify a syntax version. (Defaulted to proto2 syntax.)

实际上，协议版本是已经设置好了的。

1.1.2.2. 大坑二： 没有生成Java代码

通过切换到老的protobuf代码生成器版本，比方说2.6.1 ，这时候，会没有错误提示了。

但是，新的问题来了，在代码生成的目标目录下，就是看不到生成Java代码。说明代码还是没有生成成功。

爬出这两个大坑，会浪费大量的时间。

1.1.3. 使用Maven插件生成Java代码

其实，天无绝人之路。

一条更好的路等着你来。这就是maven插件。

使用protobuf-maven-plugin，可以非常方便的生成Java代码。

插件的配置如下：

<plugin>
    <groupId>org.xolstice.maven.plugins</groupId>
    <artifactId>protobuf-maven-plugin</artifactId>
    <version>0.5.0</version>
    <extensions>true</extensions>
    <configuration>
        <!--默认值-->
        <protoSourceRoot>${project.basedir}/proto/protoConfig</protoSourceRoot>
        <!--默认值-->
        <!--<outputDirectory>${project.build.directory}/generated-sources/protobuf/java</outputDirectory>-->
        <outputDirectory>${project.build.sourceDirectory}</outputDirectory>
        <!--设置是否在生成java文件之前清空outputDirectory的文件，默认值为true，设置为false时也会覆盖同名文件-->
        <clearOutputDirectory>false</clearOutputDirectory>
        <!--默认值-->
        <temporaryProtoFileDirectory>${project.build.directory}/protoc-temp</temporaryProtoFileDirectory>
              <protocExecutable>${project.basedir}/proto/protobin/protoc3.6.1.exe</protocExecutable>
    </configuration>
    <executions>
        <execution>
            <goals>
                <goal>compile</goal>
                <goal>test-compile</goal>
            </goals>
        </execution>
    </executions>
</plugin>

插件的配置项中，需要配置的内容如下：

（1）protoSourceRoot ： protobuf 协议文件的路径

（2）outputDirectory ：java 文件的目标路径

（3）protocExecutable ： protobuf 代码生成工具的路径

配置好之后，执行插件的compile命令， Java代码就利索的生成了。

---

疯狂创客圈 分布式实战社群

• 亿级流量 高并发 IM后台 开源项目实战

• Netty 源码、原理、JAVA NIO 原理

• Java 面试题 一网打尽

• 疯狂创客圈 【 博客园 总入口 】

---