基于netty轻量的高性能分布式RPC服务框架forest<上篇>

工作几年，用过不不少RPC框架，也算是读过一些RPC源码。之前也撸过几次RPC框架，但是不断的被自己否定，最近终于又撸了一个，希望能够不断迭代出自己喜欢的样子。

顺便也记录一下撸RPC的过程，一来作为总结和回顾，二来算是一种推广。

首先，当然是推广：forest  基于netty轻量的高性能分布式RPC服务框架.

既然是RPC框架，那么首先都弄清楚RPC是什么？

1.如何用通俗的语言解释一下RPC呢？

RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。

RPC简单的来说就是像调用本地服务一样调用远程服务。

RPC要解决哪些问题呢？

• 首先，要解决通讯的问题，主要是通过在客户端和服务器之间建立TCP连接，远程过程调用的所有交换的数据都在这个连接里传输。连接可以是按需连接，调用结束后就断掉，也可以是长连接，多个远程过程调用共享同一个连接。
• 第二，要解决寻址的问题，也就是说，A服务器上的应用怎么告诉底层的RPC框架，如何连接到B服务器（如主机或IP地址）以及特定的端口，方法的名称名称是什么，这样才能完成调用。比如基于Web服务协议栈的RPC，就要提供一个endpoint URI，或者是从UDDI服务上查找。如果是RMI调用的话，还需要一个RMI Registry来注册服务的地址。
• 第三，当A服务器上的应用发起远程过程调用时，方法的参数需要通过底层的网络协议如TCP传递到B服务器，由于网络协议是基于二进制的，内存中的参数的值要序列化成二进制的形式，也就是序列化（Serialize）或编组（marshal），通过寻址和传输将序列化的二进制发送给B服务器。
• 第四，B服务器收到请求后，需要对参数进行反序列化（序列化的逆操作），恢复为内存中的表达方式，然后找到对应的方法（寻址的一部分）进行本地调用，然后得到返回值。
• 第五，返回值还要发送回服务器A上的应用，也要经过序列化的方式发送，服务器A接到后，再反序列化，恢复为内存中的表达方式，交给A服务器上的应用

2.高性能RPC的设计要点

1) 传输：用什么样的通道将数据发送给对方，BIO、NIO或者AIO，IO模型在很大程度上决定了框架的性能。

2) 协议：采用什么样的通信协议，HTTP或者内部私有协议。协议的选择不同，性能模型也不同。相比于公有协议，内部私有协议的性能通常可以被设计的更优。

3) 线程：数据报如何读取？读取之后的编解码在哪个线程进行，编解码后的消息如何派发，Reactor线程模型的不同，对性能的影响也非常大。

forest基于netty 4实现（netty 5官方已下架），netty已经帮我们搞定了1）传输，3）线程两点，至于协议也实现了很好的编解码支持。当然netty还有鼎鼎大名的零拷贝，R大在知乎里面说过基于JVM实现socket如果能利用好零拷贝和c++实现的server差别是不大的。

下面我们看看forest的协议设计：

通讯协议包括header和body部分，header部分如下：

基于以上的可以保证基本上forest在性能上有一些可靠的理论保障，只要代码实现的不会太糟，性能应该不成问题。

后面的压测也证实了forest的性能还算可以，在hession2序列化的模式下，win64 8g可以有8w+ tps。

3.forest实现了哪些特性

工作中，我们机会处处离不开RPC。现在要实现一个RPC框架已经不是什么难事了，网上已经有大把的开源项目供我们参考（比如淘宝的dubbo，新浪的motan，百度的protobufRPC等），有很多成熟的第三方开源项目可以依赖，可以说是站在巨人的肩膀上。

一个RPC框架可大可小，比如dubbo，大而全，甚至还可以更大，实现更多的功能；同时也可以很轻量，仅仅做远程调用的功能。至于究竟要把RPC实现成一个什么样子，是一件很私人的事情。

比如我希望的RPC要实现如下功能：

• 支持通过spring配置方式集成，支持注解。
• 支持集成zookeeper等配置服务组件，提供集群环境的服务发现及治理能力。
• 支持动态自定义负载均衡、跨机房流量调整等高级服务调度能力。
• 支持自定义隔离策略，容灾策略
• 通过jersey支持同时暴露restful服务
• 通讯协议层面支持多种序列化方式和压缩方式，
• 基于netty 4.x版本实现

4.快速入门

在pom中添加依赖

<dependency>
    <groupId>com.zhizus</groupId>
    <artifactId>forest-rpc</artifactId>
    <version>0.0.2</version>
</dependency>

<dependency>
    <groupId>com.zhizus</groupId>
    <artifactId>forest-common</artifactId>
    <version>0.0.2</version>
</dependency>

1.定义接口

通过注解@ServiceProvider暴露服务，通过@MethodProvider暴露方法默认配置，如：压缩方式，序列化方式，客户端超时时间

@ServiceProvider(serviceName = "sampleService", haStrategyType = HaStrategyType.FAIL_FAST,
        loadBalanceType = LoadBalanceType.RANDOM, connectionTimeout = Constants.CONNECTION_TIMEOUT)
public interface SampleService {

    @MethodProvider(methodName = "say")
    String say(String str);

    @MethodProvider(methodName = "echo", serializeType = SerializeType.Hession2, compressType = CompressType.None)
    String echo(String msg);
}

2.实现接口

基于注解@ServiceExport发布服务，基于注解 @MethodExport发布方法，可同时支持jersey发布简单的restful服务

@Path("/sample")
@ServiceExport
public class SampleServiceImpl implements SampleService {

    /**
     * 支持jersey，可以通过配置打开，同时启动http服务
     *
     * @param str
     * @return
     */
    @Path("/hello/{str}")
    @GET
    @Produces("text/plain")
    @MethodExport
    @Rate(2)
    @Override
    public String say(@PathParam("str") String str) {
        return "say " + str;
    }

    @Interceptor("metricInterceptor")
    @MethodExport
    @Override
    public String echo(String msg) {
        return "echo>>> " + msg;
    }
}

3.服务端开发

spring context 配置：

application.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xmlns="http://www.springframework.org/schema/beans"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context
    http://www.springframework.org/schema/context/spring-context.xsd">

    <context:component-scan base-package="com.zhizus.forest.demo"/>
   <bean id="forestServer" class="com.zhizus.forest.support.spring.ForestServerBean"/>

</beans>

Server开发

public class SampleServer {
    public static void main(String[] args) throws Exception {
    new ClassPathXmlApplicationContext(new String[]{"application.xml"});
    }
}　

4.客户端开发

 final SampleService sampleService = Forest.from(SampleService.class);
        ExecutorService executorService = Executors.newCachedThreadPool();
        for (int i = 0; i < 20; i++) {
            executorService.submit(new Runnable() {
                @Override
                public void run() {
                    for (int i = 0; i < 1000000000; i++) {
                        String say = sampleService.echo("hello");
                        if (i % 10000 == 0) {
                            System.out.println(say);
                        }
                    }
                }
            });
        }　　

Console输出

23:10:10.295 [pool-1-thread-1] INFO MetricInterceptor 34 - methodName:/sampleService/say, current tps:83342, avgTime:0, maxTime:63, minTime:0
23:10:11.298 [pool-1-thread-1] INFO MetricInterceptor 34 - methodName:/sampleService/say, current tps:86271, avgTime:0, maxTime:63, minTime:0
23:10:12.295 [pool-1-thread-1] INFO MetricInterceptor 34 - methodName:/sampleService/say, current tps:86063, avgTime:0, maxTime:63, minTime:0
23:10:13.295 [pool-1-thread-1] INFO MetricInterceptor 34 - methodName:/sampleService/say, current tps:84305, avgTime:0, maxTime:63, minTime:0　

更多示例

Documents

• Wiki(中文)

文章太长似乎没太多人愿意看，今天就到此为止。

---------------------------------------------------------------------

补充下篇地址：基于netty轻量的高性能分布式RPC服务框架forest<下篇>

源代码地址：forest

欢迎各路大侠参与。