• thrift的lua


    thrift的lua实现

    最近要进行系统升级,后台的数据是根据城市区分的。担心新系统的稳定性及新数据的准确性,计划部分城市采用新接口。接口的入参里没有城市信息,只有经纬度坐标,需要调用一个thrift接口来根据坐标获取城市信息。

     

      如果直接修改代码逻辑,则会造成新旧版本的耦合,不仅完全上线时要再次修改,而且还要增加一次测试流程,这样成本就有些高了。这时就想到能不能用nginx+lua对新旧版本接口做灰度发布。

     

     

      步骤:

     

        1、安装thrift

     

            2、生成客户的代码

     

        3、编译lua调用thrift需要的库

     

            4、实现客户端代码

     

            5、测试

     

      

     

    1、安装thrift

     

      thrift最初由facebook开发用做系统内各语言之间的RPC通信,其实它与webservice有很多相似的地方。

     

      首先有一个定义数据类型和接口的文件,xxx.thrift(在webservic里面对应的是xxx.wsdl),然后用程序去生成对应的客户端/服务器代码.

     

      thrift的官方网站http://thrift.apache.org/,在上面可以下载最新版本的thrift(http://thrift.apache.org/download)。

     

      最新版本的是thrift-0.9.3.tar.gz(截止2016/11/28)。

     

      安装的步骤官网上有,http://thrift.apache.org/tutorial/,基本上就是:

     

    1 ./configure && make && make install

     

      安装过程可能会遇到缺依赖包,不是大问题,装一下就行了。

     

    2、生成客户的代码

     

      thrift文件内容,服务端提供 location_match.thrift:

     

    复制代码
     1 /**
     2 * File: location_service.thrift
     3 */
     4 /** 入参数据结构 **/
     5 struct Location_point
     6 {
     7     1: double x;
     8     2: double y;
     9 }
    10 /** 出参数据结构 **/
    11 struct Citycode_Response
    12 {
    13     1:string retCode;
    14     2:i16 cityCode;
    15 }
    16 
    17 /** 接口定义 **/
    18 service LocationmatchService
    19 {
    20     Citycode_Response find_citycode(1:Location_point location_point)
    21 }
    复制代码

     

    根据此文件生成lua客户端代码:

     

    1 thrift --gen lua location_match.thrift

     

    会在当前目录生成一个目录:gen-lua

     

    里面有3个文件:

     

     location_match_constants.lua:应该是个接口文件,里面有说明,大概意思是说,不懂就不要改

     

     location_match_LocationmatchService.lua: 接口的定义

     

     location_match_ttypes.lua:出入参数结构定义

     

     这个过程非常像axis根据wsdl生成webservice代码的过程。上面的3个文件不需要改的。

     

    3、编译lua调用thrift需要的库

     

    lua调用thrift服务需要一些库文件,一部分是c语言实现的动态链接库*.so文件,一部分是lua语言的函数库*.lua。这些库的源码文件在官网下载的包里有(thrift-0.9.3.tar.gz),解压后在lib目录下有各个语言的库。lua在lib/lua下。

     

    这里需要注意几个问题:1、官网的包里c语言编译会报错(当然可能是个别现象),具体错误没记住,大致上是说 relink libluasocket.so 时候报错。这个错误还好说,改下Makefile.am调整顺序即可,参见http://blog.csdn.net/superye1983/article/details/51190166。 2、调用thrift服务一定要注意两个关键点传输协议和IO方式(阻塞/非阻塞),传输协议有二进制流传输、json串和压缩数据传输格式等,其实主要规定了数据在传输过程中的格式,官网的包中只有二进制传输的协议TBinaryProtocol.lua。3、官网的包中socke是根据依赖lua实现的,而现实使用openresty是基于luajit的。luajit的socket是ngx.socket.tcp(),可能会造成某些冲突。

     

    这里采用http://www.cnblogs.com/voipman/p/5365248.html 这篇文章中提到的源码实现,没有使用thrift官网的代码。代码下载地址https://github.com/gityf/ngx_lua_thrift。上面有明确的安装说明,非常简单编译动态链接库时只需一个命令make linux。

     

    这里采用的nginx是openresty.下载和安装参见http://openresty.org/cn/.

     

    4、实现客户端代码

     

    test_cln.lua:

     

    复制代码
     1 require('TSocket')   
     2 require('TCompactProtocol')
     3 require('TTransport') 
     4 require('location_match_LocationmatchService')
     5 require('location_match_ttypes')
     6 require('TFramedTransport')
     7 module("test_cln",package.seeall) 
     8 function demoFunc()
     9   local opt = {
    10         host='127.0.0.1',
    11         port=9090
    12   }
    13   local socket = TSocket:new(opt)
    14   local ttable = {
    15      trans = socket
    16   }
    17   local transport = TFramedTransport:new(ttable)
    18   
    19   
    20   local protocol = TCompactProtocol:new{
    21         trans = transport
    22   }
    23 
    24   client = LocationmatchServiceClient:new{
    25         protocol = protocol
    26   }
    27   local location_point = Location_point:new{
    28         x=114.2901961,
    29         y=22.76033004,
    30   }
    31  socket:open()
    32  res = ""
    33  local ret = client:find_citycode(location_point)
    34  res= tostring(ret.cityCode)
    35  ngx.log(ngx.ERR,res..'   ~~~~~~~'..tostring(ret.cityCode))
    36   return res
    37 end
    复制代码

     

     

    实现上与http://blog.csdn.net/superye1983/article/details/51190166这篇帖子里差不多。区别在于协议使用的是压缩协议TCompactProtocol,IO阻塞方式上采用的是无阻塞,所以使用了TFramedTransport,因为服务端实现的是无阻塞服务,如果协议、阻塞方式不对发起调用时就会报IO错误,TTransportException: time out/TTransportException: closed/TTransportException: connection reset by peer.

     

    要把第二步生成的lua文件、第三步编译的动态链接库和lua文件都放到lualib目录下。test_cln.lua也要防止这个目录下。

     

    nginx.conf:

     

    1         location / {
    2             content_by_lua_file /usr/local/nginx/nginx/conf/luascript/test.lua; 
    3             root   html;
    4             index  index.html index.htm;
    5         }

     

     

    test.lua:

     

    1 local cln = require "test_cln"
    2 ngx.say(cln.demoFunc());

     

     

    5、测试

     

    [root@hadoop-1 sbin]# curl http://127.0.0.1/
    1438

     

     

    返回城市代码成功。

     

     

    总结:采用openresty(nginx的一个版本,有luajit插件)实现接口的灰度发布,lua调用thrift,安装thrift,生成客户的代码,下载开源的thrift-lua依赖的库,thrift需要协议和io阻塞方式客户端与服务端一致。

  • 相关阅读:
    [BZOJ 1483] [HNOI2009] 梦幻布丁 (线段树合并)
    【匈牙利算法模板】BZOJ1191-超级英雄
    【线段树/区间开平方】BZOJ3211-花神游历各国
    【无源汇有上下界可行流】ACdream1211-Reactor Cooling
    【KMP求最小周期】POJ2406-Power Strings
    【KMP模板】POJ3461-Oulipo
    【费用流】BZOJ1877[SDOI2009]-晨跑
    【最大权闭合子图】BZOJ1497[NOI2006]-最大获利
    【最大流/费用流】BZOJ1834-[ZJOI2010]network 网络扩容
    【Trie图+DP】BZOJ1030[JSOI2007]-文本生成器
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/6113627.html
Copyright © 2020-2023  润新知