• OpenResty 最佳实践 (1)



    此文已由作者汤晓静授权网易云社区发布。

    欢迎访问网易云社区,了解更多网易技术产品运营经验。

    OpenResty 发展起源

    OpenResty(也称为 ngx_openresty)是一个全功能的 Web 应用服务器。它打包了标准的 nginx 核心,很多的常用的第三方模块,以及它们的大多数依赖项。 通过揉和众多设计良好的 nginx 模块,OpenResty 有效地把 nginx 服务器转变为一个强大的 Web 应用服务器,基于它开发人员可以使用 lua 编程语言对 nginx 核心以及现有的各种 nginx C 模块进行脚本编程,构建出可以处理一万以上并发请求的极端高性能的 Web 应用。

    OpenResty 致力于将你的服务器端应用完全运行于 nginx 服务器中,充分利用 nginx 的事件模型来进行非阻塞 I/O 通信。不仅仅是和 HTTP 客户端间的网络通信是非阻塞的,与 MySQL、PostgreSQL、Memcached 以及 Redis 等众多后端之间的网络通信也是非阻塞的。 因为 OpenResty 软件包的维护者也是其中打包的许多 nginx 模块的作者,所以 OpenResty 可以确保所包含的所有组件可以可靠地协同工作。

    OpenResty 最早是雅虎中国的一个公司项目,起步于 2007 年 10 月。当时兴起了 OpenAPI 的热潮,用于满足各种 Web Service 的需求,基于 Perl 和 Haskell 实现; 2009 章亦春在加入淘宝数据部门的量子团队,决定对 OpenResty 进行重新设计和彻底重写,并把应用重点放在支持像量子统计这样的 Web 产品上面,这是第二代的 OpenResty,基于 nginx 和 lua 进行开发。

    为什么要取 OpenResty 这个名字呢?OpenResty 最早是顺应 OpenAPI 的潮流做的,所以 Open 取自“开放”之意,而 Resty 便是 REST 风格的意思。虽然后来也可以基于 ngx_openresty 实现任何形式的 Web service 或者传统的 Web 应用。

    也就是说 nginx 不再是一个简单的静态网页服务器,也不再是一个简单的反向代理了,OpenResty 致力于通过一系列 nginx 模块,把 nginx 扩展为全功能的 Web 应用服务器,目前有两大应用目标:

    1. 通用目的的 Web 应用服务器。在这个目标下,现有的 Web 应用技术都可以算是和 OpenResty 或多或少有些类似,比如 Nodejs,PHP 等等,但 OpenResty 的性能更加出色。

    2. nginx 的脚本扩展编程,为构建灵活的 Web 应用网关和 Web 应用防火墙等功能提供了极大的便利性。

    OpenResty 特性概括如下:

    • 基于 nginx 的 Web 服务器

    • 打包 nginx 核心、常用的第三方模块及依赖项

    • 使用 lua 对 nginx 进行脚本编程

    • 充分利用 nginx 的事件模型进行非阻塞 I/O 通信

    • 使用 lua 以同步方式进行异步编程

    • 拓展后端通信方式

    综合 OpenResty 的特性,它不仅具备 nginx 的负载均衡、反向代理及传统 http server 等功能,还可以利用 lua 脚本编程实现路由网关,实现访问认证、流量控制、路由控制及日志处理等多种功能;同时利用 cosocket 拓展和后端(mysql、redis、kafaka)通信后,更可开发通用的 restful api 程序。

    OpenResty 之 lua 编程

    lua 简介

    1993 年在巴西里约热内卢天主教大学诞生了一门编程语言,他们给这门语言取了个浪漫的名字 — lua,在葡萄牙语里代表美丽的月亮。事实证明他们没有糟蹋这个优美的单词,lua 语言正如它名字所预示的那样成长为一门简洁、优雅且富有乐趣的语言。

    lua 从一开始就是作为一门方便嵌入(其它应用程序)并可扩展的轻量级脚本语言来设计,因此她一直遵从着简单、小巧、可移植、快速的原则,官方实现完全采用 ANSI C 编写,能以 C 程序库的形式嵌入到宿主程序中。luaJIT 2 和标准 lua 5.1 解释器采用的是著名的 MIT 许可协议。正由于上述特点,所以 lua 在游戏开发、机器人控制、分布式应用、图像处理、生物信息学等各种各样的领域中得到了越来越广泛的应用。其中尤以游戏开发为最,许多著名的游戏,比如 World of Warcraft、大话西游,都采用了 lua 来配合引擎完成数据描述、配置管理和逻辑控制等任务。即使像 Redis 这样中性的内存键值数据库也提供了内嵌用户 lua 脚本的官方支持。

    作为一门过程型动态语言,lua 有着如下的特性:

    1. 变量名没有类型,值才有类型,变量名在运行时可与任何类型的值绑定;

    2. 语言只提供唯一一种数据结构,称为表(table),它混合了数组、哈希,可以用任何类型的值作为 key 和 value。提供了一致且富有表达力的表构造语法,使得 lua 很适合描述复杂的数据;

    3. 函数是一等类型,支持匿名函数和正则尾递归(proper tail recursion);

    4. 支持词法定界(lexical scoping)和闭包(closure);

    5. 提供 thread 类型和结构化的协程(coroutine)机制,在此基础上可方便实现协作式多任务;

    6. 运行期能编译字符串形式的程序文本并载入虚拟机执行;

    7. 通过元表(metatable)和元方法(metamethod)提供动态元机制(dynamic meta-mechanism),从而允许程序运行时根据需要改变或扩充语法设施的内定语义;

    8. 能方便地利用表和动态元机制实现基于原型(prototype-based)的面向对象模型;

    9. 从 5.1 版开始提供了完善的模块机制,从而更好地支持开发大型的应用程序;

    lua 基础数据类型

    print(type("hello world")) --> output:stringprint(type(print))         --> output:functionprint(type(true))          --> output:booleanprint(type(360.0))         --> output:numberprint(type(nil))           --> output:nil

    nil

    nil 是一种类型,lua 将 nil 用于表示“无效值”。一个变量在第一次赋值前的默认值是 nil,将 nil 赋予给一个全局变量就等同于删除它。

    local numprint(num)        --> output:nil
    
    num = 100print(num)        --> output:100

    boolean (true/false)

    布尔类型,可选值 true/false;lua 中 nil 和 false 为“假”,其它所有值均为“真”,比如 0 和空字符串就是“真”。

    local a = truelocal b = 0local c = nilif a then
        print("a")        --> output:aelse
        print("not a")    -- 这个没有执行
    endif b then
        print("b")        --> output:belse
        print("not b")    -- 这个没有执行
    endif c then
        print("c")        -- 这个没有执行else
        print("not c")    --> output:not c
    end

    number

    Number 类型用于表示实数,和 C/C++ 里面的 double 类型很类似。可以使用数学函数 math.floor(向下取整)和 math.ceil(向上取整)进行取整操作。

    local order = 3.99local score = 98.01print(math.floor(order))   --> output:3print(math.ceil(score))    --> output:99

    string

    和其他语言 string 大同小异

    local str1 = 'hello world'local str2 = "hello lua"local str3 = [["add
    ame",'hello']]
    local str4 = [=[string have a [[]].]=]print(str1)    --> output:hello worldprint(str2)    --> output:hello luaprint(str3)    --> output:"add
    ame",'hello'print(str4)    --> output:string have a [[]].

    table (数组、字典)

    Table 类型实现了一种抽象的“关联数组”。“关联数组”是一种具有特殊索引方式的数组,索引通常是字符串(string)或者 number 类型,但也可以是除 nil 以外的任意类型的值。

    local corp = {
        web = "www.google.com",             -- 索引为字符串,key = "web",
                                            --             value = "www.google.com"
        telephone = "12345678",             -- 索引为字符串
        staff = {"Jack", "Scott", "Gary"},  -- 索引为字符串,值也是一个表    100876,                             -- 相当于 [1] = 100876,此时索引为数字
                                            --       key = 1, value = 100876
        100191,                             -- 相当于 [2] = 100191,此时索引为数字
        [10] = 360,                         -- 直接把数字索引给出
        ["city"] = "Beijing"                -- 索引为字符串
    }print(corp.web)                         --> output:www.google.comprint(corp["telephone"])                --> output:12345678print(corp[2])                          --> output:100191print(corp["city"])                     --> output:"Beijing"print(corp.staff[1])                    --> output:Jackprint(corp[10])                         --> output:360

    在内部实现上,table 通常实现为一个哈希表、一个数组、或者两者的混合。具体的实现为何种形式,动态依赖于具体的 table 的键分布特点。

    function

    在 lua 中,函数也是一种数据类型,函数可以存储在变量中,可以通过参数传递给其他函数,还可以作为其他函数的返回值。

    local function foo()
        print("in the function")
        -- dosomething()
        local x = 10
        local y = 20
        return x + y
    end
    
    local a = foo    -- 把函数赋给变量
    
    print(a())
    
    -- output:in the function30

    lua 表达式

    算术运算符说明关系运算符说明逻辑运算符说明
    +加法<小于and逻辑与
    -减法>大于or逻辑或
    *乘法<=小于等于not逻辑非
    /除法>=大于等于--
    ^指数~=不等于--
    %取模----

    note: lua 中的不等于用 ~= 表示, 和其他语言的 != 不一致

    lua 流程控制

    lua 的流程控制结构和 python 类似,有几个特例:

    • lua 中的 elseif 需要连写,中间不能有空行;python 中写法是 elif

    • lua 中没有 continue 流控

    if/else/elseif

    if a = 1 then    print("1")elseif a == 2 then    print("2")else
        print("3")end

    while

    while a > 1 do    if a == 5 then
            break
        end
        a = a + 1end

    repeat

    local i = 0repeat    print(i)
        if i == 5 then        break
        end
    until true

    for/break

    local t = { a = 1, b = 2}for k, v in pairs(t) do  -- 遍历字典    print(k, v)end
    
    local t = {1, 2}for k, v in ipairs(t) do -- 遍历整型数组    print(k, v)endfor i = 1, 10 do        -- range 循环
        print(i)
    end

    return

    local function foo(arg)    if arg == "" then
            return nil
        end
    
        return "bar"end

    OpenResty 模块编写

    编写一个 access.lua 模块,源码如下:

    local _M = {}
    
    _M.check = function()    if ngx.var.http_host == "foo.bar.com" then
            ngx.exit(403)    endendreturn _M       -- 注意 return _M,返回 table 表示的模块

    在 access_by_lua 的 nginx hook 中调用 access 模块:

    access_by_lua_block {    local rule = require "access"   -- require 中不需要加 `.lua` 后缀
        rule.check()
    }

    OpenResty 核心原理

    nginx 进程模型

    nginx 是一个 master + 多个 worker 进程模型;master 进程负责管理和监控 worker 进程,如加载和解析配置文件,重启 worker 进程,更新二进制文件等。 worker 进程负责处理请求,每个 worker 地位和功能相同,内部按照 epoll + callback 方式实现并发连接处理;整体架构图如下: nginx 架构模型

    nginx 请求处理流程

    每个 worker 进程都分阶段处理 http 请求,简单概括为初始化请求 -> 处理请求行 -> 后端交互 -> 响应头处理 -> 响应包体处理 -> 打印日志等几个阶段。其中处理响应体阶段又可以挂载多个不同的 filter。具体的请求阶段可以参见 nginx Phase, nginx 请求处理流程如下图: nginx请求处理流程

    nginx 事件机制

    nginx 的事件驱动机制是对 epoll 驱动的封装,但其本质还是 epoll + callback 方式: nginx事件机制

    lua 协程

    函数描述
    coroutine.create()创建 coroutine,返回 coroutine,参数是一个函数,当和 resume 配合使用的时候就唤醒函数调用
    coroutine.resume()重启 coroutine,和 create 配合使用
    coroutine.yield()挂起 coroutine,将 coroutine 设置为挂起状态,这个和 resume 配合使用能有很多有用的效果
    coroutine.status()查看 coroutine 的状态。注:coroutine 的状态有四种:dead,suspend,running,normal

    coroutine.create(f)

    创建一个主体函数为 f 的新协程。f 必须是一个 lua 的函数。返回这个新协程,它是一个类型为 "thread" 的对象,创建后并不会启动该协程。

    coroutine.resume(co, [, val1, ...])

    开始或继续协程 co 的运行。当第一次执行一个协程时,他会从主函数处开始运行。val1, ... 这些值会以参数形式传入主体函数。如果该协程被挂起,resume 会重新启动它;val1, ... 这些参数会作为挂起点的返回值。如果协程运行起来没有错误,resume 返回 true 加上传给 yield 的所有值 (当协程挂起),或是主体函数的所有返回值(当协程中止)。

    coroutine.yield(...)

    挂起正在调用的协程的执行。 传递给 yield 的参数都会转为 resume 的额外返回值。

    coroutine.status(co)

    以字符串形式返回协程 co 的状态:

    • 当协程正在运行(它就是调用 status 的那个) ,返回 "running";

    • 如果协程调用 yield 挂起或是还没有开始运行,返回 "suspended";

    • 如果协程是活动的,都并不在运行(即它正在延续其它协程),返回 "normal";

    • 如果协程运行完主体函数或因错误停止,返回 "dead"。

    协程实例(生产者消费者)

    使用协程实现生产者消费者:

    local function produce()
        while true do
            local x = io.read()
            coroutine.yield(x)       -- 挂起协程
        endendlocal producer = coroutine.create(produce)  -- 创建协程local function receive()    local status, value = coroutine.resume(producer)  -- 执行协程
        return valueendlocal function consumer()
        while true do
            local x = receive()
            io.write(x, "
    ")    endendconsumer() -- loop

    lua 与 c 堆栈交互

    lua 虚拟机常嵌入 C 程序中运行,对于 C 程序来说,lua 虚拟机就是一个子进程。lua 将所有状态都保存在 lua_State 类型中,所有的 C API 都要求传入一个指向该结构的指针。我们根据这个指针来获取 lua 虚拟机(也就是子进程)的状态。

    虚拟机内部与外部的 C 程序发生数据交换主要是通过一个公用栈实现的,也就是说 lua 虚拟机和 C 程序公用一个栈,双方都可以压栈或读取数据。一方压入,另一方弹出就能实现数据的交换。

    在 c 中,lua 堆栈就是一个 struct,堆栈索引方式可能是正数也可能是负数,区别是:正数索引 1 永远表示栈底,负数索引 -1 永远表示栈顶。 堆栈的默认大小是 20,可以用 lua_checkstack 修改,用 lua_gettop 则可以获得栈里的元素数目。

    C 调用 lua

    • 在 C 中创建 lua 虚拟机

      lua_State *luaL_newstate (void)
    • 加载 lua 的库函数

      void luaL_openlibs (lua_State *L);
    • 加载 lua 文件,使用接口

      int luaL_dofile (lua_State *L, const char *filename);
    • 开始交互,lua 定义一个函数

      function test_func_add(a, b) return a + b end
    • 如果你的 lua_State 是全局变量,那么每次对堆栈有新操作时务必使用lua_settop(lua_State, -1)将偏移重新置到栈顶

    • 去lua文件中取得test_func_add方法

      void lua_getglobal (lua_State *L, const char *name);
    • 参数压栈

      lua_pushnumber
    • 通过 pcall 调用

      int lua_pcall (lua_State *L, int nargs, int nresults, int msg);

    完整示例,先编写一个 foo.lua 文件,在文件中实现 test_func_add 方法

    function test_func_add(a, b)
        return a + b
    end

    接下来在 C 代码中调用 foo.lua:

    lua_State* init_lua()
    {
        lua_State* s_lua = luaL_newstate();    if (!s_lua) {
            printf("luaL_newstate failed!
    ");
            exit(-1);
        }
        luaL_openlibs(s_lua);    return s_lua;
    }bool load_lua_file(lua_State* s_lua, const char* lua_file){    if (luaL_dofile(s_lua, lua_file) != 0) {
            printf("LOAD LUA %s %s
    ", lua_file, BOOT_FAIL);        return false;
        }
        printf("LOAD LUA %s %s
    ", lua_file, BOOT_OK);    return true;
    }int proc_add_operation(lua_State* s_lua, int a, int b){
        lua_settop(s_lua, -1);
        lua_getglobal(s_lua, "test_func_add");
        lua_pushnumber(s_lua, a);
        lua_pushnumber(s_lua, b);    int val = lua_pcall(s_lua, 2, 1, 0);    if (val) {
            printf("lua_pcall_error %d
    ", val);
        }    return (int)lua_tonumber(s_lua, -1);
    }int main() {
        lua_State* s_lua =init_lua();    if (!load_lua_file(s_lua, "foo")) {        return -1;
        }
    
        proc_add_operation(s_lua, 1, 2);
    }

    lua 调用 c

    • 定义谁先实现 C 接口

      #define target 300static int l_test_check_value(lua_State * l){  int num = lua_tointeger(l, -1);  bool check = (num == target);
        lua_pushboolean(l, check);  return 1;
      }
    • lua 虚拟启动时候,注册加载 C 接口

      lua_register(s_lua, "test_check_value", l_test_check_value);
    • 在 lua 代码中调用注册的 C 接口

      function test_func_check(a)
        local val = test_check_value(a)  return val
      end


    免费体验云安全(易盾)内容安全、验证码等服务

    更多网易技术、产品、运营经验分享请点击




    相关文章:
    【推荐】 Openwrt自定义CGI实现
    【推荐】 Question|网站被黑客扫描撞库该怎么应对防范?
    【推荐】 一些 ssh 小技巧

  • 相关阅读:
    一、入门实例
    十四、事物配置
    JAVA-调用http链接
    ORACLE 年龄计算到月份
    ORACLE和MYSQL 去重查询
    JAVA--将图片转为BASE64编码并返回thymeleaf页面
    JAVA--将图片保存至项目路径
    java--获取类加载路径和项目根路径
    excel执行INSERT和UPDATE操作语句
    c# 未能加载Oracle.DataAccess, Version=2.112.1.0, Culture=neutral, PublicKeyToken=89b483f429c47342
  • 原文地址:https://www.cnblogs.com/zyfd/p/9881327.html
Copyright © 2020-2023  润新知