openresty开发系列29--openresty中发起http请求
有些场景是需要nginx在进行请求转发
用户浏览器请求url访问到nginx服务器，但此请求业务需要再次请求其他业务；
如用户请求订单服务获取订单详情，可订单详情中需要返回商品信息，也就需要再请求商品服务获取商品信息；
这样就需要nginx需要有发起http请求的能力，而不是让用户浏览器再次请求商品信息
nginx服务发起http请求区分内部请求 和 外部请求
图解
下面我们就介绍一下，openResty中如何发起http请求？
一）内部请求
1）capture请求方法
res = ngx.location.capture(uri,{
options?
});
options可以传参数和设置请求方式
local res = ngx.location.capture("/product",{
method = ngx.HTTP_GET, #请求方式
args = {a=1,b=2}, #get方式传参数
body = "c=3&d=4" #post方式传参数
});
res.status --->保存子请求的响应状态码
res.header --->用一个标准 Lua 表储子请求响应的所有头信息。如果是"多值"响应头，
--->这些值将使用 Lua (数组) 表顺序存储。
res.body --->保存子请求的响应体数据，它可能被截断。
--->用户需要检测 res.truncated (截断) 布尔值标记来判断 res.body 是否包含截断的数据。
--->这种数据截断的原因只可能是因为子请求发生了不可恢复的错误，
--->例如远端在发送响应体时过早中断了连接，或子请求在接收远端响应体时超时。
res.truncated --->是否截断
-----------------------------------------
编辑nginx.conf配置文件，配置一下路由，定义有个两个服务请求 商品服务请求和订单服务请求
location /product { #商品服务请求
echo "商品请求";
}
location /order { #订单服务请求
content_by_lua_block {
local res = ngx.location.capture("/product");
ngx.say(res.status)
ngx.say(res.body)
}
}
ngx.location.capture 方法就是发起http的请求，但是它只能请求 内部服务，不能直接请求外部服务
输出结果，http状态为200，返回了 商品服务中的内容
------------------------------------------------
这边有一种情况，这样的定义，用户用浏览器直接请求商品服务也照样请求
可很多时候我们会要求商品请求 是不对外暴露的，也就是用户无法直接访问商品服务请求。
那我们只要在内部请求那边加上一个关键字，internal 就可以了
location /product { #商品服务请求
internal;
echo "商品请求";
}
这样直接访问就报404错误了
-----------------post 请求-----------------
location /product { #商品服务请求
content_by_lua_block {
ngx.req.read_body();
local args = ngx.req.get_post_args()
ngx.print(tonumber(args.a) + tonumber(args.b))
}
}
location /order { #订单服务请求
content_by_lua_block {
local res = ngx.location.capture("/product",{
method = ngx.HTTP_POST,
args = {a=1,b=2},
body = "a=3&b=4"
});
ngx.say(res.status)
ngx.say(res.body)
}
}
2）capture_multi 并发请求
再以上基础上面增加需求，要获得用户信息
正常逻辑是串行: order request ---> product request ---> user request ----> end
提高性能的方式，发送product请求的同时发起user请求: order request ---> product request
---> user request ----> end
语法：res1,res2, ... = ngx.location.capture_multi({
{uri, options?},
{uri, options?},
...
})
-----并发调用
location = /sum {
internal;
content_by_lua_block {
ngx.sleep(0.1)
local args = ngx.req.get_uri_args()
ngx.print(tonumber(args.a) + tonumber(args.b))
}
}
location = /subduction {
internal;
content_by_lua_block {
ngx.sleep(0.1)
local args = ngx.req.get_uri_args()
ngx.print(tonumber(args.a) - tonumber(args.b))
}
}
location = /app/test_multi {
content_by_lua_block {
local start_time = ngx.now()
local res1, res2 = ngx.location.capture_multi( {
{"/sum", {args={a=3, b=8}}},
{"/subduction", {args={a=3, b=8}}}
})
ngx.say("status:", res1.status, " response:", res1.body)
ngx.say("status:", res2.status, " response:", res2.body)
ngx.say("time used:", ngx.now() - start_time)
}
}
location = /app/test_queue {
content_by_lua_block {
local start_time = ngx.now()
local res1 = ngx.location.capture("/sum", {
args={a=3, b=8}
})
local res2 = ngx.location.capture("/subduction", {
args={a=3, b=8}
})
ngx.say("status:", res1.status, " response:", res1.body)
ngx.say("status:", res2.status, " response:", res2.body)
ngx.say("time used:", ngx.now() - start_time)
}
}
访问：http://10.11.0.215/app/test_queue
返回：status:200 response:11 status:200 response:-5 time used:0.22399997711182
访问：http://10.11.0.215/app/test_multi
返回：status:200 response:11 status:200 response:-5 time used:0.10199999809265
从处理的时间长度看multi并发比queue队列要快一倍左右
二）外部请求
如何发起外部请求呢？
因为ngx.location.capture不能直接发起外部请求，我们需要通过内部请求中用反向代理请求发起外部请求
请求tmall和淘宝搜索的时候直接通过浏览器可以搜索，但是使用反向代理后无法正常返回内容，天猫和淘宝做了反爬虫处理
location /tmall {
internal;
proxy_pass "https://list.tmall.com/search_product.htm?q=ipone";
}
location /ordertmall {
content_by_lua_block {
local res = ngx.location.capture("/tmall");
ngx.say(res.status)
ngx.say(res.body)
}
}
类似的例子：
location /baidu {
internal;
# 防止返回乱码
proxy_set_header Accept-Encoding ' ';
proxy_pass "https://www.baidu.com/s?wd=iphone";
#proxy_pass "https://www.baidu.com";
}
location /orderbaidu {
content_by_lua_block {
local res = ngx.location.capture("/baidu");
ngx.say(res.status)
ngx.say(res.body)
}
}
在商品服务那边用的proxy_pass 请求外部http请求，这样就达到了请求外部http的目的。
请求返回了302，表示请求成功了；
但发现都是乱码，这个是什么原因呢？
一开始想到的是字符编码的问题，需要把虚拟主机的server模块配置一个字符编码
charset UTF-8; 设置为utf-8。重启nginx重新访问
还是乱码，这是为什么呢，编码不是改了吗？这个是因为baidu这个web服务器加了gzip压缩，
他返回给我们的结果是经过压缩的，我们再接受过来的时候需要解压才行，那怎么办？
我们可以让taobao服务返回不需要压缩的数据吗? 我们可以在请求外部链接那边设置
proxy_set_header Accept-Encoding ' ';#让后端不要返回压缩（gzip或deflate）的内容
最终
location /baidu {
internal;
# 防止返回乱码
proxy_set_header Accept-Encoding ' ';
proxy_pass "https://www.baidu.com/s?wd=iphone";
#proxy_pass "https://www.baidu.com";
}
重启nginx，再次访问，结果输出
以上我们介绍了 内部访问 和 外部访问
三）动态变量
刚才我们请求外部请求，是写死了wd=iphone，那我们用capture传参
location /baidu02 {
internal;
resolver 8.8.8.8;
proxy_set_header Accept-Encoding ' ';
proxy_pass "https://www.baidu.com/s?wd=$arg_wd";
}
location /orderbaidu02 {
content_by_lua_block {
local get_args = ngx.req.get_uri_args();
local res = ngx.location.capture("/baidu02",{
method = ngx.HTTP_GET,
args = {wd=get_args["wd"]}
});
ngx.say(res.status)
ngx.say(res.body)
}
}
访问：http://192.168.10.164/orderbaidu02?wd=huawei
添加搜索参数 wd=huawei就会返回华为手机的结果
注意：在proxy_pass 中使用变量，需要使用resolver指令解析变量中的域名
# google 域名解析
resolver 8.8.8.8;
这样我们请求传wd参数的值，随便由用户决定查询什么值。
我们这边就发现了请求外部服务的时候发现比较复杂，我们可以借用第三方的库 resty.http ，
从可实现外部请求，而且使用很方便，下篇文章我们就介绍resty.http模块