• Jmeter(十九)_ForEach控制器实现网页爬虫


    一直以来,爬虫似乎都是写代码去实现的,今天像大家介绍一下Jmeter如何实现一个网页爬虫! 龙渊阁测试开发家园 317765580

    Jmeter的爬虫原理其实很简单,就是对网页提交一个请求,然后把返回的所有href提取出来,利用ForEach控制器去实现url遍历。这样解释是不是很清晰?下面就来简单介绍一下如何操作。

    首先我们需要对网页提交一个请求,就拿腾讯新闻网举例子吧!我们像腾讯新闻网发起一个请求,观察一下返回值可以发现中间有很多href标签+文字标题的url

    我们现在需要把这些url提取出来,利用强大的正则表达式!记得匹配数字填-1,意思就是把所有合适的url都取出来  龙渊阁测试开发家园 317765580

    a target="_blank" class="linkto" href="http:// *(.*l)"

    加一个debug查看一下是否真的取出来了 龙渊阁测试开发家园 317765580

    又或者我们在结果里面直接利用正则匹配一下,可以看到很多网页链接都被取出来了 龙渊阁测试开发家园 317765580

    接下来我们需要动用到ForEach控制器了,利用这个控制器对所有取出来的url进行遍历触发。记得在控制器里面填入变量名称,也就是刚刚正则表达式里面的变量名

    接下来在ForEach控制器下面再添加一个http请求,利用它去执行请求触发

    下面我们可以观察结果了,见证奇迹的时候到了。观察结果我们发现所有匹配的url都被触发了! 龙渊阁测试开发家园 317765580

     

  • 相关阅读:
    HDU 3833 YY's new problem ()
    从文件读入16进制数转化为10进制数再输出到文件中
    UESTC 1215 (思维题 旋转)
    HDU2067卡特兰数
    HDU2050离散数学折线分割平面
    cshell学习
    C++学习1
    QT学习1
    QT Creator常用快捷键
    Ubuntu14.04安装QT5.5
  • 原文地址:https://www.cnblogs.com/Zfc-Cjk/p/8962205.html
Copyright © 2020-2023  润新知