• C#爬虫之~苏飞万能框架使用教程


      苏飞的框架帮助类,很多人应该都知道,不知道可以百度,此处直接说用法。

    //引入命名空间
    using CsharpHttpHelper;
    
    //创建Httphelper对象
    HttpHelper http = new HttpHelper();
    //创建Httphelper参数对象
    HttpItem item = new HttpItem()
    {
        URL = "http://ok121.cn",//URL     必需项    
        Method = "get",//URL     可选项 默认为Get   
        IsToLower = false,//得到的HTML代码是否转成小写     可选项默认转小写   
        Cookie = "",//字符串Cookie     可选项   
        Referer ="",//来源URL     可选项   
        Postdata = "",//Post数据     可选项GET时不需要写   
        Timeout = 100000,//连接超时时间     可选项默认为100000    
        ReadWriteTimeout = 30000,//写入Post数据超时时间     可选项默认为30000   
        UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",//用户的浏览器类型,版本,操作系统     可选项有默认值   
        ContentType = "text/html",//返回类型    可选项有默认值   
        Allowautoredirect = false,//是否根据301跳转     可选项   
        //CerPath = "d:123.cer",//证书绝对路径     可选项不需要证书时可以不写这个参数   
        //Connectionlimit = 1024,//最大连接数     可选项 默认为1024    
        ProxyIp = "",//代理服务器ID     可选项 不需要代理 时可以不设置这三个参数    
        //ProxyPwd = "123456",//代理服务器密码     可选项    
        //ProxyUserName = "administrator",//代理服务器账户名     可选项   
        ResultType = ResultType.String
        //ContentType = "application/x-www-form-urlencoded",//返回类型    可选项有默认值   
    };
    //自己定义添加请求
    item.Header.Add("key1", "value1");
    item.Header.Add("key2", "value2");
    //请求的返回值对象
    HttpResult result = http.GetHtml(item);
    //获取请请求的Html
    string html = result.Html;
    //获取请求的Cookie
    string cookie = result.Cookie;
    //还有很多强大的功能
    
    
    
     

  • 相关阅读:
    多进程之数据安全问题
    windows 下安装 RabbitMQ
    springCloud Config分布式配置中心
    git配置ssh
    spring cloud Gateway 新一代网关
    spring cloud Hystrix 断路器
    spring cloud OpenFeign 服务接口调用
    Ribbon负载均衡服务调用
    consul服务注册与发现
    Eureka服务治理
  • 原文地址:https://www.cnblogs.com/hxh88/p/5904966.html
Copyright © 2020-2023  润新知