• 自动登陆带有googleanalytics 的网站


    最近要从某网站上采集一些双色球的信息,本来是想从中彩网上获取的,但那个服务器的反映速度真的让人无法接受,于是另外找了一个城市的网站。

    在进行数据抓取的过程中,发现有几个cookie是浏览器自己产生的,一开始心里没底怎么弄,因为在调试的时候老报错,后来又把它的urchin.js下载下来,放在本机上调试,呵呵,现在才知道js文件也可以调试的,开心!

    不过不管怎么弄,都一直报错,非常怀疑那些js代码在本机跑的时候是不是有什么不一样(偶对js代码只是刚刚看懂),但调试了很久,还是不对。

    但我想非常没有道理,于是我从头开始找其它cookie的错误,再找postdata的错误,终于在postdata中找到了,原来掉了一个字母,我狂晕。

    在这里说一下带有google-analytics 的网站

    它post 的cookie数据包含:

    __utma Sent 195722668.1791181037.1243267423.1243317013.1243324232.8 
    __utmb Sent 195722668.2.10.1243324232
    __utmc Sent 195722668
    __utmz Sent 195722668.1243267423.1.1.utmccn=(direct)|utmcsr=(direct)|utmcmd=(none)

    上面的数据其实我们并不要关心,这是我花最多时间去研究的,其实最后提交的时候加上就可以了。当然,你可以用随机数的方式替换一下。不过第一串数字195722668是不能变的,这是这个网站域名的hash值。

    写完了,心里真是开心。在这里公布一个有用的类,主要是来处理postdata的,相当于一个hashtable里,读存 key 和value

    调用示例:

    RequestData pstData = new RequestData();

    pstData.AddField("txtPassword", "");

    pstData.AddField("txtUserName", "");

    pstData.AddField("txtValidateCode", "");

    读取

    pstData.GetData()

    using System;
    using System.Collections.Generic;
    using System.Linq;
    using System.Text;
    using System.Collections;

    namespace SSQ
    {
        
    public class RequestData
        
    {
            Hashtable hash 
    = new Hashtable();

            
    public RequestData()
            
    {

            }


            
    public string GetData()
            
    {
                
    string r = "";

                
    foreach (string key in hash.Keys)
                
    {
                    
    if (r.Length > 0) r += "&";
                    r 
    += key + "=" + hash[key];
                }


                
    return r;
            }

            
    public void Clear()
            
    {
                hash.Clear();
            }

            
            
    public int Count
            
    {
                
    get{return hash.Count;}
                 
            }

            
    public void AddField(string Field, string Value)
            
    {
     
                
    foreach (string key in hash.Keys)
                
    {
                    
    if (Field == key)
                    
    {
                        hash[Field] 
    = System.Web.HttpUtility.UrlEncode(Value);
                        
    return;
                    }

                }

     
                hash[Field] 
    = System.Web.HttpUtility.UrlEncode ( Value);
            }



        }

    }

  • 相关阅读:
    使用Stream流递归 组合树形结构
    MySQL 8 通用表表达式
    sa-token 权限认证
    先更新缓存还是先更新数据库?
    钉钉 回调事件 消息加解密
    commons-io
    stream和parallelstream的区别
    消除if...else
    springboot 扩展xml请求和响应
    springboot admin 邮箱
  • 原文地址:https://www.cnblogs.com/szyicol/p/1490170.html
Copyright © 2020-2023  润新知