java写投票脚本自动化初探

由于大学里面有一些任务需要投票，而又不想劳烦他人去帮我，所以打算自己写一个脚本来实现自动投票的功能。这里记录一下我的整个过程。

技术选型

java8
selenium3 实现chrome自动化的jar包
AUTolt 模拟键盘操作的软件

• 导入selenium3

这里我用的maven导入的，代码如下：

      <dependency>
           <groupId>org.seleniumhq.selenium</groupId>
           <artifactId>selenium-server</artifactId>
           <version>3.141.59</version>
       </dependency>
       <dependency>
       <groupId>org.seleniumhq.selenium</groupId>
       <artifactId>selenium-java</artifactId>
       <version>3.14.0</version>
   </dependency>

代码结构

利用代码启动chrome

由于我这里是用的chrome实现的自动化，所以我们先要下chrome的启动器

我们需要下载对应版本的启动器，不然会失效，首先查看自己的chrome版本，然后打开每个版本的文件夹，里面有notes.txt,显示对应的支持版本范围。

下载好之后随便放到一个位置，后面根据路径引入即可，为了方便我将程序放到我的resource目录下了，如上图所示，代码如下：

        // 设置webdirver路径  这个BrushTicket是指的这个代码所在的类。
        System.setProperty("webdriver.chrome.driver", BrushTicket.class.getClassLoader().getResource("chromedriver.exe").getPath());


// 创建ChromeOptions，options可以设置一些网页请求头啥的
        ChromeOptions options = new ChromeOptions();

        //        指定本机chrome安装位置
        options.setBinary("C:\Program Files (x86)\Google\Chrome\Application\chrome.exe");

          // 创建WebDriver对象
         ChromeDriver driver = new ChromeDriver(options);

         // 打开那个网站
         driver.get("https://www.wjx.cn/m/36384473.aspx");

要记住，这个driver是最核心的类，我们后面根据这个driver在网页上做各种操作

网页自动点击操作

这个做法很简单，基本就是定位需要点击的位置，然后点击。

我截取了一小段代码，基本上所有点击的功能就都会了

 driver.findElement(By.xpath("//div[@id='divSubmit']/div[2]")).click();

嗯哼，这里其实就需要注意一下这个xpath的定位问题，//div[@id='xxx'],就是定位这个id为啥的元素，其实也可以用通配符，比如说 //* [@id='xxx']。后面再像洋葱一样，一层层的扒网页就行。

这个findElement的返回值是WebElement,这个元素又可以做各种操作，比如取css的属性，或者自己的属性，也可以点击和输入值(sendKeys)

验证码(未完全解决)

本来以为点完各种按钮，提交之后就完事，结果不！突然出现了验证码。

挣扎了很久，我选择了将验证码下载到本地后，然后解析出验证码这个解决办法。

解决弹窗问题

我们没有管验证码直接提交，会弹出一个警告框，我们先解决弹窗，后来发现问卷星的网页结构是，弹窗由一个div构成的，如果没有弹过的时候是没有这个结构的，第二次弹出之前，会将之前的div由display:none属性改回block属性，这样就简单了。具体代码如下：

/**
    * 功能描述: //判断是否由弹出框
    * @Param: [driver]
    * @Return: boolean
    * @Author: WHOAMI
    * @Date: 2019/6/8 22:21
     */
private boolean ifAlert(ChromeDriver driver){
       try
       {
         //定位元素，如果没有这个元素直接报错
           WebElement  webElement = driver.findElement(By.xpath("//div[@id='alert_box']"));

           Thread.sleep(300);

           if(!webElement.getCssValue("display").equals("none")) {
               return true;
           }
       }
       catch (Exception Ex)
       {
           Ex.printStackTrace();
           return false;
       }
       return false;
   }

根据有没有Alert框判断是不是让我们输入验证码。

下载图片

首先我们需要利用Action解决右键另存图片这个操作

具体代码如下：

  // 这个driver是ChromeDriver
      Actions action = new Actions(driver);

// 定位到验证码图片的位置
      WebElement element = driver.findElement(By.xpath("//div[@id='tdCode']/table/tbody/tr/td[3]/img"));

// action移动到指定位置
      action.moveToElement(element);
// 休眠等待网页反应
      Thread.sleep(200);

// 这里模拟右键 打开菜单
      action.contextClick(element).build().perform();


      //模拟键盘操作（这里是移动向下方向键）  这个Robot是java.awt包下面的
      Robot robot = new Robot();
      Thread.sleep(400);
      // 模拟键盘下方向键
      robot.keyPress(KeyEvent.VK_DOWN);

      Thread.sleep(400);
      robot.keyPress(KeyEvent.VK_DOWN);
// 模拟回车键
      Thread.sleep(400);
      robot.keyPress(KeyEvent.VK_ENTER);

后面需要了解一下java.awt这个包

由于后面的选择保存位置然后下载操作是selenium3实现不了的，所以我们选择了AUTolt这个软件，下载网址
,然后安装即可，这里不再赘述。

软件安装好之后，是这个样子的

操作AUTolt定位窗口

先打开游览器准备上面另存为的操作

定位另存为窗口需要这个数据 Class: 比如上面的窗口时#32770，下面写脚本需要用。

定位按钮啊，编辑框啥的需要这个数据 CLassNameNN

其实我这里为了方便保存图片都是一个名字，而且为了方便都没有删除图片，所以这里出现了一个替换的问题，解决办法其实就是在定位一下替换的窗口和确定按钮就行

写脚本

打开写脚本的工具，我的代码是这样的，改改就能用

ControlFocus("另存为", "","Edit1")
;ControlFocus("title","text",controlID) Edit1=Edit instance 1
; Wait 10 seconds for the Upload window to appear

WinWait("[CLASS:#32770]","",10)

; Set input focus to the edit control of Upload window using the handle returned by WinWait

  ControlFocus("另存为","","Edit1")

  Sleep(1000)

; Set the File name text on the Edit field

  ControlSetText("另存为", "", "Edit1", "buff.gif")

  Sleep(200)

; Click on the Open button

ControlClick("另存为", "","Button2");

ControlFocus("确认另存为", "","Edit2")

 WinWait("[CLASS:#32770]","",10)

 sleep(200)


ControlClick("确认", "","Button1");

写完脚本后，保存成au3格式的文件，准备合成exe

合成exe文件

打开合成exe程序,确定脚本和生成exe路径即可。

java引用该文件

//调用你使用Compile Script to.exe生成的可执行exe文件 这个download.exe就是我生成的exe文件
           //对Windows窗体进行操作：更换文件名，并保存到指定文件夹
     Runtime.getRuntime().exec("D:\code\java\download.exe");
//代码等待程序完成在进行接下来的操作。
     Thread.sleep(4000);

验证码去除干扰线

由于我没有学openCV算法，所以我就直接粘代码了。

/**
   * 功能描述: //验证码去除干扰线
   * @Param: [sfile：图片文件路径, destDir：文件名字]
   * @Return: void
   * @Author: WHOAMI
   * @Date: 2019/6/8 22:11
    */
   public static void cleanLinesInImage(File sfile, String destDir)  throws IOException {
       File destF = new File(destDir);
       if (!destF.exists())
       {
           destF.mkdirs();
       }

       BufferedImage bufferedImage = ImageIO.read(sfile);
       int h = bufferedImage.getHeight();
       int w = bufferedImage.getWidth();

       // 灰度化
       int[][] gray = new int[w][h];
       for (int x = 0; x < w; x++)
       {
           for (int y = 0; y < h; y++)
           {
               int argb = bufferedImage.getRGB(x, y);
               // 图像加亮（调整亮度识别率非常高）
               int r = (int) (((argb >> 16) & 0xFF) * 1.1 + 30);
               int g = (int) (((argb >> 8) & 0xFF) * 1.1 + 30);
               int b = (int) (((argb >> 0) & 0xFF) * 1.1 + 30);
               if (r >= 255)
               {
                   r = 255;
               }
               if (g >= 255)
               {
                   g = 255;
               }
               if (b >= 255)
               {
                   b = 255;
               }
               gray[x][y] = (int) Math
                       .pow((Math.pow(r, 2.2) * 0.2973 + Math.pow(g, 2.2)
                               * 0.6274 + Math.pow(b, 2.2) * 0.0753), 1 / 2.2);
           }
       }

       // 二值化
       int threshold = ostu(gray, w, h);
       BufferedImage binaryBufferedImage = new BufferedImage(w, h, BufferedImage.TYPE_BYTE_BINARY);
       for (int x = 0; x < w; x++)
       {
           for (int y = 0; y < h; y++)
           {
               if (gray[x][y] > threshold)
               {
                   gray[x][y] |= 0x00FFFF;
               } else
               {
                   gray[x][y] &= 0xFF0000;
               }
               binaryBufferedImage.setRGB(x, y, gray[x][y]);
           }
       }

       //去除干扰线条
       for(int y = 1; y < h-1; y++){
           for(int x = 1; x < w-1; x++){
               boolean flag = false ;
               if(isBlack(binaryBufferedImage.getRGB(x, y))){
                   //左右均为空时，去掉此点
                   if(isWhite(binaryBufferedImage.getRGB(x-1, y)) && isWhite(binaryBufferedImage.getRGB(x+1, y))){
                       flag = true;
                   }
                   //上下均为空时，去掉此点
                   if(isWhite(binaryBufferedImage.getRGB(x, y+1)) && isWhite(binaryBufferedImage.getRGB(x, y-1))){
                       flag = true;
                   }
                   //斜上下为空时，去掉此点
                   if(isWhite(binaryBufferedImage.getRGB(x-1, y+1)) && isWhite(binaryBufferedImage.getRGB(x+1, y-1))){
                       flag = true;
                   }
                   if(isWhite(binaryBufferedImage.getRGB(x+1, y+1)) && isWhite(binaryBufferedImage.getRGB(x-1, y-1))){
                       flag = true;
                   }
                   if(flag){
                       binaryBufferedImage.setRGB(x,y,-1);
                   }
               }
           }
       }


       // 矩阵打印
       for (int y = 0; y < h; y++)
       {
           for (int x = 0; x < w; x++)
           {
               if (isBlack(binaryBufferedImage.getRGB(x, y)))
               {
                   System.out.print("*");
               } else
               {
                   System.out.print(" ");
               }
           }
           System.out.println();
       }

       ImageIO.write(binaryBufferedImage, "jpg", new File(destDir, sfile
               .getName()));
   }

   public static boolean isBlack(int colorInt)
   {
       Color color = new Color(colorInt);
       if (color.getRed() + color.getGreen() + color.getBlue() <= 300)
       {
           return true;
       }
       return false;
   }

   public static boolean isWhite(int colorInt)
   {
       Color color = new Color(colorInt);
       if (color.getRed() + color.getGreen() + color.getBlue() > 300)
       {
           return true;
       }
       return false;
   }

   public static int isBlackOrWhite(int colorInt)
   {
       if (getColorBright(colorInt) < 30 || getColorBright(colorInt) > 730)
       {
           return 1;
       }
       return 0;
   }

   public static int getColorBright(int colorInt)
   {
       Color color = new Color(colorInt);
       return color.getRed() + color.getGreen() + color.getBlue();
   }

   public static int ostu(int[][] gray, int w, int h)
   {
       int[] histData = new int[w * h];
       // Calculate histogram
       for (int x = 0; x < w; x++)
       {
           for (int y = 0; y < h; y++)
           {
               int red = 0xFF & gray[x][y];
               histData[red]++;
           }
       }

       // Total number of pixels
       int total = w * h;

       float sum = 0;
       for (int t = 0; t < 256; t++)
           sum += t * histData[t];

       float sumB = 0;
       int wB = 0;
       int wF = 0;

       float varMax = 0;
       int threshold = 0;

       for (int t = 0; t < 256; t++)
       {
           wB += histData[t]; // Weight Background
           if (wB == 0)
               continue;

           wF = total - wB; // Weight Foreground
           if (wF == 0)
               break;

           sumB += (float) (t * histData[t]);

           float mB = sumB / wB; // Mean Background
           float mF = (sum - sumB) / wF; // Mean Foreground

           // Calculate Between Class Variance
           float varBetween = (float) wB * (float) wF * (mB - mF) * (mB - mF);

           // Check if new maximum found
           if (varBetween > varMax)
           {
               varMax = varBetween;
               threshold = t;
           }
       }

       return threshold;
   }

粘贴完代码后运行就会在相同的路径下覆盖原来的验证码图片，但是据我测试，这个代码效果不是很理想，所以才是未完成的操作。

图像识别

图片识别我打算利用tess4j。

maven导入项目

        <dependency>
            <groupId>net.sourceforge.tess4j</groupId>
            <artifactId>tess4j</artifactId>
            <version>4.3.1</version>
        </dependency>

导入语言包，这一步操作需要我们下载tess4j的源代码，然后解压之后将tessdata移出来，供下面导入。

接着我们利用tess4j进行图像识别

我发现根据上面图像处理之后，图像放大10倍后tess4j的识别率是最高的，所以有了下面的代码

  /**
  * 功能描述: //将代码放大10倍
  * @Param: [file]
  * @Return: java.awt.image.BufferedImage
  * @Author: WHOAMI
  * @Date: 2019/6/8 22:24
   */
    private static BufferedImage change(File file){

        // 读取图片字节数组
        BufferedImage textImage = null;
        try{
            InputStream in = new FileInputStream(file);
            BufferedImage image = ImageIO.read(in);
            in.close();
            textImage = ImageHelper.convertImageToGrayscale(ImageHelper.getSubImage(image, 0, 0, image.getWidth(), image.getHeight()));  //对图片进行处理
            textImage = ImageHelper.getScaledInstance(image, image.getWidth() * 10, image.getHeight() * 10);  //将图片扩大5倍

        }catch (IOException e) {
            e.printStackTrace();
        }

        return textImage;
    }

接着就是我们的核心代码了

public static String deal(String pathname,String fileName){
        //打开需要处理的图片
        File imageFile = new File(pathname+"\"+fileName);

        try {
          //去干扰线
            cleanLinesInImage(imageFile,pathname);
        } catch (IOException e) {
            e.printStackTrace();
        }


        //开始图像识别
        Tesseract instance = new Tesseract();



          // 这是我的语言包的路径
        instance.setDatapath("D:\code\java\ChromeOperation\tessdata");

        instance.setLanguage("eng");//选择字库文件（只需要文件名，不需要后缀名）
        //将验证码图片的内容识别为字符串
        try {
          // 打开处理后的图像
            File image = new File(pathname+"\"+fileName);

            String result = instance.doOCR(change(image));


          //利用正则表达式过滤掉非法字符
            String correct = result.replaceAll("[^0-9a-zA-Z]J*","");
            // 返回正确的字符串
            return correct;
        } catch (TesseractException e) {
            e.printStackTrace();
        }

        return null;
    }

重复验证

由于上面的代码并不理想，所以我打算利用死循环直到他输入正确为止，代码如下：

          while(ifAlert(driver)){

               driver.findElement(By.xpath("//div[@id='alert_box']/div[2]/div[2]/div[2]")).click();
               dealImg(driver);
           }