RPA网页表格数据填报定位方法

在做RPA项目的网页表格填报时总结了几个方法，记录一下：

import os
import datetime
import copy
import requests

# 主流程配置
rpatime = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")

# 一、排污单位基本信息子流程配置
# 网页模板中c1与excle数据不对应但实际为同一种类型的映射关系
web_excel_dict = {"原料": "主要原料用量", "辅料": "主要辅料用量", "主要产品": "生产规模"}
# 网页中列数比其他类别多一列的类别配置
web_special_c1 = ["能源消耗"]
# 新增选择c1时网页中与excle数据不对应但实际为同一种类型的映射关系
excel_web_c1_add_dict = {"主要原料用量": "主料原料用量"}


# 网页表格模板中的分类c1
# web_c1_dict = {'主要原料用量': '1', '主要辅料用量': '2', '能源消耗': '3', '生产规模': '4', '运行时间和生产负荷': '5', '主要产品产量': '6', '取排水': '7', '污染治理设施计划投资情况': '8'}
# num_c1_dict = {'1': "主要原料用量", '2': "主要辅料用量", '3': "能源消耗", '4': "生产规模", '5': '运行时间和生产负荷', '6': "主要产品产量", '7': "取排水", '8': "污染治理设施计划投资情况"}
# web_table中的原始样式数据
# data_li.pop(0)
# new_data = {}

def is_int(s):
    """判断字符串是否为整数"""
    try:
        int(s)
        return True
    except ValueError:
        pass
    return False


def dispose_web_tb(web_table_li):
    """对网页表格进行处理，行列对齐"""
    tb_li = copy.deepcopy(web_table_li)
    tb_li.pop(0)
    num = ''
    web_c1 = ''
    web_c2 = ''
    web_c3 = ''
    for row in tb_li:
        if row[-1].strip() in ['编辑', '删除']:
            row.pop()
        if is_int(row[0]):
            if row[1] in web_excel_dict:
                row[1] = web_excel_dict[row[1]]
            if len(row) != 8:  # 少c4
                row.insert(4, '')
            num = row[0]
            web_c1 = row[1]
            web_c2 = row[2]
            web_c3 = row[3]
        else:
            row.insert(0, num)
            row.insert(1, web_c1)
            if web_c1 not in web_special_c1:
                row.append("")  # 缺少c4
            if len(row) == 8:
                web_c2 = row[2]
                web_c3 = row[3]
            else:
                row.insert(2, web_c2)
                if len(row) == 8:
                    web_c3 = row[3]
                else:
                    row.insert(3, web_c3)
    # log.info("len验证")
    # log.info([len(i) for i in tb_li])  # 验证len是否一致为8
    return tb_li

# new_web_tb = dispose_web_tb(web_table_li)
# log.info(new_web_tb)
# log.info([len(i) for i in new_web_tb])
# log.info(new_data)


def get_tr_td(table_li, new_tb_index):
    """
    获取tr和td号
    :param table_li: 原始网页表格,二维数组
    :param new_tb_index:所在新表格中的索引
    :return: tr, 数量td
    """
    org_tb_index = new_tb_index + 1  # 索引加一得到源列表的索引(因新列表去掉了表头)
    tr_num = org_tb_index + 1  # 该行tr

    tr_content = table_li[org_tb_index]  # tr内容
    subtractor = 2  # 长度需减去的数值, 初始值
    if is_int(tr_content[0]):
        subtractor += 1
    if tr_content[-1].strip() in ['编辑', '删除']:
        subtractor += 1
    td_count_num = len(tr_content) - subtractor  # 填入数量的td
    return tr_num, td_count_num


def get_add_tr_td(table_li, c1):
    """
    获取新增时的tr和 数量的td
    :param table_li: 原始网页表格内容
    :param c1: 记录内容c1
    :return:
    """
    for index, item_li in enumerate(table_li):
        if item_li[1] == c1:
            tr_num = index + 1
            td_count_num = len(item_li) - 4
            return tr_num, td_count_num