• 有哪些比较好的相亲软件呢?爬取三大相亲软件评论,惨不忍睹


    本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

    以下文章来自于Python小二,作者:Python小二

     

    本文以360手机助手为例,地址为:http://zhushou.360.cn/,相亲软件选择 3 个比较流行的,分别为:世纪佳缘、百合婚恋、有缘网,我们使用 Python 爬取软件评论区,看看用户评价情况。

    先来看一下这三款软件的下载量和好中差评占比情况(下图单位为万次)。

     

     

     

     

    下面开始爬取评论区,以世纪佳缘为例,首先,在搜索框输入世纪佳缘进行搜索,如图所示:

     

    接着,点击搜索到的软件进入其详情页,如图所示:

     

    将页面向下拉就可以看到评论区了,如图所示:

     

    此时打开开发者工具并选择Network项,点击查看更多评论,然后可以看到getComments请求,如图所示:

     

    通过这个请求我们就可以动态获取评论区数据了,其中参数star为开始的评论索引,参数count为每次加载的评论个数,可以通过参数callback、baike指定不同应用,爬取代码实现如下:

    headers = {
        "Accept": "*/*",
        "Accept-Encoding": "gzip, deflate, sdch",
        "Accept-Language": "zh-CN,zh;q=0.8",
        "Connection": "keep-alive",
        "Host": "comment.mobilem.360.cn",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
    }
    def comment_spider(param, file_name):
        base_url = "http://comment.mobilem.360.cn/comment/getComments?c=message&a=getmessage&&count=50"
        start = 0
        for i in range(1, 50):
            print("第{}页".format(i))
            url = base_url + param + "&start=" + str(start)
            r = requests.get(url, headers=headers)
            data = re.findall("{"errno"(.*));}catch(e){}", r.text)
            # 转为 Json 格式
            jdata = json.loads("{"errno"" + data[0])
            for message in jdata["data"]["messages"]:
                content = message["content"]
                print(content)
                with open(file_name + ".txt", "a", encoding="utf-8") as f:
                    f.write(content)
            start = start + 50
            time.sleep(2)

    我们将爬取的评论数据存到了 txt 文件中。

    接着,我们将评论数据进行词云展示,代码实现如下:

    with open("yy.txt", "r", encoding="utf-8") as f:
        content = f.read()
        stylecloud.gen_stylecloud(text=content, max_words=600,
                                  collocations=False,
                                  font_path="SIMLI.TTF",
                                  icon_name="fas fa-heart",
                                  size=800,
                                  output_name="yy.png")
        Image(filename="yy.png")

    最后,通过词云看一下用户对上述软件的评价情况。

    世纪佳缘:

     

    百合婚恋:

     

    有缘网:

  • 相关阅读:
    Hadoop命令手册
    编程算法
    综合8种子排序算法总结和比较
    android 创建一个新的每次project什么时候 请问自己主动 参加 V7依赖?
    【JDBC】java PreparedStatement操作oracle数据库
    【cocos2dx 加载资源目录】
    Project Euler:Problem 39 Integer right triangles
    矿Java开发学习之旅------>Java排序算法经典的二分法插入排序
    [React Intl] Render Content with Placeholders using react-intl FormattedMessage
    [React Intl] Install and Configure the Entry Point of react-intl
  • 原文地址:https://www.cnblogs.com/hhh188764/p/14096816.html
Copyright © 2020-2023  润新知