python爬虫-直播吧

概述

---

 

这是一个我很喜欢的小网站，想了解这个网站先从爬虫开始，爬取直播吧所有的栏目及内容，再存入数据库。先写个简单点的，后期再不断的优化下。

---

准备阶段

---

 

• 直播吧网址https://www.zhibo8.cc/，打开我们看到如下界面

---

---

•  进入足球新闻-滚动新闻

• 利用浏览器自带的编码工具按下F12查看，发现在XMR中存在页面的地址，打开之后发现

  ---

 这个就是当前页面的所有内容，如果能把这里面的内容全部保存下来就完成任务了

---

 代码

---

 

import pymysql#导入 pymysql
import requests
import json
conn = pymysql.connect(
    host='192.168.88.100',
    port=3306,
    user='root',
    password='344762694',
    database='zhibo8',
    charset='utf8'
)  # 建立数据库mysql连接

cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)# 获取游标 默认元组类型
insert_news_sql = ' insert into news(title, url, hash, publish_time, news_type, from_name) values(%s, %s, %s, %s, %s, %s)'

response = requests.get("https://m.zhibo8.cc/json/hot/24hours.htm")
news_list = json.loads(response.text).get('news')
news_data = ()
for news in news_list:
    title = news.get('title')
    news_type = news.get('type')
    publish_time = news.get('createtime')
    url = news.get('from_url')
    from_name = news.get('from_name')
    hash_str = hash(title)
    news_data = (title, url, hash_str, publish_time, news_type, from_name)
    cursor.execute(insert_news_sql, news_data)  # 执行语句

conn.commit()  # 提交
cursor.close()  # 关闭游标
conn.close()  # 关闭连接

 得到了所有的数据