数据库导入

数据在存入文件之后这是对于数据的清洗得到的是更有价值的信息

然而对于文献的阅读还是需要全文的展示

所以需要导入数据库

首先是原文的链接

原文的链接在当初爬取过程中使用过

通过原文链接下载pdf文件

所以直接在pdf文件下载的时候直接将链接存入数据库

# db = MysqlHelper(database='papercarwling', user='root', passwd='15531238359', port=3306, host='localhost')
# sql = 'update paper set href=%s where title=%s'
# msg = '已插入成功'
# db.cud(sql, [url, titles[i]], msg)

链接在导入数据库之后

还有一个就是标题关键词和摘要的显示

这一部分在爬取到pdf文件之后有一个就是

将pdf文件转化为txt格式

txt格式之下的文档内容包括全文

然后没有图片

可以通过对txt文档的一个字符段截取来完成这个工作

def insert(path):
    with open(path, 'r', encoding="utf-8") as f:
        txtname = get_file_name(path)
        read_data = f.read()
        a = read_data.split('Abstract')
        b = str("Abstract"+a[1])
        c = b.split('Introduction')
        print(c[0])  # 这一行可以单独打印第几个字符串
        d = str(c[0])
        x = d.split('

')
        db = MysqlHelper(database='papercarwling', user='root', passwd='15531238359', port=3306, host='localhost')
        sql = 'insert into paper(title,abstract,keywords)VALUE(%s,%s,%s)'
        msg = '已插入成功'
        db.cud(sql, [txtname, x[0], x[1]], msg)
    f.closed