朋友的小说站,现在每天采集的文章会有不少重复的文章。于是提出了去重的需求。
这套cms系统的jieqi_article_chapter表的chaptername没有建立索引,第一步我们要建立索引。注意:建立索引有风险,请先做好数据备份。
sql如下,使用时自行更换1处的文章id:
select distinct(a.chapterid),a.articleid,a.chaptername from `jieqi_article_chapter` as a left join `jieqi_article_chapter` as b on (a.articleid=b.articleid and a.chapterid!=b.chapterid) where a.chaptername=b.chaptername and a.articleid=1 and a.chapterid not in (select min(chapterid) from `jieqi_article_chapter` where articleid=1 group by articleid,chaptername having count(*)>1)
查询的结果列出了,除了最小的那条文章id以为其余的重复数据,我朋友说他对结果直接全选删除就ok了。