• MongoDB自动删除过期数据TTL索引


    前序:

    由于公司业务需求,对于3个月前的过期数据需要进行删除动作,以释放空间和方便维护

    本来想的是使用crontab写个脚本定时执行,但是看到Mongo本身就有自动删除过期数据的功能,所以还是用一下吧

    这个方法就是使用TTL索引,后续我再写一个脚本定时删除的任务

    介绍:

    TTL索引是MongoDB中一种特殊的索引, 可以支持文档在一定时间之后自动过期删除,目前TTL索引只能在单字段上建立,

    并且字段类型必须是date类型或者包含有date类型的数组(如果数组中包含多个date类型字段,则取最早时间为过期时间)

    官网介绍链接:https://docs.mongodb.com/v3.2/core/index-ttl/

    机制:

    当你在集合中某一个字段建立TTL索引后,后台会有一个单线程,通过不断查询(默认60s一次)索引的值来判断document是否有过期,

    并且删除文档的动作还依据mongod实例的负载情况,如果负载很高,可能会稍微延后一段时间再删除。

    还有一个需要注意的地方,在复制集成员中,TTL后台线程只删除primary的过期数据,如果此实例变为secondary角色,则后台线程闲置

    创建TTL索引方法:

    和普通索引的创建方法一样,只是会多加一个属性而已

    例:在log_events的集合中,createTime 字段上建立一小时后过期的TTL索引

    >db.log_events.createIndex( { "createTime": 1 },     ---字段名称

                                    { expireAfterSeconds: 60*60 } )     ---过期时间(单位秒)

    >db.log_events.getIndexes()     ---查看索引

    [

            {

                    "v" : 1,

                    "key" : {

                            "_id" : 1

                    },

                    "name" : "_id_",

                    "ns" : "tt.t1"

            },

            {

                    "v" : 1,

                    "key" : {

                            "createTime" : 1

                    },

                    "name" : "createTime_1",

                    "ns" : "tt.t1",

                    "expireAfterSeconds" : 3600

            }

    ]

    修改TTL索引的expireAfterSeconds属性值:

    注:如果想更改过期时间expireAfterSeconds,可以使用collMod方法,要不然你只能只用dropIndex(),createIndex()方法重建索引了,我想这样的方法在亿级数据量下是很头疼的

    db.runCommand( { collMod: "log_events",     ---集合名

                    index: { keyPattern: { createTime: 1 },     ---createTime为具有TTL索引的字段名

                              expireAfterSeconds: 7200          ---修改后的过期时间(秒)

                            }})

    虽然上面的方法可以实现自动过期删除,但是如果白天业务很忙,频繁的删除数据势必会增加负载,所以我想着晚上定时删除过期数据(如果晚上业务量少的话)

    方法如下:

    增加一个expireTime字段(用于指定过期时间),expireAfterSeconds属性值设置为0,

    注:上面的createTime字段就不需要再有TTL索引了,这个expireTime的时间就需要在插入时指定上

    >db.log_events.createIndex( { "expireTime": 1 },     ---字段名称

                                    { expireAfterSeconds: 0 } )     ---过期时间(单位秒)

    >db.log_events.insert( {

      "expireTime": new Date('Jan 22, 2016 23:00:00'),     ---此文档将在2016-1-22的23点自动删除

      "logEvent": 2,

      "logMessage": "Success!"} )

    这样我们就实现了,指定时间自动删除的动作了

     

    限制条件:

    有一下集中情况是无法使用TTL索引的

    ①TTL索引是单字段索引,混合索引不支持TTL,并且也会忽略expireAfterSeconds属性

    ②在_id 主键上不能建立TTL索引

    ③在capped collection中不能建立TTL索引,因为MongoDB不能从capped collection中删除文档

    ④你不能使用createIndex()去更改已经存在的TTL索引的expireAfterSeconds值,如果想更改expireAfterSeconds,可以使用collMod命令,

    否则你只能删除索引,然后重建了

    ⑤你不能在已有索引的字段上再创建TTL索引了,如果你想把非TTL索引改为TTL索引,那就只能删除重建索引了

    https://blog.csdn.net/jianlong727/article/details/54631124

  • 相关阅读:
    MySQL主从复制(Master-Slave)与读写分离(MySQL-Proxy)实践
    利用scp传输文件小结
    SSH无密码登录配置小结
    vim 清空
    mysql root用户 远程登录其它机器,看不到数据库
    音视频编解码开发经验2
    nginx、php-fpm、mysql用户权限解析
    ffmpeg处理RTMP流媒体的命令 发送流媒体的命令(UDP,RTP,RTMP)
    音视频编解码开发经验1
    mysql LAST_INSERT_ID 使用与注意事项
  • 原文地址:https://www.cnblogs.com/guxuanqing/p/13732306.html
Copyright © 2020-2023  润新知