• 合并多个Redis dump.rdb 到一个rdb的多个database


    公司的服务器上运行了多个redis,现在希望合并到一个redis,用上redis的多database特性。

    在网上找了一圈发现没有比较好的工具可以进行这个处理。

    看过一个redis-dump号称可以导出json再进行导入,结果alpha版本的程序真心不靠谱,运行后报错:

    undefined method `select!` for ["x"]:Array

    后来没办法只好自己研究起了RDB。其实RDB也很简单,在redis的官方网站上有完整说明

    https://github.com/sripathikrishnan/redis-rdb-tools/wiki/Redis-RDB-Dump-File-Format

    通过文档了解到像我正在用的这种单db的rdb,其数据结构很简单,前9个字节都是REDIS的MAGIC STRING和RDB版本号,其后跟着两个字节 FE 00 表示0号db,同理如果是1号db应该是 FE 01,再之后就是这个db内所有数据,在文件最后以一个字节FF表示文件结束。

    由此得出要合并3个db只需要把每个文件去掉开头9个字节和最后一个字节,然后把对应的db index改为需要合并到的db index,最后合并到一个文件,并在开头加上之前去掉的9个字节,再在末尾加上一个FF即可完成合并。

    合并完成后别忘了用 redis-check-dump检查一下

    linux下可以用bvi进行二进制编辑,用法与vi基本一致。另外在编辑前可能需要执行一下 :set memmove 命令。

    如果不想安装bvi,只用dd命令也是可以做到的,只是处理大文件的时候可能会比较慢(因为block size=1byte了,我不知道怎么在bs设的较大的情况下精确控制skip和count)。

    dd bs=1 if=dump.rdb of=out.rdb skip=9 count={你的dump.rdb的文件大小-10,单位字节}

    这样执行后生成的out.rdb只包含从FEXX开始的数据信息。如果要合并到一个库,可以去掉第一个文件的EOF标识,去掉第二个文件的前9个字节。再cat到一个文件即可。

    注意:导出前记得用redis-cli save并关闭服务以保证数据一致

  • 相关阅读:
    ntp时间服务器
    locate 命令
    身份验证器
    centos 6 mysql源码安装
    简单上传下载命令lrzsz
    iptables记录日志
    iptables日志探秘
    du 命令
    Codeforces 1097F Alex and a TV Show (莫比乌斯反演)
    线段树教做人系列(1)HDU4967 Handling the Past
  • 原文地址:https://www.cnblogs.com/suifengbingzhu/p/4259926.html
Copyright © 2020-2023  润新知