• 生产环境迁移至预发布环境


    原文:生产环境迁移至预发布环境 - 简书 (jianshu.com)

    一、mysql数据库迁移

    1、 预发布环境:删除数据库shentb-relaese

    drop database shentb-release;

    2、预发布环境:新建数据库shentb-relaese

    字符集:utf8mb4 -- UTF-8 Unicode
    排序规则:utf8mb4_general_ci

    3、同步表结构

    导出数据库表结构shentb-pro
    mysqldump -h10.0.0.13 -uroot -p11111 -d shentb-pro > shentb-pro.sql;
    预发布环境执行
    source /home/yangkunlin/shentb-pro-db/shentb-pro.sql;

    4、导出表数据 排除不需要的大数据表

    mysqldump -h10.0.0.13 -uroot -p shentb-pro --ignore-table=shentb-pro.tbl_original_mohe_carrier --ignore-table=shentb-pro.tbl_original_carrier_calls --ignore-table=shentb-pro.tbl_addresslist_snapshoot --ignore-table=shentb-pro.tbl_summary_report --ignore-table=shentb-pro.tbl_original_taobao --ignore-table=shentb-pro.tbl_intf_call_log --ignore-table=shentb-pro.tbl_addresslist --ignore-table=shentb-pro.tbl_data_result --ignore-table=shentb-pro.tbl_ioudata --ignore-table=shentb-pro.tbl_outer_intf_result_rela --ignore-table=shentb-pro.tbl_beike --ignore-table=shentb-pro.tbl_intf_record --ignore-table=shentb-pro.tbl_original_jingdong --ignore-table=shentb-pro.tbl_serial_number>> shentb-pro-data.sql
    结果:5G数据导出时间约1分钟,可在使用高峰期导出。

    部分不要表数据仅导出最近的10%的数据 max(id)*0.9

    mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_data_result --where="id>14966754" > tbl_data_result.sql

    mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_addresslist --where="id>90500000" > tbl_addresslist.sql

    mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_addresslist_snapshoot --where="id>196000000" > tbl_addresslist_snapshoot.sql

    mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_ioudata --where="id>2334000" > tbl_ioudata.sql

    mysqldump -h10.0.0.13 -uroot -p shentb-pro tbl_outer_intf_result_rela --where="id>16606000" > tbl_outer_intf_result_rela.sql

    5、导入预发布环境

    source /home/yangkunlin/shentb-pro-db/shentb-pro-data.sql;
    结果:5G数据导入耗时27分钟

    二、mongodb数据库迁移

    1、登录生产环境mongo客户端

    其他环境mongo客户端,导出命令没执行成功,所以暂时用这种方式,先导出再传到其他服务器做导入

    docker exec -it mongo /bin/bash

    2、导出除运营商外的所有表

    mongodump -updloan -pt!@#123 --authenticationDatabase=admin -dpdloan --excludeCollectionsWithPrefix=tmobile_call -o /data/db/bak/
    可多加一个参数忽略 --excludeCollection=system_log
    结果:导出数据150G,用时10分钟;忽略system_log后仅40G

    3、导入文件

    mongorestore -h10.0.0.25:16906 -updloan -pt!@#123 --authenticationDatabase admin -d pdloan /data/db/bak/pdloan

    4、批量生成索引

    三、应用搭建

    1、数据中心服务

    nohup java -jar pdloan_analysis-1.0-SNAPSHOT.jar > pdloan_analysis.log 2>&1 &

    2、文件服务

    nohup java -jar pdloan_analysis-1.0-SNAPSHOT.jar > pdloan_analysis.log 2>&1 &


    作者:夜色001
    链接:https://www.jianshu.com/p/7c6562c829c9
  • 相关阅读:
    50道sql练习题和答案
    异步编程的数据同步
    浅说异步编程
    进程、应用程序域,线程和上下文之间的关系
    关于薪资和技术的一些思考
    SharePoint2013 列表栏设置
    SharePoint2013 功能区的配置
    EF Code First 数据迁移配置
    EF CodeFirst 数据库初始化策略
    用加减边距写图片轮播
  • 原文地址:https://www.cnblogs.com/chang09/p/16567283.html
Copyright © 2020-2023  润新知