• mysql删除大量数据


    mysql删除大量数据时使用批量删除,批量删除时,不要使用排序,会影响删除效率

    DELETE  FROM `table_name` WHERE id< 66169770 limit 1000000;
    

    以下数据摘自 https://zhuanlan.zhihu.com/p/20209766

    生产环境,往往需要更新/删除大量的数据,由于很可能消耗太多的IO资源,对于生产繁忙的系统,需要小心,以避免对生产环境造成影响。
    删除大量数据还有一些副作用,比如主从延时、数据文件无法收缩、锁表等。

    以下是一些要指引和规则:

    1、批量删除,这样往往可以工作得更快,你可能需要在每次批量删除前sleep一段时间,控制删除的频率,这样的目的是减少对生产系统的IO冲击,把符合平均分布,避免从库滞后太多;

    2、可以考虑分区表技术,我很少用分区表,但删除一个分区,显然比删除大量数据简单方便的多,这也是分区表清理/归档数据的优势所在;

    3、按照主键的序列分批分批,或者基于时间分批分批,你总可以找到一种方式批量删除,如果实在没有批量删除的方式,可能你的表结构设计得不好;

    4、基于硬件的性能,每批删除的记录数,可以选择几百到几千到几万的数据量,但不要太大,MySQL很难同时处理好大事务和随机小事务;

    5、如果要删除大部分数据,那么可以考虑的方式是,创建一个新表,insert要保留的数据,然后切换表;

    6、对于大表(InnoDB)删除大量数据,如果是一个很大的事务,中止删除数据的操作,可能需要几倍的时间用于回滚,导致严重的IO瓶颈,而批量删除可以让我们的回滚恢复得快得多。

    7、需要留意空间的释放,选择独立表空间会更有利于释放空间。

  • 相关阅读:
    Webclent基本操作
    Java【初识篇】语言概述
    使用jvisualVm监控本地和远程的jvm
    【转】WEB服务器与应用服务器的区别
    jmeter生成测试报告
    jmeter对接口测试入参进行MD5加密的5种方式
    幼升小面试
    unittest单元测试框架中的参数化及每个用例的注释
    老铁,告别postman,用pycharm来调接口,顺便把接口脚本也写了
    脱离文档流分析
  • 原文地址:https://www.cnblogs.com/fengchi/p/13667680.html
Copyright © 2020-2023  润新知