• MySQL limit 分页查询数据库


    - 在查询数据库的时候,由于要查询很大的数据,上百万的级别,往往让出现内存溢出的问题,所以这时候需要分批去取数据库表中的全部数据来进行处理,最简单的方法就是使用分页查询语句:MySQL的LIMIT语句是满足这个要求的。 
    - 先来了解这个用法和原理:mysql LIMIT 子句用法及原理。 
    - 使用查询语句的时候,经常要返回前几条或者中间某几行数据, LIMIT 子句可以被用于强制 SELECT 语句返回指定的记录数。LIMIT 接受一个或两个数字参数。参数必须是一个整数常量。如果给定两个参数,第一个参数指定第一个返回记录行的偏移量,第二个参数指定返回记录行的最大数目。

    SELECT * FROM table   LIMIT [offset,] rows | rows OFFSET offset
    • 1
    • 1

    这是两个参数,第一个是偏移量,第二个是数目

    select * from table limit 2, 7; // 返回3-9行,偏移7个
    select * from table limit 3,1; // 返回第4行
    • 1
    • 2
    • 1
    • 2

    一个参数

    select * from table limit 3; // 返回前3行,默认是0开始。
    • 1
    • 1
    • 效率: 
      mysql中分页都是用的 limit 10000,20这样的方式,这样的下驴是很低的。因为要先扫描1W多行才剔除前面的1W行,返回后面的结果。

    第一部分:看一下分页的基本原理: 
    mysql explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20 
    ******* 1. row **** 
    id: 1 
    select_type: SIMPLE 
    table: message 
    type: index 
    possible_keys: NULL 
    key: PRIMARY 
    key_len: 4 
    ref: NULL 
    rows: 10020 
    Extra: 
    1 row in set (0.00 sec) 
    *******end******** 
      对上面的mysql语句说明:limit 10000,20的意思扫描满足条件的10020行,扔掉前面的10000行,返回最后的20行,每次查询需要扫描超过1W行,性能肯定大打折扣。 
      增加where语句,缩小范围: 
       
      如果LIMIT m,n不可避免的话,要优化效率,只有尽可能的让偏移量m小一下 
      

    SELECT * FROM table WHERE id >=2500 ORDER BY auto_id asc LIMIT 0,20
    • 1
    • 1

    这句表示从id2500 开始,从0行开始以偏移量20 查询下去。

    SELECT * FROM table WHERE auto_id <2500 ORDER BY auto_id desc LIMIT 40,20
    • 1
    • 1
    • 原理还是一样,记录住当前页id的最大值和最小值,计算跳转页面和当前页相对偏移,由于页面相近,这个偏移量不会很大,这样的话m值相对较小,大大减少扫描的行数。 
        
    • 其实传统的limit m,n,相对的偏移一直是第一页,这样的话越翻到后面,效率越差,而上面给出的方法就没有这样的问题。
    • From:http://blog.csdn.net/agly_clarlie/article/details/53185750
  • 相关阅读:
    群晖下 gitea+drone+harbor实现CI/CD 发布到云服务器
    随便写写
    知行合一
    GO/testing包
    进程切换时是如何保存上下文的
    语言
    printf缓冲区踩坑
    Spring 中 @EnableXXX 注解的套路
    分享一个工业现场常用的运动控制案例
    数据库之App.config配置文件错误
  • 原文地址:https://www.cnblogs.com/jinxiang1224/p/8468257.html
Copyright © 2020-2023  润新知