mysql分页limit 优化

精贴 置顶
1995 0

mysql的分页比较简单,只需要limit offset,length就可以获取数据了,但是当offset和length比较大的时候,mysql明显性能下降

1.子查询优化法
先找出第一条数据,然后大于等于这条数据的id就是要获取的数据
缺点:数据必须是连续的,可以说不能有where条件,where条件会筛选数据,导致数据失去连续性

实验下

Sql代码  
  1. mysql> set profiling=1;   
  2. Query OK, 0 rows affected (0.00 sec)   
  3.   
  4. mysql> select count(*) from Member;   
  5. +----------+   
  6. count(*) |   
  7. +----------+   
  8. |   169566 |    
  9. +----------+   
  10. 1 row in set (0.00 sec)   
  11.   
  12. mysql> pager grep !~-   
  13. PAGER set to 'grep !~-'  
  14.   
  15. mysql> select * from Member limit 10, 100;   
  16. 100 rows in set (0.00 sec)   
  17.   
  18. mysql> select * from Member where MemberID >= (select MemberID from Member limit 10,1) limit 100;   
  19. 100 rows in set (0.00 sec)   
  20.   
  21. mysql> select * from Member limit 1000, 100;   
  22. 100 rows in set (0.01 sec)   
  23.   
  24. mysql> select * from Member where MemberID >= (select MemberID from Member limit 1000,1) limit 100;   
  25. 100 rows in set (0.00 sec)   
  26.   
  27. mysql> select * from Member limit 100000, 100;   
  28. 100 rows in set (0.10 sec)   
  29.   
  30. mysql> select * from Member where MemberID >= (select MemberID from Member limit 100000,1) limit 100;   
  31. 100 rows in set (0.02 sec)   
  32.   
  33. mysql> nopager   
  34. PAGER set to stdout   
  35.   
  36.   
  37. mysql> show profiles\G   
  38. *************************** 1. row ***************************   
  39. Query_ID: 1   
  40. Duration: 0.00003300   
  41.    Query: select count(*) from Member   
  42.   
  43. *************************** 2. row ***************************   
  44. Query_ID: 2   
  45. Duration: 0.00167000   
  46.    Query: select * from Member limit 10, 100   
  47. *************************** 3. row ***************************   
  48. Query_ID: 3   
  49. Duration: 0.00112400   
  50.    Query: select * from Member where MemberID >= (select MemberID from Member limit 10,1) limit 100   
  51.   
  52. *************************** 4. row ***************************   
  53. Query_ID: 4   
  54. Duration: 0.00263200   
  55.    Query: select * from Member limit 1000, 100   
  56. *************************** 5. row ***************************   
  57. Query_ID: 5   
  58. Duration: 0.00134000   
  59.    Query: select * from Member where MemberID >= (select MemberID from Member limit 1000,1) limit 100   
  60.   
  61. *************************** 6. row ***************************   
  62. Query_ID: 6   
  63. Duration: 0.09956700   
  64.    Query: select * from Member limit 100000, 100   
  65. *************************** 7. row ***************************   
  66. Query_ID: 7   
  67. Duration: 0.02447700   
  68.    Query: select * from Member where MemberID >= (select MemberID from Member limit 100000,1) limit 100  


从结果中可以得知,当偏移1000以上使用子查询法可以有效的提高性能。


2.倒排表优化法
倒排表法类似建立索引,用一张表来维护页数,然后通过高效的连接得到数据

缺点:只适合数据数固定的情况,数据不能删除,维护页表困难

3.反向查找优化法
当偏移超过一半记录数的时候,先用排序,这样偏移就反转了

缺点:order by优化比较麻烦,要增加索引,索引影响数据的修改效率,并且要知道总记录数
,偏移大于数据的一半

引用
limit偏移算法:
正向查找: (当前页 - 1) * 页长度
反向查找: 总记录 - 当前页 * 页长度


做下实验,看看性能如何

总记录数:1,628,775
每页记录数: 40
总页数:1,628,775 / 40 = 40720
中间页数:40720 / 2 = 20360

第21000页
正向查找SQL:
Sql代码  
  1. SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 839960, 40  

时间:1.8696 秒

反向查找sql:
Sql代码  
  1. SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 788775, 40  

时间:1.8336 秒

第30000页
正向查找SQL:
Sql代码  
  1. SELECT * FROM `abc` WHERE `BatchID` = 123 LIMIT 1199960, 40  

时间:2.6493 秒

反向查找sql:
Sql代码  
  1. SELECT * FROM `abc` WHERE `BatchID` = 123 ORDER BY InputDate DESC LIMIT 428775, 40  

时间:1.0035 秒

注意,反向查找的结果是是降序desc的,并且InputDate是记录的插入时间,也可以用主键联合索引,但是不方便。


4.limit限制优化法
把limit偏移量限制低于某个数。。超过这个数等于没数据,我记得alibaba的dba说过他们是这样做的

5.只查索引法
总结:limit的优化限制都比较多,所以实际情况用或者不用只能具体情况具体分析了。页数那么后,基本很少人看的。。。

  • 没有任何评论
今日天气 ···

···

···

···

热门排行
CSS cursor鼠标样式一览表 2012-06-25
.NET后台写JS代码 2011-11-03
网站地址多出jdfwkey的问题解析及... 2010-08-25
数据库xxx的日志已满,请备份该数... 2013-07-19
百度、google、Yahoo网站地图制作... 2011-01-30
<a>标签的伪类书写顺序问题... 2010-09-04
什么是长尾关键词? 2010-09-24
CEO名言 2010-08-31
Mysql 主从数据库同步 2010-09-12
用ASP实现网页BBS 2010-11-01
博主推荐
本个人博客微信公众平台上线啦~~... 2013-10-13
饼哥网络互联上线啦~~要买域名空... 2013-09-20
网站title标题如何正确修改不会被... 2013-08-26
饼哥通讯录系统上线啦,欢迎大家... 2013-08-24
ASP .NET MYSQL 的简单分页 并不... 2013-08-19
网站有弹窗广告这样的站点,百度... 2013-08-17
做淘宝SEO优化需要注意的8大问题 2013-08-17
淘宝网怎么做SEO优化 2013-08-17
站长们要学习的“苍井空精神” 2013-08-17
苹果公司今日发布了iOS 7第五个开... 2013-08-07
随便看看
PHP十六进制加密解密函数 2010-10-12
访问本页面,您的浏览器需要支持... 2010-10-03
URL转义字符 2010-12-07
6个你必须用到AJAX的地方与6个不... 2010-09-07
PHP中文截取不乱码 2010-10-12
Windows7安全模式下修复系统故障 2010-11-23
Tencent://Message/协议的实现原... 2010-09-07
在ASP中实现购物小车 2010-11-02
简述基于SEO的网页布局 2013-06-23
Java实现的stack pop方法小细节 2013-06-24
RSS新闻
传媒新闻
CSDN
八卦新闻
女性新闻
台湾新闻
互联网
军事-新浪博客
IT-新浪博客
汽车新闻
游戏新闻
国际新闻
国内新闻
体育新闻
我的微博
北京 上海 杭州 深圳 广州 成都