标签: 翻页
分库后如何处理分页?
在数据量过大以后,通常都会进行分库操作,把一张表拆分到不同数据库中,例如 tb1 表被拆分到3个库中,分库1、分库2、分库3,现在想执行分页操作,如何处理呢?查了一些数据库中间件的资料,有一个通用的思路:
大数据翻页的难点和技巧
根据经验,在大部分场景下,单个业务的list数据长度99%在1000条以下,在数据规模较小时候,上面的方法非常适合。但剩下的1%的数据可能多达100万条,在数据规模较大的时候,当访问offset较大的数据,上述方法非常低效
在数据量过大以后,通常都会进行分库操作,把一张表拆分到不同数据库中,例如 tb1 表被拆分到3个库中,分库1、分库2、分库3,现在想执行分页操作,如何处理呢?查了一些数据库中间件的资料,有一个通用的思路:
根据经验,在大部分场景下,单个业务的list数据长度99%在1000条以下,在数据规模较小时候,上面的方法非常适合。但剩下的1%的数据可能多达100万条,在数据规模较大的时候,当访问offset较大的数据,上述方法非常低效