近日由于系统运行时间太长,数据库库表中的数据也是越来越多,为了缩短库表的操作时间,所以对数据库中的部分库表进行分区的操作。
通过研究,决定采用pg_pathman插件对库表进行分区操作。pg_pathman安装、配置特此记录。
Pg_pathman原理:
PostgreSQL传统的分区方法,使用约束来区分不同分区存放的数据(配置constraint_exclusion=partition),执行select/delete/update时执行计划根据约束和查询条件排除不需要查询的分区表。
调用COPY或插入数据时使用触发器或规则,将数据插入对应的分区表。
传统的做法,无论是查询还是插入,对性能的影响都较大。
pg_pathman与传统的继承分区表做法有一个不同的地方,分区的定义存放在一张元数据表中,表的信息会cache在内存中,同时使用HOOK来实现RELATION的替换,所以效率非常高。
目前支持两种分区模式,range和hash,其中range使用binary search查找对应的分区,hash使用hash search查找对应的分区。
Pg_pathman 特性:
1. 目前支持range , hash分区。
2. 支持自动分区管理(通过函数接口创建分区,自动将主表数据迁移到分区表),或手工分区管理(通过函数实现,将已有的表绑定到分区表,或者从分区表剥离)。
3. 支持的分区字段类型包括int, float, date, 以及其他常用类型,包括自定义的domain。
4. 通过CUSTOM SCAN实现了有效的分区表JOIN, 子查询过滤分区。
5. 使用RuntimeAppend & RuntimeMergeAppend custom plan nodes实现了动态分区选择。
6. PartitionFilter HOOK,实现insert inplace, 代替传统的insert trigger或insert rule。
7. 支持自动新增分区。 目前仅支持range分区表。
8. 支持copy from/to 直接读取或写入分区表,提高效率。
9. 支持分区字段的更新,需要添加触发器,如果不需要更新分区字段,则不建议添加这个触发器,会产生一定的性能影响。
10. 允许用户自定义回调函数,在创建分区时会自动触发。
回调函数的规则如下
$part_init_callback$(args JSONB) RETURNS VOID
传入参数如下
/* RANGE-partitioned table abc (for exp: child abc_4) */
{
"parent": "abc",
"parttype": "2",
"partition": "abc_4",
"range_max": "401",
"range_min": "301"
}
/* HASH-partitioned table abc (for exp: child abc_0) */
{
"parent": "abc",
"parttype": "1",
"partition": "abc_0"
}
11. 非堵塞式创建分区表,以及后台自动将主表数据迁移到分区表,非堵塞式。
12. 支持FDW,通过配置参数pg_pathman.insert_into_fdw=(disabled | postgres | any_fdw)支持postgres_fdw或任意fdw
13. 支持GUC参数配置,注意由于使用了HOOK,如果其他插件也使用了相同的HOOK,需要将pg_pathman放在前面注册,如pg_stat_statements。
以上内容摘自:https://yq.aliyun.com/articles/62314?spm=5176.8091938.0.0.tu4vhW
Pg_pathman安装、配置
Pg_pathman使用了custom scan provider api,所以只支持PostgreSQL 9.5以及以上的版本。
本次pg_pathman安装采用git的方式安装,首先安装git工具:
# yum install git
切换到admin用户,并进入postgresql目录:
从git克隆pg_pathman:
$ git clone https://github.com/postgrespro/pg_pathman
导入postgresql安装的环境变量:
$ export PATH=/home/digoal/pgsql9.6:$PATH
$ cd pg_pathman
$ make USE_PGXS=1
$ make USE_PGXS=1 install
更改postgresql的配置文件
$ cd $PGDATA
$ vi postgresql.conf
#将shared_preload_libraries注释取消,将下面变量赋值进去
shared_preload_libraries = 'pg_pathman,pg_stat_statements'
修改完成后,重启数据库服务
$ pg_ctl restart -m fast
启动数据库报错
这是由于未安装pg_stat_statements模块导致,pg_stat_statements模块位于contrib包中,因为contrib包为第三方工具包,虽然在postgresql数据库的安装包里面已经自带了contrib包,但是在安装数据库的时候并未主动安装,因此需要我们手动安装一下。
进去之前解压以后的postgresql数据库安装包的文件夹
$ cd /usr/local/postgresql-9.6.13
进入contrib文件夹,一次执行以下命令:
make
make install
执行成功以后,再次启动数据库服务
启动成功
创建扩展
使用psql连接登录数据库
创建扩展
# create extension pg_pathman;
# create extension pg_stat_statements;
查看
# dx
至此,pg_pathman安装配置完成