前言
由于近期做的一个项目每个月需要插入大约一百万条数据,这样的话,一年的数据就是一千万以上的数据,而且项目的业务要求的查询条件都是模糊查询,所以索引不起作用,最后决定对表进行分表分区,由于分表需要分析项目的业务作出最适合的分表方式,分表只要选定了以什么来分,就不难了。这篇文章讲述的是对表的分区,由于数据是按月插入的,所以我按照的是按月分区(即Oracle按时间分区)。
分区的目的
数据库分区:就是减少SQL操作的数据量,从而提升查询效率。表分区后,逻辑上仍然是一张表,只不过将表中的数据在物理上存放到多个表空间上。这样在查询数据时,会查询相应分区的数据,避免了全表扫描。
分区又分为水平分区、垂直分区。
水平分区:就是对行进行分区,举个例子来说,就是一个表中有1000万条数据,每100万条数据划一个分区,这样就将表中数据分到10个分区中去。水平分区要通过某个特定的属性列进行分区,比如我用的列就是Date时间。
垂直分区:通过对标垂直划分来减少表的宽度,从而提升查询效率。比如一个学生表中,有他相关的信息列,还有论文列以CLOB存储。这些以CLOB存储的论文并不会经常被访问到,这时候就要把这些不经常使用的CLOB划分到另一个分区,需要访问时再调用它。
总的来说,分区的主要目的还是避免了全表扫描,从而提升查询速度。
实战开始
先来看一下我的建表语句。
1 -- Create table 2 create table BUS_DAILY_BALANCE_01 3 ( 4 opt_id NUMBER(18) not null, 5 nowdate date, 6 openbank_no VARCHAR2(40), 7 openbank_name VARCHAR2(40), 8 customer_name VARCHAR2(40), 9 customer_no VARCHAR2(40), 10 account_name VARCHAR2(40), 11 account_no VARCHAR2(40), 12 subaccount_no VARCHAR2(40), 13 account_type VARCHAR2(80), 14 account_quality VARCHAR2(80), 15 sign_virtual VARCHAR2(40), 16 sign_collect VARCHAR2(40), 17 daily_average NUMBER(18,2), 18 balance NUMBER(18,2) 19 ) 20 tablespace TS_PJAVA_DATA 21 PARTITION BY RANGE (nowdate) 22 ( 23 partition BUS_DAILY_P1800 values less than (to_date('2018-01-01','yyyy-mm-dd')), 24 partition BUS_DAILY_P1801 values less than (to_date('2018-02-01','yyyy-mm-dd')), 25 partition BUS_DAILY_P1802 values less than (to_date('2018-03-01','yyyy-mm-dd')), 26 partition BUS_DAILY_P1803 values less than (to_date('2018-04-01','yyyy-mm-dd')), 27 partition BUS_DAILY_P1804 values less than (to_date('2018-05-01','yyyy-mm-dd')), 28 partition BUS_DAILY_P1805 values less than (to_date('2018-06-01','yyyy-mm-dd')), 29 partition BUS_DAILY_P1806 values less than (to_date('2018-07-01','yyyy-mm-dd')), 30 partition BUS_DAILY_P1807 values less than (to_date('2018-08-01','yyyy-mm-dd')), 31 partition BUS_DAILY_P1808 values less than (to_date('2018-09-01','yyyy-mm-dd')), 32 partition BUS_DAILY_P1809 values less than (to_date('2018-10-01','yyyy-mm-dd')), 33 partition BUS_DAILY_P1810 values less than (to_date('2018-11-01','yyyy-mm-dd')), 34 partition BUS_DAILY_P1811 values less than (to_date('2018-12-01','yyyy-mm-dd')), 35 partition BUS_DAILY_P1812 values less than (to_date('2019-01-01','yyyy-mm-dd')), 36 partition BUS_DAILY_P1901 values less than (to_date('2019-02-01','yyyy-mm-dd')), 37 partition BUS_DAILY_P1902 values less than (to_date('2019-03-01','yyyy-mm-dd')), 38 partition BUS_DAILY_P1903 values less than (to_date('2019-04-01','yyyy-mm-dd')), 39 partition BUS_DAILY_P1904 values less than (to_date('2019-05-01','yyyy-mm-dd')), 40 partition BUS_DAILY_P1905 values less than (to_date('2019-06-01','yyyy-mm-dd')), 41 partition BUS_DAILY_P1906 values less than (to_date('2019-07-01','yyyy-mm-dd')), 42 partition BUS_DAILY_P1907 values less than (to_date('2019-08-01','yyyy-mm-dd')), 43 partition BUS_DAILY_P1908 values less than (to_date('2019-09-01','yyyy-mm-dd')), 44 partition BUS_DAILY_P1909 values less than (to_date('2019-10-01','yyyy-mm-dd')), 45 partition BUS_DAILY_P1910 values less than (to_date('2019-11-01','yyyy-mm-dd')), 46 partition BUS_DAILY_P1911 values less than (to_date('2019-12-01','yyyy-mm-dd')), 47 partition BUS_DAILY_P1912 values less than (to_date('2020-01-01','yyyy-mm-dd')), 48 partition BUS_DAILY_P2001 values less than (to_date('2020-02-01','yyyy-mm-dd')), 49 partition BUS_DAILY_P2002 values less than (to_date('2020-03-01','yyyy-mm-dd')), 50 partition BUS_DAILY_P2003 values less than (to_date('2020-04-01','yyyy-mm-dd')), 51 partition BUS_DAILY_P2004 values less than (to_date('2020-05-01','yyyy-mm-dd')), 52 partition BUS_DAILY_P2005 values less than (to_date('2020-06-01','yyyy-mm-dd')), 53 partition BUS_DAILY_P2006 values less than (to_date('2020-07-01','yyyy-mm-dd')), 54 partition BUS_DAILY_P2007 values less than (to_date('2020-08-01','yyyy-mm-dd')), 55 partition BUS_DAILY_P2008 values less than (to_date('2020-09-01','yyyy-mm-dd')), 56 partition BUS_DAILY_P2009 values less than (to_date('2020-10-01','yyyy-mm-dd')), 57 partition BUS_DAILY_P2010 values less than (to_date('2020-11-01','yyyy-mm-dd')), 58 partition BUS_DAILY_P2011 values less than (to_date('2020-12-01','yyyy-mm-dd')), 59 partition BUS_DAILY_P2012 values less than (to_date('2021-01-01','yyyy-mm-dd')), 60 partition BUS_DAILY_PMAX values less than (maxvalue) 61 tablespace TS_PJAVA_DATA 62 ); 63 -- Add comments to the columns 64 comment on column BUS_DAILY_BALANCE.opt_id 65 is 'ID'; 66 comment on column BUS_DAILY_BALANCE.nowdate 67 is '日期'; 68 comment on column BUS_DAILY_BALANCE.openbank_no 69 is '开户机构名称'; 70 comment on column BUS_DAILY_BALANCE.openbank_name 71 is '开户机构'; 72 comment on column BUS_DAILY_BALANCE.customer_name 73 is '客户名称'; 74 comment on column BUS_DAILY_BALANCE.customer_no 75 is '客户编号'; 76 comment on column BUS_DAILY_BALANCE.account_name 77 is '账户名称'; 78 comment on column BUS_DAILY_BALANCE.account_no 79 is '账户号'; 80 comment on column BUS_DAILY_BALANCE.subaccount_no 81 is '子账户号'; 82 comment on column BUS_DAILY_BALANCE.account_type 83 is '账户类型'; 84 comment on column BUS_DAILY_BALANCE.account_quality 85 is '账户性质'; 86 comment on column BUS_DAILY_BALANCE.sign_virtual 87 is '是否签约虚拟账簿'; 88 comment on column BUS_DAILY_BALANCE.sign_collect 89 is '是否签约资金归集'; 90 comment on column BUS_DAILY_BALANCE.daily_average 91 is '日均余额'; 92 comment on column BUS_DAILY_BALANCE.balance 93 is '余额';
上面的建表分区语句,没有采用Oracle自动分区,自动分区的分区表名不受控制,是以“SYS_P”开头,当然网上有通过存储过程来修改,可百度查询。
分区表的维护
(1)添加分区
ALTER TABLE tablename ADD PARTITION partition_name VALUES LESS THAN(TO_DATE('2003-06-01','YYYY-MM-DD'));
注意:以上添加的分区界限应该高于最后一个分区界限。
(2)删除分区
ALTER TABLE tablename DROP PARTITION partition_name;
注意:如果删除的分区是表中唯一的分区,那么此分区将不能被删除,要想删除此分区,必须删除表。
(3)截断分区
截断某个分区是指删除某个分区中的数据,并不会删除分区,也不会删除其它分区中的数据。当表中即使只有一个分区时,也可以截断该分区。通过以下代码截断分区:
ALTER TABLE tablename TRUNCATE PARTITION partition_name;
(4)合并分区
合并分区是将相邻的分区合并成一个分区,结果分区将采用较高分区的界限,值得注意的是,不能将分区合并到界限较低的分区。
ALTER TABLE tablename MERGE PARTITIONS partition_name1,partition_name2 INTO PARTITION partition_name2 UPDATE INDEXES;
如果省略update indexes子句的话,必须重建受影响的分区的index;
ALTER TABLE tablename MODIFY PARTITION partition_name REBUILD UNUSABLE LOCAL INDEXES;
(5)拆分分区
拆分分区将一个分区拆分两个新分区,拆分后原来分区不再存在。注意不能对HASH类型的分区进行拆分。
ALTER TABLE tablename SPLIT PARTITION partition_name AT(TO_DATE('2003-02-01','YYYY-MM-DD')) INTO (PARTITION partition_name1,PARTITION partition_name2);
(6)接合分区(coalesce)
分区接合是针对散列分区或者*-散列子分区的,目的是减少分区数。当某个散列分区接合后,Oracle将其分区的数据分散到其它分区中。被接合的分区是由数据库选择的,接合完成后该分区会被删除,且如果没有使用UPDATE INDEX子句,本地索引和全局索引均将变成不可用,一般需要重建索引。
--散列分区表的散列分区接合 ALTER TABLE table_name COALESCE PARTITION;
(7)重命名分区
ALTER TABLE table_name RENAME PARTITION old_name TO new_name;
(8)移动分区
alter table tablename move partition partition_name tablespace newtablespace;
分区移动会自动维护局部分区索引,oracle不会自动维护全局索引,所以需要我们重新rebuild分区索引,具体需要rebuild哪些索引,可以通过dba_part_indexes,dba_ind_partitions去判断。
Select index_name,status From user_indexes Where table_name='tablename';
分区表的查询
(1)跨分区查询
select sum( *) from (select count(*) cn from t_table_SS PARTITION (partition_name1) union all select count(*) cn from t_table_SS PARTITION (partition_name2) );
(2)查询表上有多少个分区
SELECT * FROM USER_TAB_PARTITIONS WHERE TABLE_NAME='tableName';
(3)其他的一些查询
--显示数据库所有分区表的信息: select * from DBA_PART_TABLES --显示当前用户可访问的所有分区表信息: select * from ALL_PART_TABLES --显示当前用户所有分区表的信息: select * from USER_PART_TABLES --显示表分区信息 显示数据库所有分区表的详细分区信息: select * from DBA_TAB_PARTITIONS --显示当前用户可访问的所有分区表的详细分区信息: select * from ALL_TAB_PARTITIONS --显示当前用户所有分区表的详细分区信息: select * from USER_TAB_PARTITIONS --显示子分区信息 显示数据库所有组合分区表的子分区信息: select * from DBA_TAB_SUBPARTITIONS --显示当前用户可访问的所有组合分区表的子分区信息: select * from ALL_TAB_SUBPARTITIONS --显示当前用户所有组合分区表的子分区信息: select * from USER_TAB_SUBPARTITIONS --显示分区列 显示数据库所有分区表的分区列信息: select * from DBA_PART_KEY_COLUMNS --显示当前用户可访问的所有分区表的分区列信息: select * from ALL_PART_KEY_COLUMNS --显示当前用户所有分区表的分区列信息: select * from USER_PART_KEY_COLUMNS --显示子分区列 显示数据库所有分区表的子分区列信息: select * from DBA_SUBPART_KEY_COLUMNS --显示当前用户可访问的所有分区表的子分区列信息: select * from ALL_SUBPART_KEY_COLUMNS --显示当前用户所有分区表的子分区列信息: select * from USER_SUBPART_KEY_COLUMNS --怎样查询出oracle数据库中所有的的分区表 select * from user_tables a where a.partitioned='YES' --删除一个表的数据是 truncate table table_name; --删除分区表一个分区的数据是 alter table table_name truncate partition partition_name;