昨天在家里的Linux服务器上，尝试用C 写一个抽取data block 的例子，用到的system_call()
简单得很就是标准的文件读写.
块 头的读取比较顺利，block_type种类大多我不熟悉，那是应用见的少了，只见过表，索引；IOT,cluster则从没见过。不过其实国内用这类高 级特性的恐怕也是极少，加了一个Oracle 的mail-list,看外国人对DB层的研究确实不懈的，而且人家只要这技术有优势就有本事和胆量拿来用，这份精神实在不殆。
块头之后是事务 槽，同行字典一样多少不定，是以行数据是倒过来存储的,即由尾而头，这番道理估计现下的DB上都是一般的。然而Oracle 之所以精妙与这事务槽同回滚段实现的读一致大有关系，然而反过来说Oracle本身也是背了一个极大的包袱在行走能有如今的效用真是不易之极,无怪乎 latch之类要用到汇编指令,但这又加大了改换平台的难度.
行字典中最末是每行的绝对距离. offsets=sizeof(head)+phead->itc*ITL_SIZE
相对地址为: pri[j]+offsets
完成之后,抽取多行却格式总是层次不齐,前前后后迂回了几个小时,最后蓦然回首发现自己参考的格式居然是9i的,怪不得读了读取行总是不工整.
回过头来说oracle的文件格式在今天来说基本是一点悬念也没有了,然而对于shared_pool的管理理论,sql的机器optimizer,以及架构等等都无愧为龙头老大,说要超越确实千难万难,何况即便超越了,其势本身极大要,谗食也不容易.
datablock的格式,都是前辈高人一个字节一个字节试出来的,其志诚嘉.
| Offset |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
a |
b |
c |
d |
e |
f |
|
| 00014000 |
06 |
A2 |
00 |
00 |
0A |
00 |
40 |
01 |
0E |
89 |
43 |
00 |
00 |
00 |
05 |
02 |
|
type |
frmt |
spare1/2_kcbh |
rdba |
scn |
seq |
flg |
| 1 : 20 bytes |
| type: |
0x06=trans data defined in kcb.h |
| frmt: |
8i~9i 都是0x02 10.1.0 2k: 0x62 4k:0x82 8k:0xa2 16k:0xc2 (logfile 0x22 512 bytes) |
| spare1/2_kcbh: |
ub1 spare1_kcbh this field is no longer used (old inc#, now always 0)
ub1 spare2_kcbh this field is no longer used (old ts#, now always 0) |
| rdba: |
0x0140000a 转换成2进制后它的前10 bit 表示file id 后22 bit 表示的block id
可以看出一个tablespace 可以有1023 个datafile ,每个datafile可以有4M 的block
10G 出现的 big datafile 这里表示的就是block id了 没有file id
9.2.0试验过一个tablespace可以有1023个datafile 一个object可以存放在1023个datafile中 |
| scn: |
scn: 0x0000.0043890e |
| seq: |
A sequence number incremented for each change to a block at the same SCN
A new SCN is allocated if the sequence number wraps.
同一个SCN影响这个block中的行数大于 254 行就会为这个事务分配一个新的SCN
如下面的操作就可能引起同一个SCN但影响的同一个block 中的行超过254行
"delete from table_name"
影响的行数(最大254) 是用从 0x01 到 0xfe 表示的
当这个byte 的数据为 0xff 的时候标志这个 block 坏调了---> ora-01578
Sequence number:
SEQ -> 0 /* non-logged changes - do not advance seq# */
SEQ -> (UB1MAXVAL-1)/* maximum possible sequence number */
SEQ -> (UB1MAXVAL) /* seq# to indicate a block is corrupt,equal to FF. soft corrupt*/
0xff : When present it indicates that the block has been marked as corrupt by Oracle. either by the db_block_checking functionality or the equivalent events (10210 for data blocks, 10211 for index blocks, and 10212 for cluster blocks) when making a database change, or by the DBMS_REPAIR.FIX_CORRUPT_BLOCKS procedure, or by PMON after an unsuccessful online block recovery attempt while recovering a failed process, or by RMAN during a BACKUP, COPY or VALIDATE command with the CHECK LOGICAL option. Logical corruptions are normally due to either recovery through a NOLOGGING operation, or an Oracle software bug. |
| flg: |
as defined in kcbh.h
#define KCBHFNEW 0x01 /* new block - zeroed data area */
#define KCBHFDLC 0x02 /* Delayed Logging Change advance SCN/seq */
#define KCBHFCKV 0x04 /* ChecK Value saved-block xor's to zero */
#define KCBHFTMP 0x08 /* Temporary block */
这是一个可以组合的值 也就是说有为 6 的时候是 2,4 两种情况的组合
Block structure as defined in kcbh.h:
struct kcbh
{ub1 type_kcbh; /* Block type* /
ub1 frmt_kcbh; /* #define KCBH_FRMT8 2 */
ub1 spare1_kcbh;
ub1 spare2_kcbh;
krdba rdba_kcbh; /* relative DBA /
ub4 bas_kcbh; /* base of SCN */
ub2 wrp_kcbh; /* wrap of SCN */
ub1 seq_kcbh; /* sequence # of changes at same scn */
ub1 flg_kcbh;
ub2 chkval_kcbh;
}; |
|
| 00014010 |
00 |
00 |
00 |
00 |
01 |
00 |
17 |
00 |
54 |
D2 |
00 |
00 |
0A |
89 |
43 |
00 |
|
chkval |
spare3_kcbh |
typ |
|
? |
|
seg/obj |
csc |
| spare3_kcbh : |
ub2 spare3_kcbh |
|
2 : 24 bytes (总计44bytes) |
| typ : |
1 - DATA 2 index
改成3了在10.1.0 上引起了ora-600[2032]然后ORA-27101: shared memory realm does not exist
oracle进行查询的时候是根据 obj$表中的情况来判断对象的类型的,不是根据这个typ
也就是说如果有一个表但改变表中block的这个标志位，一样可以查询出数据来,
但dump block 时会出错,ORA-00600: 内部错误代码，自变量: [4555], [0], [], [], [], [], [], []
错误中的 [0] 就是typ对应的数据
在10G中改变它后update这个block的数据commit可以但rollback的报错 |
| ? |
见过有其他值 但用编辑器改这个值 在 dump 文件中显示不出来变化 |
| seg/obj: |
0xd254 |
| csc : |
0x00.43890a The SCN at which the last full cleanout was performed on the block |
|
| 00014020 |
00 |
00 |
E8 |
1F |
02 |
00 |
03 |
00 |
00 |
00 |
00 |
00 |
04 |
00 |
0C |
00 |
|
csc |
? |
itc |
? |
flg |
fsl |
fnx |
xid |
| 3 : 24 bytes * itl (2个itl总计92bytes) |
| ? |
见过有其他值 但用编辑器改这个值 在 dump 文件中显示不出来变化 |
| itc |
ITL 条目的个数 max 255超过会报ORA-02207
ORA-00060 ORA-00054 可能是没空间分配itl条目了或它的争用引起的
在8i中 INITRANS default为1 , 9.2.0中 INITRANS default为2 |
| flg |
indicates that the block is on a freelist. Otherwise the flag is -
9i 的ASSM 的情况下这个值为 E
ixora 上说他占用 2 bytes 但我下面的试验和他的结果有一定的出入
我观察到的情况是 : Object id on Block? Y flg: O ver: 0x01
上面的3项是用同一个 byte 来表示的
flg: O ver: 0x01 Object id on Block? Y
从我的观察中 dump 出来的文件中 flg ver Object id on Block
他们共同占用的这个一个字节 他的规律可以从下面的情况看出
2进制数据 flg ver Object id on Block?
0x00 - 0x00 N
0x01 0 0x00 N
0x02 - 0x01 Y
0x03 0 0x01 Y
0x04 - 0x02 Y
0x05 0 0x02 Y
0x06 - 0x03 Y
0x07 0 0x03 Y
0x08 - 0x04 N
0x09 0 0x04 N
0x0a - 0x05 Y
0x0b 0 0x05 Y
0x0c - 0x06 Y
0x0d 0 0x06 Y
0x0e - 0x07 Y
0x0f 0 0x07 Y
0x10 ... 类似上面的循环了 这种情况在9i上已经改变因为ASSM的出现 |
| fsl : |
Index to the first slot on the ITL freelist. ITL TX freelist slot |
| fnx : |
自由列表中下一块的地址 Null if this block is not on a freelist 有数据例如: fnx: 0x1000029 |
|
| 00014030 |
50 |
18 |
00 |
00 |
96 |
14 |
80 |
00 |
B9 |
07 |
01 |
00 |
01 |
20 |
00 |
00 |
|
xid |
uba |
Lck Flag |
Scn/Fsc |
| xid : |
Transaction ID (UndoSeg.Slot.Wrap)
值可以用select XIDUSN, XIDSLOT,XIDSQN from v$transaction;查到
This is comprised of the rollback segment number (2 bytes), the slot number
in the transaction table of that rollback segment (2 bytes), and the number
of times use of that transaction table has wrapped (4 bytes). |
| uba : |
Undo address (UndoDBA.SeqNo.RecordNo)
The location of the undo for the most recent change to this block by this transaction. This is comprised of the DBA of the rollback segment block (4 bytes), the sequence number (2 bytes), and the record number for the change in that undo block (1 byte), plus 1 unused byte. |
| Lck Flag: |
Lck 锁定的row数 这里还用到了下一个 byte 的数据
2 对应的二进制表示为 0010 正好和dump文件中的 --U- 吻合
flag 1 nibble
C = Committed; U = Commit Upper Bound; T = Active at CSC; B = Rollback of this UBA gives before image of the ITL.
---- = transaction is active, or committed pending cleanout
C--- = transaction has been committed and locks cleaned out
-B-- = this undo record contains the undo for this ITL entry
--U- = transaction committed (maybe long ago); SCN is an upper bound
---T = transaction was still active at block cleanout SCN
Lck 3 nibbles
The number of row-level locks held in the block by this transaction. |
| Scn/Fsc : |
If the transaction has been cleaned out, this is the commit SCN or an upper bound thereof. Otherwise the leading two bytes contain the free space credit for the transaction - that is, the number of bytes freed in the block by the transaction
Scn = SCN of commited TX; Fsc = Free space credit (bytes) |
|
| 00014040 |
0E |
89 |
43 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
|
Scn/Fsc |
第2条itl 这里没使用 |
|
|
| 00014050 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
01 |
01 |
00 |
|
第2条itl 这里没使用 |
flag |
ntab |
nrow |
| 4 : 14 bytes 从这个flag位置开始是data区 也是下面的行的offset的起始地址 |
| flag : |
N=pctfree hit(clusters), F=don't put on free list
K=flushable cluster keys. 当然还有别的标记: A ... |
| ntab : |
这block中有几个table的数据 cluster这个就可能大于1 |
| nrow : |
block 有多少行数据 |
|
| 00014060 |
FF |
FF |
14 |
00 |
9B |
1F |
83 |
1F |
83 |
1F |
00 |
00 |
01 |
00 |
9B |
1F |
|
frre |
fsbo |
fseo |
avsp |
tosp |
offs |
nrow |
row offs |
| frre : |
First free row index entry. -1=you have to add one. |
| fsbo : |
Free Space Begin offset 出去row dict 后面的可以放数据的空间的起始位置
也可以看成是从这个区域的开始"flag"到最后一个 "row offs"占用的空间 |
| fseo : |
Free Space End offset ( 9.2.0 )参与db_block_checking的计算剩余空间
select 的时候oracle不是简单的根据offset定位row.这个值也是参与了定位row的 |
| avsp : |
Available space in the block (pctfree and pctused) ORA-01578 |
| tosp : |
Total available space when all TXs commit ( 9.2.0 )参与db_block_checking |
| offs : |
偏移量 用 cluster 的时候可以看出值 |
| nrow : |
这个table有多少行数据 |
| row offs : |
这行数据相对的起始位置 after delete & commit is 0xffff |
|
|
|
| 00015FF0 |
00 |
00 |
00 |
00 |
00 |
00 |
00 |
2C |
01 |
01 |
01 |
61 |
05 |
06 |
0E |
89 |
|
|
fb |
lb |
cc |
length |
data |
block tail |
| 5 : 用户数据 |
| 6 : 4 bytes block tail |
| fb : |
K = Cluster Key (Flags may change meaning if this is set to show HASH cluster)
C = Cluster table member
H = Head piece of row
D = Deleted row
F = First data piece
L = Last data piece
P = First column continues from previous piece
N = Last column continues in next piece |
| lb : |
和上面的 ITL 的lck相对应 表示这行是否被 lock 了 |
| cc : |
有几列数据 这里只能表示255列 超过了就会有链接行 |
| length : |
这列的数据的长度是多少
0xfa ( 250 bytes ) 其实0xfb,0xfc,0xfd 也同样是250bytes
0xfe fb 00 ( 0xfb 00 表示的251 bytes 0xfe表示row的长度超过了250 bytes)
0xff 表示number 的 null 这也是oracle中null的表现形式排序的时候null最大了
字段的数据超过250字节是就用3bytes来表示字段的长度,因为如果是long类型它的字段再长
它在这个block中的数据的长度不会超过64K 所以最长用3bytes来表示行的长度已经够了.再长就链接行了 |
| data : |
'a' |
| block tail : |
改这 block 最后的4 bytes 数据中的任意肯定ora-1578
第 1 byte : 对应开始的 seq
第 2 byte : 对应开始的 type
第3,4byte : 对应开始的scn的末2为 control file 这里是control seq |
|
10.1.0~lgone@ONE.LG.OK> create table a(v varchar2(4000)) TABLESPACE t;
Table created.
10.1.0~lgone@ONE.LG.OK> insert into a values('a');
1 row created.
Start dump data blocks tsn: 17 file#: 5 minblk 10 maxblk 10
buffer tsn: 17 rdba: 0x0140000a (5/10)
//// buffer tsn:
数据文件对应的 tablespace 的 number 这只是dump文件中记录的数据而已
block 中是没有记录 tablespace 的 number 的
scn: 0x0000.0043890e seq: 0x05 flg: 0x02 tail: 0x890e0605
frmt: 0x02 chkval: 0x0000 type: 0x06=trans data
Block header dump: 0x0140000a
Object id on Block? Y
seg/obj: 0xd254 csc: 0x00.43890a itc: 2 flg: O typ: 1 - DATA
fsl: 0 fnx: 0x0 ver: 0x01
Itl Xid Uba Flag Lck Scn/Fsc
0x01 0x0004.00c.00001850 0x00801496.07b9.01 --U- 1 fsc 0x0000.0043890e
0x02 0x0000.000.00000000 0x00000000.0000.00 ---- 0 fsc 0x0000.00000000
data_block_dump,data header at 0x87e125c
//// data_block_dump,data header at 0x87e125c
其实这个block不是直接从 data buffer 中 dump 出来的这个表示真正dump时 block 的数据区的起始位置
也就是下面这部分开始的位置
=============== //// tsiz: hsiz: pbl: bdba: 在数据文件都是没有存储的
tsiz: 0x1fa0 //// Total data area size
8k的block: 8192-20(block head)-24(Transaction Header)-24*2(一个事务条)-4(block tail)=8096(0x1fa0)
hsiz: 0x14 //// Data header size 数据块头20个字节+数据块尾4个字节=24字节(0x14)
pbl: 0x087e125c //// Pointer to buffer holding the block
bdba: 0x0140000a
76543210
flag=--------
ntab=1
nrow=1
frre=-1
fsbo=0x14
fseo=0x1f9b
avsp=0x1f83
tosp=0x1f83
0xe:pti[0] nrow=1 offs=0
0x12:pri[0] offs=0x1f9b
block_row_dump:
tab 0, row 0, @0x1f9b
tl: 5 fb: --H-FL-- lb: 0x1 cc: 1
col 0: [ 1] 61
end_of_block_dump
End dump data blocks tsn: 17 file#: 5 minblk 10 maxblk 10
block 坏掉了还可以报:
ORA-600 (4519) Cache layer block type is incorrect
ORA-600 (4393) Check for Type for Segment header with free list
ORA-600 (4136) Check Rollback segment block
ORA-600 (4154) Check Rollback segment block
Ora-600[kcbzpb_1],[d],[kind],[chk] gets signaled when the block got corrupted in memory.
The only way it should be bad is if a stray store into memory destroyed the header or tail.
d = blocknumber, kind= kind of corruption detected,chk = checksum flag
ora-600[3398] and ora-600[3339]
ora-600[3398] is not in oracle 8.
ora-600[3398] means it failed a verification check before writing back to disk, so it must
be an in-memory corruption.
ora-600[3339] comes with ora-1578 and means either disk corruption or in memory corruption after read.
ora-600 [3339] has been removed from 7.2+
From 7.2+ ora-600 [3398] has become ora-600 [3374] with some checks added.
2进制存储格式
ALTER SESSION SET EVENTS '10289 trace name context forever, level 1';
ALTER SESSION SET EVENTS '10289 trace name context off';