-
HDFS APPEND性能测试
hbase在写入数据之前会先写hlog,hlog目前是sequencefile格式,采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。而在我之前的想象中,hlog的写入速度应该是稳定的。于是写了个append程序专门测试hdfs的append性能。
代码如下:
- FSDataOutputStream stm = fs.create(path, true,
- conf.getInt("io.file.buffer.size", 4096),
- (short)3, blocksize);
- String a = make(1000);
- stm.write(a.getBytes());
- stm.sync();
可以看到,append的过程分两步:先write,然后执行sync(),如果不执行sync,理论上会存在丢失数据的风险。
由于不清楚是sync不稳定,还是write本身不稳定。所以对打开和关闭sync均做了测试。
图1:打开sync功能
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/475668/6d613302-af1e-33ff-b1ee-2b64e6764a43.jpg)
图2:关闭sync功能
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/475652/fb6e3f2a-99a3-314a-bb00-f99a16fc5dc4.jpg)
从图1和图2的结果可以看到打开和关闭sync操作同样不稳定,因此可以判断不稳定因素主要出在write本身上。观察write函数,发现在创建它时需要一个blocksize参数,我的代码中一开始是设置的1MB。于是修改为32MB,绝大部分毛刺消失了。进一步修改为64MB,性能有进一步的提升。如下图
图3:设为32MB
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/475664/780c9581-e89e-390a-b240-46d2341107e0.jpg)
图4:设为64MB
![点击查看原始大小图片](http://dl.iteye.com/upload/attachment/475666/22891df5-9977-3f53-8c47-00a897e275a6.jpg)
这个参数是决定多大的文件在hdfs上可读的。传统的hdfs写文件要满足dfs.block.size大小(默认64MB)才可读。但是在append模式下这个可读的大小是由这里的blocksize决定的。默认值在本地文件系统下由fs.local.block.size决定,在hdfs文件系统下仍由dfs.block.size决定。如果设为1MB,那么hdfs上每append 1MB的大小,就可以读到了。当写入的数据达到这个大小时,会触发namenode执行fsync()操作。而在日志中观察到,每次发生这个操作时,都会造成读响应的变慢。
fsync()操作的内容比较多,没有仔细看源码,知道原理的同学联系我吧。
从附图中可以看到,append_block_size从1MB提高到32MB,再提高到64MB,都会有一定程序的稳定性改善。再提高就没有用了,因为hlog和dfs.block.size的默认大小都是64MB。不过hbase每1s会强制刷新执行一次fsync,所以会看到hbase在打开日志的情况下每1s会有一次小的响应时间波动
结论有两点:
1 hdfs的append的确是有一点不稳定的
2 修改fs.local.block.size或dfs.block.size可以影响这个不稳定因素。
-
相关阅读:
发布几个DNN模块自己写的,功能还不完善
c#冒泡排序正解!
74很多小学生在学习加法时,发现“进位”特别容易出错。你的任务是计算两个三位数在相加时需要多少次进位。你编制的程序应当可以连续处理多组数据,直到读到两个0(这是输入结束标记)。
69 N!阶乘是一个非常大的数,大家都知道计算公式是N!=N*(N1)······*2*1.现在你的任务是计算出N!的位数有多少(十进制)?首行输入n,表示有多少组测试数据(n<10)随后n行每行输入一组测试数据 N( 0 < N < 1000000 )
96已知w是一个大于10但不大于1000000的无符号整数,若w是n(n≥2)位的整数,则求出w的后n1位的数。第一行为M,表示测试数据组数。接下来M行,每行包含一个测试数据。
101输入两点坐标(X1,Y1),(X2,Y2)(0<=x1,x2,y1,y2<=1000),计算并输出两点间的距离第一行输入一个整数n(0<n<=1000),表示有n组测试数据;随后每组占一行由4个实数组成,分别表示x1,y1,x2,y2,数据之间用空格隔开 对于每组输入数据,输出一行结果保留两位
266 给定一行字符,逆序输出此行(空格.数字不输出)
98描述 输入一个百分制的成绩M,将其转换成对应的等级,具体转换规则如下:90~100为A;80~89为B;70~79为C;60~69为D;0~59为E;输入 第一行是一个整数N,表示测试数据的组数(N<10)
50爱摘苹果的小明小明家的院子里有一棵苹果树,每到秋天树上就会结出10个苹果。苹果成熟的时候,小明就会跑去摘苹果。小明有个30厘米高的板凳,当她不能直接用手摘到苹果的时候,就会踩到板凳上再试试。现在已知10个苹果到地面的高度,以及小明把手伸直的时候能够达到的最大高度请帮小明算一下她能够摘到的苹果的数
100 小南刚学了二进制,他想知道一个数的二进制表示中有多少个1,你能帮他写一个程序来完成这个任务吗?
-
原文地址:https://www.cnblogs.com/cl1024cl/p/6205183.html
Copyright © 2020-2023
润新知