• IO性能探索分析


    IO性能(相对于CPU性能)探索分析

    • 体验一:电脑经常卡顿
      • 公司发的笔记本电脑,硬件配置cpu i5六代,内存8G,机械硬盘无固态。每天编译一个富客户端GUI工程的时候,经常会导致电脑卡顿,CPU与内存往往都还没有达到峰值,磁盘显示100%

    • 体验二:IO线程比UI线程后退出。
      • 客户端应用在退出的时候,客户端UI界面其实已经消失了,但是客户端的日志文件往往在UI界面消失几秒后才写完——也就是IO线程比UI线程要慢好几秒。

    • 体验三:如下例子。(运行环境:8G内存,i5六代,固态硬盘,台式机)

    • 例一:计数10万,计算毫秒数

      public class TestWithNoIO {
      
        public static void main(String[] args) {
      
      	long begin = System.currentTimeMillis();	
      	int i = 100000;
      	for (int j = 0; j < i; j++) {
      
      	}
      	System.out.println("testNonIO 耗时(毫秒):" + (System.currentTimeMillis() - begin));
        }
      }
      
      • 运行结果:
        testNonIO 耗时(毫秒):0
        运行许多次,数值稳定在1毫秒或者0毫秒

    • 例二:在for循环中增加System.out.print(""),注意是没有空格的空字符串,如下:

      public class TestWithNOLR {
      
        public static void main(String[] args) {
      	long begin = System.currentTimeMillis();
      	int i = 100000;
      	for (int j = 0; j < i; j++) {
      		System.out.print("");
      	}
      	System.out.println("testIOWithNoLR 耗时:"+(System.currentTimeMillis()-begin));
        }
      }
      
      • 运行结果:
        testIOWithNoLR 耗时:13
        运行多次,数值稳定在10毫秒左右。
      • 分析:虽然实际上什么也没有输出,但是仅仅因为使用了IO,耗时已经明显增加

    • 例三:这次我们在例二的基础上,空字符串里添加一个空格。如下:

      public class TestWithNOLR {
      
        public static void main(String[] args) {
      	long begin = System.currentTimeMillis();
      	int i = 100000;
      	for (int j = 0; j < i; j++) {
      		System.out.print(" ");
      	}
      	System.out.println("testIOWithNoLR 耗时:"+(System.currentTimeMillis()-begin));
        }
      }
      
      • 运行结果:
        testIOWithNoLR 耗时:187
        运行多次,数值稳定在180毫秒左右(注意:空格输出已被我截去)
      • 分析:IO有了实际输出量(增加了输出内容),耗时大大增加

    • 例四:这次在例三的基础上,多增加一个空格。发现在例三的基础上多了10毫秒的时间。

    • 例五:这次我们把IO由不换行的输出字符串,改为输出换行

      public class TestWithLR {
      
        public static void main(String[] args) {
      	long begin = System.currentTimeMillis();
      	int i = 100000;
      	for (int j = 0; j < i; j++) {
      		System.out.println();
      	}
      	System.out.println("testIOWithLR 耗时:"+(System.currentTimeMillis()-begin));
        }
      }
      
      • 运行结果:
        testIOWithLR 耗时:198
        运行多次,我们发现数值稳定在190多毫秒,基本上和例四所消耗的时间持平(也就是输出两个空格)。

    • 例六:这次我们在例五的基础上增加一个换行

      public class TestWithLR {
      
        public static void main(String[] args) {
      	long begin = System.currentTimeMillis();
      	int i = 100000;
      	for (int j = 0; j < i; j++) {
      		System.out.println();
      		System.out.println();
      	}
      	System.out.println("testIOWithLR 耗时:"+(System.currentTimeMillis()-begin));
        }
      }
      
      • 运行结果:
        testIOWithLR 耗时:393
        运行多次,我们发现数值稳定在400毫秒左右。
      • 分析:换行数量翻倍以后,IO耗时翻倍。继续增加换行,发现非常符合这个规律。

    • 以上是输出到控制台,大家可以试一下输出到机械硬盘,输出到固态硬盘。

    • 总结:
      1. IO效率真的是比CPU效率低很多
      2. IO增加,耗时会增加
      3. 换行的IO增加,比不换行的IO增加,耗时明显增加要快得多得多
    • 启发:
      • 日志角度:
        1. 不要在生产的代码中嵌入任何System.out.print。原因有三点,a.没保存的日志属于无效日志;b.性能下降(上面的例子只是以毫秒为单位);c、输出可能重定向;
        2. 如果程序中IO比较多的时候,尽量实现IO线程和纯CPU线程分离(通常的日志框架就是这么做的,例如log4j或者logback,通常是单独的线程在运行)。占CPU的线程处理核心业务逻辑,占IO的线程处理日志或其他异步就可以完成的内容。
        3. 日志输出尽量不要太频繁(例如在循环中高频输出日志),能少一行日志就少一行日志,能少一截尽量少输出一截(从垃圾回收角度来说也应该这么做,日志里太多字符串)
      • 数据库角度:
        1. 设计数据库的时候,如果有些字段可用枚举尽量用枚举在内存中存储(减少磁盘IO);
        2. ……未完待续

    • 可参考资料:
      1. 一张表字段多为何要拆表:https://www.cnblogs.com/hzhuxin/p/7985452.html
  • 相关阅读:
    [转]用mamcache 存储session的好处
    [转]怎么写 JQuery插件 (案例原理)
    关于查询优化
    HBase Canary
    HBase Bulk Loading
    有用的技术网站
    HBase 运维分析
    HBase rest
    hbase mlockall
    Jamon
  • 原文地址:https://www.cnblogs.com/InformationGod/p/10847270.html
Copyright © 2020-2023  润新知