[root@cbp1 ~]# su - hdfs [hdfs@cbp1 ~]$ hdfs dfsadmin -fetchImage ./ 21/02/27 09:23:31 INFO namenode.TransferFsImage: Opening connection to http://cbp1.chinaoly.com:50070/imagetransfer?getimage=1&txid=latest 21/02/27 09:23:31 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds 21/02/27 09:23:31 INFO namenode.TransferFsImage: Transfer took 0.06s at 4033.33 KB/s [hdfs@cbp1 ~]$ ll total 244 -rw-rw-r--. 1 hdfs hdfs 248649 Feb 27 09:23 fsimage_0000000000002207008 [hdfs@cbp1 ~]$ mv fsimage_0000000000002207008 timestamp_`date +%s` [hdfs@cbp1 ~]$ ll total 244 -rw-rw-r--. 1 hdfs hdfs 248649 Feb 27 09:23 timestamp_1614389077 [hdfs@cbp1 ~]$ [hdfs@cbp1 ~]$ hdfs dfs -mkdir -p /user/cert/problem10 [hdfs@cbp1 ~]$ hdfs dfs -copyFromLocal timestamp_1614389077 /user/cert/problem10/ [hdfs@cbp1 ~]$ [hdfs@cbp1 ~]$ hdfs dfs -ls /user/cert/problem10 Found 1 items -rw-r--r-- 3 hdfs supergroup 248649 2021-02-27 09:27 /user/cert/problem10/timestamp_1614389077
[hdfs@cbp1 current]$ hdfs oev -i edits_0000000000002213341-0000000000002214074 -o ~/edit.xml [hdfs@cbp1 current]$ vim ~/edit.xml [hdfs@cbp1 current]$
hdfs:namenode内存+fsimage + editlog
HBase:memstore + hlog+hfile
mysql:binlog +dump备份
:50070查看datanode集群状态
DataNodes usages% (Min/Median/Max/stdDev): 11.96% / 44.69% / 59.21% / 12.03%(这个指标超过5%需要做balance)
搭建、监控、调优、排障、日常操作(开通或回收权限、申请数据导出)
namenode两个关系
第一个关系
第二个关系
Flink中如何保证Exactly Once
如果发生机器或软件故障,重新启动后,Flink应用程序将从最新的checkpoint点恢复处理;Flink会恢复应用程序状态,将输入流回滚到上次checkpoint。
利用checkpoint提供了Exactly Once。
source ----->>operator------->>sink------->>kafka
kafka------>source ----->operator---->exactly-once