11.1.3hadoop工具dfsadmin、fsck、数据库扫描器、均衡器

（1）   dfsadmin管理控制工具

查看hdfs的状态，切换安全模式，保存新的fsimage镜像，重置edits文件等

 

 

（2）   fsck工具（file system check）

fsck工具从namenode获取文件系统的信息，检测文件系统总字节数，文件夹数，文件数，数据块数，满足最小复制条件的数据块数。超过3个复本的数据块，少于3个复本的数据块等。

 

移动文件到hdfs的/lost+found目录，hdfs fsck –move

删除文件无法恢复 hdfs fsck –delete

查找文属性件hdfs fsck /user/tom/part-00007 –files –blocks –racks

-files	显示文件的名称，字节数，块数量，健康状态（是否有块丢失）。/user/tom/part-00007 234342342 bytes 1blocks（s）：OK
-blocks	显示文件中各个数据块的信息，每个块一行 Blk_341423413131213 len=3432434 repl=3
-racks	显示各个数据块复本在机架中的位置和datanode的地址 [/default-rack/10.3.23.1:50010, /default-rack/10.3.23.2:50010, /default-rack/10.3.23.3:50010,

（3）   数据块datanode扫描器

属性dfs.datanode.scan.period.hours设置扫描周期，默认三周（504小时）检查一次。各个datanode扫描损坏数据块，进行检查。通过网页http://datanode:50075/blockScannerReport来获取输出报告。加上http://datanode:50075/blockScannerReport?Listblocks会在报告中列出datanode上所有块的最新状态。ok表示正常，failed表示损坏。

 

（4）   均衡器

随着时间的推移各个datanode上块分布会越来越不均衡，有忙有闲，有多有少。执行start –balancer.sh –threshold 5%脚本启动均衡器，复制数据库，使得各个datanode节点的使用率和集群的使用率之间小于阈值时5%（默认10%），停止均衡器。复制数据库的带宽限制由属性dfs,datanode.balance.bandwidthPerSec属性设定。

自己开发了一个股票智能分析软件，功能很强大，需要的点击下面的链接获取：

https://www.cnblogs.com/bclshuai/p/11380657.html