shell并发及控制并发数

shell并发及控制进程数执行

cat bingfa_exec_hdfscompress.sh

#!/bin/bash

SEND_THREAD_NUM=10   #设置进程数。
tmp_fifofile="/tmp/$$.fifo" # 脚本运行的当前进程ID号作为文件名
mkfifo "$tmp_fifofile" # 新建一个随机fifo管道文件
exec 6<>"$tmp_fifofile" # 定义文件描述符6指向这个fifo管道文件
rm "$tmp_fifofile"
for ((i=0;i<$SEND_THREAD_NUM;i++));do
  echo  # for循环 往 fifo管道文件中写入10个空行
done >&6

# 以下循环采用 while read 变量 的处理一行数据，看需要吧
for i in `cat /tmp/hitlog.log`;do # 100 次 for 循环 开始
    read -u6 # 从文件描述符6中读取行（实际指向fifo管道)

{
    hadoop jar /data1/xinsrv/jar/hdfscompress.jar --compress gz $i # 打印 i
    sleep 3 # 暂停3秒
    echo >&6 # 再次往fifo管道文件中写入一个空行。
} &

# {}部分语句被放入后台作为一个子进程执行，所以不必每次等待3秒后执行
#下一个,这部分的echo $i几乎是同时完成的，当fifo中10个空行读完后 for循环
# 继续等待 read 中读取fifo数据，当后台的10个子进程等待3秒后，按次序
# 排队往fifo输入空行，这样fifo中又有了数据，for语句继续执行

done
wait    #等到后台的进程都执行完毕。
exec 6>&- #删除文件描述符6
exit 0