跨机器文件传输
python -m SimpleHTTPServer 8007
python -m http.server 8007
hadoop 上传文件
hdfs dfs -put 本地路径 hadoop路径
split -l <行数>][要切割的文件][输出文件名]
vim 列求和
:%!awk '{print; sum+=$1 }END{print sum}'
字典数组
dic.setdefault('a', [ ]).append(1)
查看包位置
python -c "import thrift; print(thrift.__file__)"
查看包目录
dir()
tensorflow镜像安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade tensorflow-gpu
去重
awk '!a[$0]++' file | wc -l
统计正负样本并划分
cat in_file | grep '正则匹配' |shuf -n200000 > out_file
中文编码##python
1、read之后脱编码-> unicode
2、write：
import codecs
with codecs.open(path_write, 'w', encoding='utf-8') as f_w:
f_w.write()
获取字符串长度
string="abcd"
echo ${#string} #输出 4
提取子字符串
以下实例从字符串第 2 个字符开始截取 4 个字符：
string="runoob is a great site"
echo ${string:1:4} # 输出
使用 @ 符号可以获取数组中的所有元素，例如：
echo ${array_name[@]}
按列切割（' ')
1. cut
test.txt文件以/t分割，共37列，删除第4、第9列
如下：
cut -f1-3,5-8,10-37 test.txt
2. awk
test.txt文件以/t分割，共5列，删除第3列
如下：
awk –F’/t’ ‘{print $1 “/t” $2 “/t” $4 “/t” $5}’ test.txt
shell 数组报错
Syntax error: “(” unexpected
可能sh **.sh --> bash **.sh
screen -L -dmS bert的意思是启动一个开始就处于断开模式的会话，会话的名称是test。
screen -r bert连接该会话，在会话中的所有屏幕输出都会记录到screenlog.0文件。
python 字典数组排序
lst.sort(key=lambda k: (k.get('score', 0)))
或者
sorted(s,key = lambda e:e.__getitem__('score'))
tensorflow.python.framework.errors_impl.NotFoundError: Could not find directory
export HADOOP_HDFS_HOME=/data00/tiger/yarn_deploy/hadoop-2.6.0-cdh5.4.4/
export HADOOP_PREFIX=/data00/tiger/yarn_deploy/hadoop-2.6.0-cdh5.4.4/
export HADOOP_HOME=$HADOOP_PREFIX
export CLASSPATH=$($HADOOP_PREFIX/bin/hadoop classpath --glob)
shell 遍历数组
array=('0322' '0310' '0206')
for element in ${array[@]}
do
date_=$element
done
自增数组
#first=20190122
#second=20190132
#
#while [ "$first" != "$second" ]
#do
#date_=${first:4:7}
#echo $date_
#let first=$(date -d "-1 days ago ${first}" +%Y%m%d)
#done
安装pytorch使用清华镜像源
pip install --upgrade torchvision==0.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
torch与cuda
https://www.cnblogs.com/yhjoker/p/10972795.html
conda创建环境
conda create -n py35 python=3.5
screen 回滚模式
control a [
control a ]
sed删掉某一特定字符的行
sed -e '/关键字符/d' 文件名
https://blog.csdn.net/ljianhui/article/details/43128465
只删除纯空行
sed '/^s*$/d' file
删除纯空行和由空格组成的空行
sed '/^[ ]*$/d' file
A---' 01
有关python2 中文编码问题https://blog.csdn.net/danlei94/article/details/77116984
linux下删除<feff>: grep -I -r -l $'xEFxBBxBF' file | xargs sed -i 's/xEFxBBxBF//'
跨越跳板机使用vscode看tensorboard
tensorboard --logdir=model_base_1nd_sigmoid --port 9075 --host 0.0.0.0