计算机工作学习常用命令-不定时更新

跨机器文件传输
python -m SimpleHTTPServer 8007
python -m http.server 8007

hadoop 上传文件
hdfs dfs -put 本地路径  hadoop路径

split -l <行数>][要切割的文件][输出文件名]

vim 列求和
:%!awk '{print; sum+=$1 }END{print sum}'

字典数组
dic.setdefault('a', [ ]).append(1)

查看包位置
python -c "import thrift; print(thrift.__file__)"

查看包目录
dir()

tensorflow镜像安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade tensorflow-gpu

去重
awk '!a[$0]++' file | wc -l

统计正负样本并划分
cat in_file | grep '正则匹配' |shuf -n200000 > out_file

中文编码##python
1、read之后脱编码-> unicode
2、write：

import codecs
with codecs.open(path_write, 'w', encoding='utf-8') as f_w:
　　f_w.write()

获取字符串长度

string="abcd"
echo ${#string} #输出 4

提取子字符串

以下实例从字符串第 2 个字符开始截取 4 个字符：

string="runoob is a great site"
echo ${string:1:4} # 输出 

使用 @ 符号可以获取数组中的所有元素，例如：

echo ${array_name[@]}

按列切割（' ')

1. cut 

test.txt文件以/t分割，共37列，删除第4、第9列 
如下： 
cut -f1-3,5-8,10-37 test.txt 

2. awk 
test.txt文件以/t分割，共5列，删除第3列 
如下： 
awk –F’/t’ ‘{print $1 “/t” $2 “/t” $4 “/t” $5}’ test.txt

 

shell 数组报错

Syntax error: “(” unexpected

可能sh **.sh --> bash **.sh

screen -L -dmS bert的意思是启动一个开始就处于断开模式的会话，会话的名称是test。

screen -r bert连接该会话，在会话中的所有屏幕输出都会记录到screenlog.0文件。

python 字典数组排序

lst.sort(key=lambda k: (k.get('score', 0)))

或者

sorted(s,key = lambda e:e.__getitem__('score'))

tensorflow.python.framework.errors_impl.NotFoundError: Could not find directory

export HADOOP_HDFS_HOME=/data00/tiger/yarn_deploy/hadoop-2.6.0-cdh5.4.4/
export HADOOP_PREFIX=/data00/tiger/yarn_deploy/hadoop-2.6.0-cdh5.4.4/
export HADOOP_HOME=$HADOOP_PREFIX
export CLASSPATH=$($HADOOP_PREFIX/bin/hadoop classpath --glob)

shell 遍历数组 

array=('0322' '0310' '0206')
for element in ${array[@]}
do
date_=$element

done

自增数组

#first=20190122
#second=20190132
#
#while [ "$first" != "$second" ]
#do
#date_=${first:4:7}
#echo $date_

#let first=$(date -d "-1 days ago ${first}" +%Y%m%d)
#done

安装pytorch使用清华镜像源

pip install --upgrade torchvision==0.4.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

torch与cuda

https://www.cnblogs.com/yhjoker/p/10972795.html

conda创建环境

conda create -n py35 python=3.5

screen 回滚模式

control a [

control a ]

sed删掉某一特定字符的行

sed -e '/关键字符/d' 文件名

 https://blog.csdn.net/ljianhui/article/details/43128465

只删除纯空行

sed '/^s*$/d' file

删除纯空行和由空格组成的空行

sed '/^[  ]*$/d' file

A---'01

有关python2 中文编码问题https://blog.csdn.net/danlei94/article/details/77116984


linux下删除<feff>:  grep -I -r -l $'xEFxBBxBF'  file | xargs sed  -i  's/xEFxBBxBF//'

跨越跳板机使用vscode看tensorboard
tensorboard --logdir=model_base_1nd_sigmoid --port 9075 --host 0.0.0.0