原文地址：http://2014.54chen.com/blog/2017/02/09/deeplearning/
前言
在直播软件中，典型的过程是A用户充值，送花给B用户，B用户提现。
正是有这样一条变现的道路，无数盗刷、退款、36技术的黑产人盯上了直播，报道见到映客的损失一度到了300万人民币(本文价值至少300万了:P)。外链https://www.douban.com/group/topic/89441680/
本文介绍利用keras＋tensorflow，快速完成一个神经网络，从工程角度看深度学习带来的实际作用。
安装
1.先升级pip
chenzhen$ pip install --upgrade pip
2.安装keras
chenzhen$ pip install keras
...
installing collected packages: numpy, scipy, six, theano, pyyaml, keras
Successfully installed keras-1.2.1 numpy-1.12.0 pyyaml-3.12 scipy-0.18.1 six-1.10.0 theano-0.8.2
3.安装tensorflow
chenzhen$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-1.0.0rc2-py2-none-any.whl chenzhen$ pip install --upgrade $TF_BINARY_URL ... Installing collected packages: funcsigs, pbr, mock, wheel, pyparsing, packaging, appdirs, setuptools, protobuf, tensorflow Found existing installation: wheel 0.24.0 Uninstalling wheel-0.24.0: Successfully uninstalled wheel-0.24.0 Found existing installation: setuptools 18.0.1 Uninstalling setuptools-18.0.1: Successfully uninstalled setuptools-18.0.1 Successfully installed appdirs-1.4.0 funcsigs-1.0.2 mock-2.0.0 packaging-16.8 pbr-1.10.0 protobuf-3.2.0 pyparsing-2.1.10 setuptools-34.1.1 tensorflow-1.0.0rc2 wheel-0.29.0
4.检查安装是否成功
chenzhen$ python -c "import keras; print keras.__version__" Using TensorFlow backend. 1.2.1
5.检查配置是否正确
chenzhen$ cat ~/.keras/keras.json { "image_dim_ordering": "tf", "epsilon": 1e-07, "floatx": "float32", "backend": "tensorflow" }
6.安装h5py 用来保存权重数据
chenzhen$ pip install h5py
...
Installing collected packages: h5py
Successfully installed h5py-2.6.0
7.安装 scikit-learn 用来写代码自动计算最优超参
chenzhen$ pip install scikit-learn ... Installing collected packages: scikit-learn Successfully installed scikit-learn-0.18.1
8.安装hyperas 用来自动计算最优超参
pip install hyperas
准备数据
首先拿线上两天的数据，一天用来训练，一天用来测试。
数据都是csv的，根据过去的经验，一个用户给另一个用户刷钱，能拿到的数据项有：
1.是否白名单 2.是否签约 3.粉丝数量 4.是否入库 5.播放次数 6.播放时长 7.充值总次数 8.关注数量 等8个数据
所有数据均为数字，再在9位上加上0表示正常1表示有问题的用户（有问题的用户是通过之前不正常的充值靠人肉挑的）。
准备模型
chenzhen$ cat deep.py from keras.models import Sequential from keras.layers import Dense import numpy dataset = numpy.loadtxt("0207.csv", delimiter=",") X = dataset[:,0:8] Y = dataset[:,8] dataset2 = numpy.loadtxt("0208.csv", delimiter=",") Z = dataset2[:,0:8] Q = dataset2[:,8] # 输入8个参数，隐藏层12个神经元，先用relu激活，输出用sigmoid激活 model = Sequential() model.add(Dense(12, input_dim=8, activation='relu')) model.add(Dense(1, activation='sigmoid')) # loss用mse 优化用Adamax 准确率衡量 model.compile(loss='mse', optimizer='Adamax', metrics=['accuracy']) # 训练100次，每次取60行 history = model.fit(X, Y, nb_epoch=100, batch_size=60) # 测试数据 loss, accuracy = model.evaluate(Z, Q) print(" Loss: %.2f, Accuracy: %.2f%%" % (loss, accuracy*100)) # 保存下来训练好的模型供线上使用 # serialize model to JSON model_json = model.to_json() with open("model.json", "w") as json_file: json_file.write(model_json) # serialize weights to HDF5 model.save_weights("model.h5") print("Saved model to disk")
使用模型
chenzhen$ cat run.py from keras.models import Sequential from keras.layers import Dense from keras.models import model_from_json import numpy dataset2 = numpy.loadtxt("0208.csv", delimiter=",") Z = dataset2[:,0:8] Q = dataset2[:,8] # load json and create model json_file = open('model.json', 'r') loaded_model_json = json_file.read() json_file.close() loaded_model = model_from_json(loaded_model_json) # load weights into new model loaded_model.load_weights("model.h5") print("Loaded model from disk") # test data loaded_model.compile(loss='mse', optimizer='Adamax', metrics=['accuracy']) score = loaded_model.evaluate(Z, Q, verbose=0) print "for test %s: %.2f%%" % (loaded_model.metrics_names[1], score[1]*100) # prediction probabilities里有预测的结果，需要启动一个简单的server对外服务即可。 probabilities = loaded_model.predict(Z) predictions = [float(round(x)) for x in probabilities] accuracy = numpy.mean(predictions == Q) print("Prediction Accuracy: %.2f%%" % (accuracy*100))
超参调优
前面讲了工程使用的步骤，里面的参数都是随便写的，准确率大约60％，现在来讲如何让预测更加准确。
test1是认好训练50次每次10条效果最好。
chenzhen$ python test1.py Best: 0.696000 using {'nb_epoch': 50, 'batch_size': 10}
test2确认好优化器使用Adam效果最好。
chenzhen$ python test1.py Best: 0.686000 using {'optimizer': 'Adam'}
test3是优化器使用SGD时，确认里面的两个参数。
chenzhen$ python test3.py Best: 0.654000 using {'learn_rate': 0.001, 'momentum': 0.8}
test4是初化类型。
test5是激活函数类型。
test6是dropout层的参数。
test7是隐藏层神经元数量确定。
相关的python代码见后。
Hyperas超参调优
上面一种调优办法有点麻烦，要一个一个试。
Hyperas可以一次性完成。
chenzhen$ python testh.py
Evalutation of best performing model:
192/200 [===========================>..] - ETA: 0s[0.35499999999999998, 0.64500000000000002]
Hyperas的执行结果直接保存了model，简单粗暴。代码见后。
后记
前面的模型，都比较简单，只定义了两三层，输入8个参数输出1个参数，然后有15个神经元的隐藏层，在testh.py里的调整参数时，增加了一些Activation层。
要在工程上使用，还得上到分布式tensorflow上，进行更多的训练，以达到测试集的准确率更高。
然后将保存下来的model，使用run.py里的逻辑，做成线上server，提供预测判断服务。
预测的同时，要提供人工抽检反复训练，将判断错和判断漏的，都加入到训练的过程中去，做成定时过程，才能满足需要。
另外不得不提的一点：将输入的数字归一化到0－1之间，对BPNN网络的训练效率会大大提升。